模型发布 / 更新普通
MiniCPM5-2B 社区 EXL3 4-bit 量化版发布
原始标题:⚡ Making MiniCPM5-2B even more lightweight for local inference!
内容摘要
社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。
内容分类AI 模型发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:面壁智能 OpenBMB (@OpenBMB)
站内情报编号intel-c21546d374ce87777518b264