AI圈报
模型发布 / 更新普通

MiniCPM5-2B 社区 EXL3 4-bit 量化版发布

信息来源:X:面壁智能 OpenBMB (@OpenBMB)·
原始标题:⚡ Making MiniCPM5-2B even more lightweight for local inference!

内容摘要

社区为 MiniCPM5-2B 构建了 EXL3 4-bit 量化版本,量化后模型权重仅 1.61 GB,在 NVIDIA Tesla T4 上实测约 68–70 tokens/s。该版本采用 4.0 bpw EXL3 量化,支持通过 ExLlamaV3 和 TabbyAPI 进行本地推理。
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:面壁智能 OpenBMB (@OpenBMB)
站内情报编号intel-c21546d374ce87777518b264