观点 / 方法普通
Qwen 27B 内存占用压缩至 6GB
原始标题:Emad Mostaque: AI models "have pretty much reached the efficiency of a human brain".
内容摘要
Emad Mostaque:AI 模型“几乎已经达到了人脑的效率”。 阿里巴巴的 Qwen 27B 通常需要约 60GB 内存,而 Prism ML 的一个团队通过用 1.5 bit 而非 16 bit 存储其数值,将其压缩到 6GB,同时保留了 95% 的性能。 在 6GB 下它可以在树莓派上运行,“其能耗与人脑相当。” ---- 完整视频在 “Tom Bilyeu” YouTube 频道,(链接在评论中)
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-923bd9d4527c83955ecdca90