AI圈报
论文研究普通

BITCOS 布局突破三值 LLM 的 1.58-bit 存储壁垒

信息来源:Hacker News:AI 热帖·
原始标题:Breaking the 1.58-bit Barrier for Ternary LLMs

内容摘要

论文提出 BITCOS,一种由存在位图加压缩符号向量组成的三值 LLM 权重布局,按零密度 z 计成本为 2−z bits per weight。作者实测 29 个三值模型发现零权重占比最高达 51.5%,其中 26 个模型的存储比 five-trit packing 更紧凑,最稀疏模型达 1.485 bits per weight。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News:AI 热帖
站内情报编号intel-31bc3f0ee79ea0f463081d26