论文研究普通
VC-Attention:面向低比特注意力机制的值平滑与 Softmax Casting
原始标题:VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
内容摘要
VC-Attention 是一种免训练的低比特注意力框架,通过 V-Smooth 按在线聚类重排 value token 并只量化减去块均值后的残差,配合 ExpCast-FP8 将 log 域分数直接映射为 E4M3 概率码,消除 FP32 指数运算。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-851f5ec76246bc14416fbbd1