AI圈报
论文研究普通

NVFP4量化让视频模型提速且不掉质量

信息来源:X:UCSD Hao AI Lab (@haoailab)·
原始标题:(3/6) 4-bit without the quality hit.

内容摘要

(3/6) 4-bit 量化,质量不打折。 NVFP4 QAD 以 BF16 Flex 为蒸馏目标,与它的差距比普通量化缩小 14-17%。 长片段受限于注意力计算,因此 FP4 注意力将 768p 15 秒的耗时从 101.8 秒降至 85.3 秒。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:UCSD Hao AI Lab (@haoailab)
站内情报编号intel-c092a66a72f931a1b5b6d3b5