AI圈报论文研究普通
TRACE：面向 MoE 语言模型 FP4 强化学习的 rollout 引导量化感知训练
原始标题：TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
内容摘要
TRACE 是面向 MoE 语言模型 RL 训练的 FP4 量化框架，用 rollout 侧量化结果引导训练侧 FP4 舍入决策，直接缩小训练与 rollout 两条量化执行路径的差异。它支持 FP4 权重/激活与 FP4 KV-cache rollout，在四个大规模 MoE 语言模型的推理、编码和长程 RL 任务上性能与 BF16 rollout 相当，rollout 提速最高 5.4 倍。
内容分类AI 论文与研究
内容层级普通情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源HuggingFace Daily Papers（社区热门论文）
站内情报编号intel-12763e925ea9c893d799f064