AI圈报
论文研究普通

NeMo-DCR:面向万亿参数智能体 RL 的比特精确增量压缩重配

信息来源:HuggingFace Daily Papers(社区热门论文)·
原始标题:NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

内容摘要

NeMo-DCR 是一种比特精确的增量压缩重配(refit)方案,只传输变化的权重,接收端得到的参数与缓冲区比特与全量重配完全一致。在 3% 和 5% 变化率下,30B-1T 模型的重配速度比仅传输全量 checkpoint 的基线快 12-40 倍;1T 模型经中继树在 3% 变化率下重配仅需 150 秒,而全量传输需 87.5 分钟。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-c655c477add8efb01d4ac896