论文研究普通
用 MoE 路由器实现 Decoder-Only 模型的跨语言对齐
原始标题:Cross-Lingual Alignment for Decoder-Only Models using MoE Routers
内容摘要
研究者提出用 MoE 路由器的输出作为跨语言对齐目标,替代在隐藏状态上加辅助对齐损失,因为路由器输出更适合对大量 token 做池化,从而在序列级别实现更可靠的跨语言比较。在四个开源 MoE 模型上的受控持续预训练实验显示,加入该路由损失不仅让底层隐藏表示跨语言对齐,还提升了多语言评测表现。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-6159d451fc6ef15c2305df46