论文研究精选
Darwin Family:基于MRI-Trust加权的进化合并实现语言模型推理能力的免训练扩展
原始标题:Darwin Family: MRI-Trust-Weighted Evolutionary Merging for Training-Free Scaling of Language-Model Reasoning
内容摘要
Darwin Family框架通过免训练的梯度无关权重重组,探索重组现有模型隐式能力以提升推理性能。其核心包括14维自适应合并基因组实现细粒度组件重组;MRI-Trust融合机制通过可学习参数平衡层重要性信号与进化搜索;架构映射器支持异构模型家族间的跨架构融合。旗舰模型Darwin-27B-Opus在GPQA Diamond基准上达到86.9%准确率,在1252个模型中排名第六,无需训练即超越其基础模型。该框架在4B至35B参数规模上均能持续提升性能,支持递归多代进化,并能实现Transformer与Mamba组件的免训练融合。
内容分类AI 论文与研究
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-eebd259ad25419960666ebc0