AI圈报
产品发布 / 更新精选

小红书开源 BigMac:多模态大模型训练新范式

信息来源:公众号:小红书技术(dots.llm)·
原始标题:小红书 dots infra 开源BigMac : 突破多模态大模型训练的帕累托前沿

内容摘要

小红书技术团队开源 BigMac,一种针对多模态大模型训练的依赖安全嵌套流水线新范式。它以 LLM 流水线为主干,在不打乱执行顺序的前提下嵌入编码器和生成器计算,相比基线实现 1.08x-1.9x 加速,同时保持激活显存有界。BigMac 已作为 dots 多模态模型训练的核心组件投入生产。
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源公众号:小红书技术(dots.llm)
站内情报编号intel-e280a4b984525ff1c53d1b32