模型发布 / 更新普通
腾讯混元姚顺雨团队 AMA:Hy4 仍有改进空间,计划训练更大规模模型
原始标题:腾讯混元姚顺雨团队:Hy4 仍有很大改进空间,计划训练更大规模模型
内容摘要
腾讯首席 AI 科学家姚顺雨与混元团队 11 月 21 日凌晨在 Reddit 进行 120 分钟 AMA。针对为何不做 3 万亿以上超大模型的提问,团队回应 Hy3 和 Hy4 表明扎实的小模型也能超过更大的模型且成本更低,但 Hy4 仍有很大改进空间,尤其在通过后训练改进方面,正投入大规模强化学习,并计划训练更大规模的模型。