模型发布 / 更新普通
DeepSeek V4.1 Flash 架构创新非蒸馏可得
原始标题:DeepSeek V4.1 Flash 不是靠蒸馏就能得到的, 这是著名学者 @hsu_steve 借着@petergostev Gostev 用 3D 还原出的 DeepSeek 底层图纸和3D架…
内容摘要
学者 @hsu_steve 评价 Peter Gostev 用 3D 还原的 DeepSeek V4.1 Flash 架构图,称其底层设计"任何蒸馏技术都偷不来"。该架构采用 20 层因果编码器 + 20 层解码器的 CED 架构,读长文本仅激活约 8B 参数、生成时激活 16B;KV 显存压至约 890 字节/token,为上一代四分之一。
内容分类AI 模型发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:阿易 AI Notes (@AYi_AInotes)
站内情报编号intel-5432a91e58cb28f8cf4c77c0