产品发布 / 更新普通
面壁智能解析 LES 推理技术:让 MiniCPM-V 4.7 在 iPhone 上跑出 20.51 tokens/s
原始标题:📱 A 35B MoE model running on a phone at over 20 tokens/s.
内容摘要
面壁智能(OpenBMB)介绍 MiniCPM-V 4.7 端侧高效推理背后的 LES(Lookahead Expert Scheduling)技术,解决 35B 总参数、每 token 激活 3B 的 MoE 模型在有限设备内存下专家权重加载等待的问题。
内容分类AI 产品发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:面壁智能 OpenBMB (@OpenBMB)
站内情报编号intel-f0faac2290db0ab1680ca40b