观点 / 方法普通
不用显卡:玩家用停产英特尔傲腾内存跑通 2.8 万亿参数 Kimi K3,每秒输出 1.5 词元
原始标题:不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元
内容摘要
网友 u/IndividualSurvival 在 Reddit 分享家庭实验室尝试,不配显卡、仅用已停产的英特尔傲腾持久内存 200 系列,通过 llama.cpp 成功运行 2.8 万亿参数的月之暗面 Kimi K3。1 比特量化下初始生成速度约每秒 0.85 个词元,关闭 DAX 后提升至每秒 1.50 个词元;3 比特量化仅每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。