vLLM 团队详解 Kimi K3 解码优化：GB300 上 842 tokens/s 与快速验证方法

AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。

vLLM 发布 Kimi K3 生产级支持预览，为 2026 年 7 月 27 日前开放权重做好 day-0 开源服务准备。

Novita AI 开源了面向 Kimi K2.x 服务形态的 W4A16 MoE CUDA 算子 Chord，支持 BF16 激活、INT4 权重与 group-32 scale，其 indexed 路径兼容 Humming 导入根，可通过 --quantization humming 在兼容的 vLLM 版本上启用。

vLLM 团队详解 Kimi K3 从 v0.27.1 到 0913 main 的服务性能优化，在 8K/1K、TP8、B300 节点测试下延迟降低 56%-60%，吞吐提升 2.2-2.8 倍，TTFT 降低 72%-85%。

Artificial Analysis 评测阶跃星辰 Step 5 Preview，其在 Artificial Analysis Intelligence Index 得 44 分，与 Kimi K3 (max) 持平，略低于 GLM-5.3 (max) 和 Qwen3.8 Max 的 45 分，每任务成本约 $0.72，约为同级模型（约 $2.00）的 1/2.8。

Baseten 发文解析开源模型后训练的成本驱动因素，指出活跃参数量是 RL 后训练成本的最大来源，总参数和 KV cache 主要限制推理速度，并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。

SGLang 将 SSD-LLaMA 的思路引入 MoE 推理，把放不进显存和内存的路由专家放在 NVMe SSD 上，通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存，只加载 router 选中的专家。

文章给出一套零基础用户半天上手AI的12步实操流程：准备内存不低于16G的电脑，订阅ChatGPT并安装Codex或使用WorkBuddy，用语音输入法以【背景、痛点、需求】框架向AI交代任务，经苏格拉底提问澄清需求后投喂文件让AI直接完成，最后沉淀为可复用Skill。文中建议Codex选GPT-5.6 Sol最高模型，WorkBuddy选Kimi K3。

数字生命卡兹克开源「活人感写作.skill」（英文名 human Writing.skill），旨在去除AI味、帮用户写出有真实生活感的文字。该Skill鼓励用户提供真实案例与情感，并针对辞章端禁用AI常用口癖和黑话，同时适配Qwen 3.8 Max、DeepSeek V4 Pro、Kimi K3等模型，可直接用于WorkBuddy、千问办公等产品。

使用 Kimi Work 制作幻灯片 - 教程 #1。 Kimi Slides 处理整个幻灯片制作流程： - 清晰的结构与研究，由 Kimi K3 驱动 - 连贯的设计，包括精美的图表和 SmartArts - 可编辑并可直接下载 欢迎在评论区告诉我们你还想看什么内容！