vLLM 详解 DeepSeek-V4.1-Flash 优化：Agent 场景吞吐提升 5 倍

vLLM 团队发布针对智能体负载优化的博客，基于 SemiAnalysis 的公开 AgentX 基准展示成果：DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。

作者实测 DeepSeek V4.1 Flash，缓存命中输入降价 7 倍多、输出砍三分之二，9 月 14 日中午 12 点起所有发往 v4-pro 的请求将被强制路由到 4.1 Flash 并按其低价计费。

Baseten 发文解析开源模型后训练的成本驱动因素，指出活跃参数量是 RL 后训练成本的最大来源，总参数和 KV cache 主要限制推理速度，并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。

SGLang 将 SSD-LLaMA 的思路引入 MoE 推理，把放不进显存和内存的路由专家放在 NVMe SSD 上，通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存，只加载 router 选中的专家。

本地运行的 Qwen3.8-27B 在 Artificial Analysis 智能指数上以 52 分位列 135 个模型之首，超过 7530 亿参数的 GLM-5.2。在 25 项风投任务评测中，它与云端 DeepSeek V4 输出质量同为 8.0 分，但需多花 7.2 倍 token 思考，速度慢约 9 秒。小模型靠更长的链式推理弥补知识差距，而非直接给出答案。

Together AI 在 DeepSWE 全部 113 个任务上各跑四次对比 DeepSeek V4 Pro 0813 与 GPT-5.6 Sol，共 904 次运行。

Together AI 在 DeepSWE 全部 113 个任务、每任务 4 次试验（共 904 次 rollout）上对比 DeepSeek V4 Pro 0813 与 Claude Fable 5。

DeepSeek发布Agent产品DeepSeek Harness，核心理念“一切皆插件”，基于名为Cordis的内核，支持在Agent运行中随时更换插件并保持状态不崩，官方预设100多个一方插件。产品提供标准、PTC、极简、创造四种模式，其中创造模式可让Agent现场创造并挂载新插件实现自改造。目前为开发者预览版，GitHub已获3.7万Star。

DeepSeek V4 Pro正式版与Grok 4.6在2小时内先后发布，均为1.6T/1.5T参数模型，逼近Claude Fable 5体验。

PromptArmor 分析称，供应商因成本优势和基准竞争力正转向国际与开源权重模型，DeepSeek V4 Flash 输入价 $0.14/M tokens，远低于 GPT-5.6 Sol 的 $5。