vLLM 101 实测手册：服务、估算、调优并排障开源模型

NVIDIA NeMo AutoModel 是基于 Transformers v5 的开源库，添加 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核。在 MoE 模型微调中，相比原生 v5，训练吞吐量提升 3.4–3.7 倍，GPU 内存减少 29–32%，仅需改动一行 import。在 16 节点 128 张 H100 上全微调 Nemotron 3 Ultra 550B A55B 时，v5 …

Hugging Face 在 OpenClaw 仓库上测试用 Gemma 和 Qwen 等本地模型实时分类 issue 和 PR。他们使用 Pi agent harness 驱动模型，配合 reposhell 只允许读操作防止提示词注入。测试的模型包括 gemma-4-26b-a4b 和 qwen3.6-35b-a3b，经性能优化后均可在本地生成数百 token/s。该方案运行在 NVIDIA GB10（128 GB 统一内存）上，相比每月 200 美元的 ChatGPT …

英伟达研究团队开源了智能体强化学习框架 Polar。该框架无需重写现有智能体执行框架（如 Codex CLI、Claude Code、Qwen Code、Pi），通过在模型 API 边界放置智能体来接入 GRPO 训练。实验显示，基于 Qwen3.5-4B 模型，Polar 将 Codex 在 SWE-Bench Verified 上的 pass@1 分数从 3.8% 提升至 26.4%（增涨 594.74%）。效率上，其 prefix_merging 技术将训练步骤从 1…

NVIDIA 技术博客讲解 dense 与 MoE 架构在参数激活、吞吐和部署上的差异，以 Nemotron 3.5 Lightning 为例说明 MoE 每词元仅激活约 3B 参数、总参数 30B 仍需约 60 GB 显存。文章给出按显存预算、并发、微调和量化需求选型的建议，并对比 Gemma 4 31B、Qwen3.8-27B、Mistral Small 4 等模型的输出速度与价格数据。

SemiAnalysis 发文称 NVIDIA Research 产出过 LatentMoE（用于 Kimi K3）和 GatedDeltaNets（用于 Qwen）等优秀研究，但在端到端前沿训练上，NVIDIA 的官僚文化导致 Nemotron3 Ultra 表现尴尬。Nemotron3 Ultra 总参数 550B（55B 激活），被包括 Qwen3.8 27B（参数量约少 20 倍）在内的中国模型全面超越。

作者解读 NVIDIA OpenShell 参考架构，主张 Agent 安全治理应放在 Agent 碰不到的基础设施层。

Shopify 工程团队在 NVIDIA GTC Berlin 2026 演讲中介绍了电商助手 Sidekick 的分工架构：前沿模型负责对话、规划和调用工具，读多写少的 GraphQL 子 Agent 交给自己后训练、自托管的开源模型。

Databricks 分享在 AI Runtime 上微调 Qwen 3.8 27B 的调优全过程，SFT 时间从 7 小时 44 分降到 1 小时 17 分，提速 6 倍。

作者分享受邀参加英伟达 RTX Spark 全球开售活动后，深度使用一周华硕 ProArt 创16（128G 统一内存+1T，京东售价 37999 元）的体验，开售时 128G 版本在京东几分钟内被抢空。

AMD 与 Embedded LLM 在 vLLM 官方博客详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化。