NVIDIA Transformer Engine 如何用 JAX 加速 Dropless MoE 训练

NVIDIA 提出 AI 工厂投资回报取决于产出能力、使用寿命与需求三项因素，其平台通过全栈协同设计实现每兆瓦吞吐最大化。SemiAnalysis AgentX 数据显示，Vera Rubin NVL72 每兆瓦吞吐量比 GB300 NVL72 高 30 倍以上，在 DeepSeek V4 Pro 上每百万 token 成本低至 45 倍。

NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。

NVIDIA 发布 Nemotron-Personas-France 与 Nemotron-Personas-Belgium 数据集，用于将 Nemotron 开放模型后训练为贴合当地语言与文化的应用模型。

NVIDIA 发布技术教程，介绍如何用 NeMo 框架微调 Nemotron 3.5 ASR，使其适配沙特 Najdi 和 Hijazi 方言。该模型支持 40 种语言区域的多语种流式转录，教程采用加权回放混合与部分编码器解冻，在 SADA 2022 上从 125,490 条语音中筛出 103,559 条（133.7 小时）用于训练。

NVIDIA Dynamo-Triton（原 Triton Inference Server）现已通过 recsys-examples 仓库支持端到端 HSTU 生成式推荐推理工作流，结合 PyTorch AOTI、FlexKV KV 缓存与 NV embedding cache。

NVIDIA 联合 SGLang 团队推出 SWE-Serve，用 53 个源自 SGLang 已合并 PR 的任务评测推理服务栈的仓库级改动。在 19 个含实时服务检查的任务中，同一批 patch 排除这些检查时通过率 69.4%，启用完整验证器后仅 45.9%，约三分之一 patch 因此失败。该基准覆盖 6 类推理工程任务，12 个跑在 CPU、41 个用单张 NVIDIA H100。

NVIDIA 在 DGX B200 上对比机密计算（CC）开关状态下的 TensorRT LLM 推理性能，CC 开启后输出吞吐保留 96.1%–98.2%，平均 TPOT 开销为 1.2%–4.3%。

NVIDIA 推出 AIPerf，作为 GenAI-Perf 的指定继任者并从零重写，采用多进程架构与 ZMQ 协调，避免客户端成为压测瓶颈。它支持 15+ 端点类型、ShareGPT 等公开数据集以及 Mooncake、Baseten、WEKA（AgentX）的 trace 回放格式，并提供 constant、Poisson、gamma 到达模式与并发、请求速率渐进爬坡。

NVIDIA 技术博客展示了一套智能体工作流：由 OpenAI GPT-6 Astra 驱动的 Codex 负责统筹，配合 Hermes 智能体框架和 NVIDIA NemoClaw 部署的专用子智能体。

NVIDIA 详解 NVLink 6 的多层弹性框架，通过物理层 FEC、PLR、UPHY 恢复与链路层 CBFC 实现原生无损网络，端到端延迟比通用以太网低 3 倍、包速率高 10 倍。