NVIDIA 机密计算如何让 TensorRT LLM 推理保留 96% 以上吞吐

NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。

NVIDIA 技术博客发布教程，讲解如何在 NVIDIA TensorRT LLM VisualGen 中配置 Black Forest Labs 的 FLUX 3 Image Klein，通过 NVFP4 量化、PrimsTS GEMM 融合内核、VC-Attention FP8 与 Sol-Attention 注意力优化、Cache-DiT 缓存和多 GPU 并行加速推理。

NVIDIA DSX OS 开源软件层提供 AICR、NVCRE 和 NVSentinel 三个 Apache 2.0 工具，分别负责以版本锁定配方建立可复现的 GPU Kubernetes 基线、用 AI 工作负载验证集群能否跑生产任务、以及监控健康状态并隔离故障节点。

NVIDIA 详解其协同设计如何最大化 AI 工厂中每个字节的价值：从 GB300 NVL72 到 Vera Rubin NVL72，HBM 容量维持 288 GB 而带宽升至 19.2 TB/s，在 SemiAnalysis AgentX 上实现最高 30 倍的每兆瓦吞吐提升。NVFP4 将模型占用较 FP16 缩减约 3.5 倍，KV cache 占用较 FP8 减少最高 50%。

NVIDIA 开发 AI Factory Operations Agent，用于简化其内部 DGX SuperPOD 运维、减少 SRE 手动排查工作。该智能体基于 NVIDIA NemoClaw 蓝图与 OpenShell 框架构建，子智能体通过 MCP 通信，可跨层关联根因并通过聊天界面给出建议。

NVIDIA 发布教程，演示用 NeMo Compass 从 agent trace 中定位失败，用 NeMo Eval Author 生成评测，再修改 harness 指令完成一轮优化。

NVIDIA 发布 Nemotron-Personas-France 与 Nemotron-Personas-Belgium 数据集，用于将 Nemotron 开放模型后训练为贴合当地语言与文化的应用模型。

NVIDIA 发布技术教程，介绍如何用 NeMo 框架微调 Nemotron 3.5 ASR，使其适配沙特 Najdi 和 Hijazi 方言。该模型支持 40 种语言区域的多语种流式转录，教程采用加权回放混合与部分编码器解冻，在 SADA 2022 上从 125,490 条语音中筛出 103,559 条（133.7 小时）用于训练。

NVIDIA Dynamo-Triton（原 Triton Inference Server）现已通过 recsys-examples 仓库支持端到端 HSTU 生成式推荐推理工作流，结合 PyTorch AOTI、FlexKV KV 缓存与 NV embedding cache。

NVIDIA 联合 SGLang 团队推出 SWE-Serve，用 53 个源自 SGLang 已合并 PR 的任务评测推理服务栈的仓库级改动。在 19 个含实时服务检查的任务中，同一批 patch 排除这些检查时通过率 69.4%，启用完整验证器后仅 45.9%，约三分之一 patch 因此失败。该基准覆盖 6 类推理工程任务，12 个跑在 CPU、41 个用单张 NVIDIA H100。