NVIDIA 机密计算如何让 TensorRT LLM 生产级 AI 推理保留 96% 以上吞吐

NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。

NVIDIA 推出 AIPerf，作为 GenAI-Perf 的指定继任者并从零重写，采用多进程架构与 ZMQ 协调，避免客户端成为压测瓶颈。它支持 15+ 端点类型、ShareGPT 等公开数据集以及 Mooncake、Baseten、WEKA（AgentX）的 trace 回放格式，并提供 constant、Poisson、gamma 到达模式与并发、请求速率渐进爬坡。

NVIDIA 技术博客展示了一套智能体工作流：由 OpenAI GPT-6 Astra 驱动的 Codex 负责统筹，配合 Hermes 智能体框架和 NVIDIA NemoClaw 部署的专用子智能体。

NVIDIA 详解 NVLink 6 的多层弹性框架，通过物理层 FEC、PLR、UPHY 恢复与链路层 CBFC 实现原生无损网络，端到端延迟比通用以太网低 3 倍、包速率高 10 倍。

NVIDIA Groq 3 LPX 通过确定性执行模型让 LPU 编译器生成精确到时钟周期的调度，覆盖整机架 256 颗 LPU 芯片，并据此预测每个周期的电流需求，配合 Preemptive Power（PEP）与 Clock Period Synthesis（CPS）压缩电压保护带，把更多电力留给实际负载。

NVIDIA 在 JAX 中用 Transformer Engine 优化 Dropless MoE 训练，在 NVIDIA GB200 上跑 DeepSeek-V3 时，未优化基线仅 103 TFLOPS/GPU、GPU 间通信占累计 kernel 时间 84%，经针对性 kernel 优化后升至 1，068 TFLOPS/GPU，提升 10.4 倍。

NVIDIA 在 4xB200 系统上对 Nemotron 3 Ultra NIM 2.0.12 优化后，系统输出吞吐从基线的 718 tok/s 提升至 1，997 tok/s，在 50 TPS/user 目标下并发用户数提升超 2.5 倍。

OpenRouter 发文解读 NVIDIA 的 Nemotron 3.5 Lightning，这是一款 30B 总参数、约 3B 激活参数的混合专家开源权重模型，定位于工具调用、编码等高频、边界清晰的 Agent 执行步骤，与负责复杂推理的 Nemotron 3 Ultra（550B 总参数、55B 激活）形成分工。

本教程演示如何用 NVIDIA SkillSpector 评估 AI 技能的安全态势，构建包含干净、风险、恶意及 MCP 示例的合成技能市场，并通过 LangGraph 检查流水线扫描每个技能。

该教程基于 NVIDIA cuTile Python 实现了分块 GPU 内核编程工作流，在 Colab 环境中配置 GPU、驱动、CUDA 及 cuTile 可用性后，分别构建了 tiled 向量加法、矩阵加法和矩阵乘法核函数，并以 PyTorch 作为回退保持 notebook 可执行。每一步均通过 PyTorch 验证结果正确性，并基准测试了各阶段的中位运行时间。