NVIDIA Groq 3 LPX 确定性执行如何为 NVIDIA Vera Rubin 带来高能效高交互推理

NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。

NVIDIA 详解 NVLink 6 面向 AI 工厂的多层弹性框架，通过物理层 FEC、PLR、UPHY 恢复与链路层 CBFC 实现原生无损网络，端到端延迟比通用以太网低 3 倍、包速率高 10 倍。

NVIDIA 在 JAX 中用 Transformer Engine 优化 Dropless MoE 训练，在 NVIDIA GB200 上跑 DeepSeek-V3 时，未优化基线仅 103 TFLOPS/GPU、GPU 间通信占累计 kernel 时间 84%，经针对性 kernel 优化后升至 1，068 TFLOPS/GPU，提升 10.4 倍。

NVIDIA 在 4xB200 系统上对 Nemotron 3 Ultra NIM 2.0.12 优化后，系统输出吞吐从基线的 718 tok/s 提升至 1，997 tok/s，在 50 TPS/user 目标下并发用户数提升超 2.5 倍。

本教程演示如何用 NVIDIA SkillSpector 评估 AI 技能的安全态势，构建包含干净、风险、恶意及 MCP 示例的合成技能市场，并通过 LangGraph 检查流水线扫描每个技能。

该教程基于 NVIDIA cuTile Python 实现了分块 GPU 内核编程工作流，在 Colab 环境中配置 GPU、驱动、CUDA 及 cuTile 可用性后，分别构建了 tiled 向量加法、矩阵加法和矩阵乘法核函数，并以 PyTorch 作为回退保持 notebook 可执行。每一步均通过 PyTorch 验证结果正确性，并基准测试了各阶段的中位运行时间。

本文是 PyTorch profiling 系列的开篇，从最简单的矩阵乘法加偏置操作出发，逐步讲解如何使用 `torch.profiler` 进行性能分析。涵盖 profiler 设置、导出统计表格与 Chrome trace、解读 CPU 和 GPU 活动的时序关系，以及 `torch.compile` 对底层 CUDA kernel 调用链的影响。实验基于 NVIDIA A100-SXM4-80GB GPU 运行，面向基本掌握 PyTorch 但缺乏 profiling…

与 NVIDIA 合作，在 DGX Spark 上通过 SGLang 成功支持 GPT-OSS 20B 与 120B 模型，实现 20B 版本约 70 tokens/s、120B 版本约 50 tokens/s 的生成速度，达到目前最优水平。用户可通过 Docker 部署 SGLang 服务，接入 Open WebUI 实现本地聊天，或借助 LMRouter 转换请求格式以完全本地化运行 Claude Code。该方案使在 DGX Spark 上部署多百亿参数本地编码智能体…

一篇教程详解 NVIDIA cuDNN Frontend 的 graph API：把计算声明为算子图，由 cuDNN 选择执行引擎，再手动接管该选择。

NVIDIA 在 AI Infra Summit 上公布 DSX MaxLPS 的首个部署验证结果：Lambda 在五机架 19 节点 HGX B200 集群上，用原本 16 节点的电力预算跑 19 节点，集群 token 吞吐提升 24%，从约 400 万 tokens/秒升至 500 万，每瓦性能提升 23%。