NVIDIA 讲解如何在 Jetson 上部署和优化推理模型

NVIDIA 在 4xB200 系统上对 Nemotron 3 Ultra NIM 2.0.12 优化后，系统输出吞吐从基线的 718 tok/s 提升至 1，997 tok/s，在 50 TPS/user 目标下并发用户数提升超 2.5 倍。

本教程演示如何用 NVIDIA SkillSpector 评估 AI 技能的安全态势，构建包含干净、风险、恶意及 MCP 示例的合成技能市场，并通过 LangGraph 检查流水线扫描每个技能。

本文面向零代码用户，提供一套使用国产大模型（Kimi、GLM、Qwen等）从零开发并上线产品的完整流程。核心步骤包括购买Coding Plan、下载官方Agent编程产品、注册域名与服务器并同步做ICP备案，然后通过Agent的Plan模式描述需求并让AI自动执行开发。上线后建议建立分支保护与测试流程，并强调即使不懂代码，也必须对系统架构了如指掌。

首届"点亮乡村课堂"赛道一等奖作品"智绘科普"采用Qwen3.5-397B-A17B大语言模型与Manim开源数学动画引擎，构建多Agent分阶段协作流水线。系统通过规划、草稿、实现、审查、合成五个Agent，配合时序门控、几何审计、视觉审查三道质量门及自动修复回路，实现可控可编辑的教学动画生成。项目底层"多Agent协作+门控+自我修复"范式可迁移至养老陪伴、孤独症干预等场景。

通义实验室利用 Arm SME2 指令集与 MNN 推理引擎，在支持 SME2 的旗舰手机上实现 Qwen3-VL-4B-Instruct 的实时推理。实测开启 SME2 后 Prefill 阶段提速 81%，Decode 阶段提升 13%。MNN 的 SME2 支持采用编译时内建与运行时自动检测设计，开发者无需手动配置。

该教程基于 NVIDIA cuTile Python 实现了分块 GPU 内核编程工作流，在 Colab 环境中配置 GPU、驱动、CUDA 及 cuTile 可用性后，分别构建了 tiled 向量加法、矩阵加法和矩阵乘法核函数，并以 PyTorch 作为回退保持 notebook 可执行。每一步均通过 PyTorch 验证结果正确性，并基准测试了各阶段的中位运行时间。

通义实验室第二期教程展示如何利用Agent（如Qoder）自动完成Android端侧AI App开发全流程。Agent依次执行：检查并配置Android环境（JDK 21、NDK 27等）、创建Native C++工程PhotoTaggerMNN、下载约1.4GB的Qwen3-VL-2B-Instruct-MNN模型、编译支持视觉能力的libMNN.so、将MNN接入工程、构建APK、推送模型至手机私有目录，最终确认MNN版本3.5.0及模型文件全部ok。核心思路是开发者定…

Thousand Token Wood v2使用四个不同实验室的小模型（gpt-oss-20b、MiniCPM3-4B、Nemotron-Mini-4B及微调Qwen 0.5B）驱动金融模拟游戏的智能体。核心发现是异构服务层摩擦在于vLLM 0.22.1需CUDA工具包，而非模型本身。通过容忍性JSON解析层，添加模型只需一条配置。信息隔离确保内幕标志不在提示词中，扫描测试验证无泄露。记忆用情绪摘要截断避免淹没。微调0.5B模型实现0%自成交、100%有效报价，真相防火墙零…

开发者用Qwen2.5-3B构建了五人森林生物多智能体经济体，每个智能体独立运行，通过vLLM部署在Modal，以Gradio为交互窗口。3B模型在100%调用中输出有效JSON，但经济判断能力弱。通过设计稀缺性（食物品种限制、易腐坏、冬季燃料危机）和优化提示词（禁止买入自产物品、给出示例）提升决策质量。15轮模拟中，蜜价从10跌至3、柴价从4涨至7、财富基尼系数从0.14扩至0.38。项目展示了小模型可靠格式化与不可靠推理之间的工程填补。

本文是 PyTorch profiling 系列的开篇，从最简单的矩阵乘法加偏置操作出发，逐步讲解如何使用 `torch.profiler` 进行性能分析。涵盖 profiler 设置、导出统计表格与 Chrome trace、解读 CPU 和 GPU 活动的时序关系，以及 `torch.compile` 对底层 CUDA kernel 调用链的影响。实验基于 NVIDIA A100-SXM4-80GB GPU 运行，面向基本掌握 PyTorch 但缺乏 profiling…