Hugging Face 深度强化学习课程 Unit 2 第二部分：Q-Learning 原理与从零实现

参数高效微调（PEFT）技术中，LoRA 占据绝对主导：Hugging Face Hub 上 20,834 张提及单一 PEFT 技术的模型卡中 20,509 张指向 LoRA（98.4%）；外部站点 10,000 个检查点中 95.0% 是 LoRA；GitHub 搜索 `from peft import` 代码片段的 71.3% 结果为 LoRA。但研究者宣称其他技术超越 LoRA 的论文结果具备偏向性——调整学习率即可让 LoRA 匹配更优技术。Hugging Fac…

一个编码Agent调用HuggingFace上的两个Space，从零构建了展示巴黎地标3D高斯散点图的交互式画廊。Agent先用ideogram-ai/ideogram4生成每个纪念碑的黑色背景图像，再通过VAST-AI/TripoSplat从单张图像重建3D高斯散点（.ply），自动完成坐标系校正、取景、压缩为.ksplat（体积缩小约3倍），并构建基于Three.js的滚动切换、拖拽旋转查看器，最终部署为静态Space。整个过程无需客户端库，每个Space通过`agen…

Thousand Token Wood v2使用四个不同实验室的小模型（gpt-oss-20b、MiniCPM3-4B、Nemotron-Mini-4B及微调Qwen 0.5B）驱动金融模拟游戏的智能体。核心发现是异构服务层摩擦在于vLLM 0.22.1需CUDA工具包，而非模型本身。通过容忍性JSON解析层，添加模型只需一条配置。信息隔离确保内幕标志不在提示词中，扫描测试验证无泄露。记忆用情绪摘要截断避免淹没。微调0.5B模型实现0%自成交、100%有效报价，真相防火墙零…

开发者用Qwen2.5-3B构建了五人森林生物多智能体经济体，每个智能体独立运行，通过vLLM部署在Modal，以Gradio为交互窗口。3B模型在100%调用中输出有效JSON，但经济判断能力弱。通过设计稀缺性（食物品种限制、易腐坏、冬季燃料危机）和优化提示词（禁止买入自产物品、给出示例）提升决策质量。15轮模拟中，蜜价从10跌至3、柴价从4涨至7、财富基尼系数从0.14扩至0.38。项目展示了小模型可靠格式化与不可靠推理之间的工程填补。

本文是 PyTorch profiling 系列的开篇，从最简单的矩阵乘法加偏置操作出发，逐步讲解如何使用 `torch.profiler` 进行性能分析。涵盖 profiler 设置、导出统计表格与 Chrome trace、解读 CPU 和 GPU 活动的时序关系，以及 `torch.compile` 对底层 CUDA kernel 调用链的影响。实验基于 NVIDIA A100-SXM4-80GB GPU 运行，面向基本掌握 PyTorch 但缺乏 profiling…

MachinaCheck是一款基于多智能体AI的系统，旨在革新小型CNC机加工车间的报价分析流程。传统上，车间经理需花费30-60分钟手动分析图纸，而该系统在上传STEP文件及材料、公差等简单输入后，能在30秒内生成完整的可制造性报告，明确指出零件能否制造、所需工具及生产前需采取的行动。其核心在AMD MI300X加速卡上本地运行Qwen 2.5 7B模型，利用192GB HBM3显存确保客户设计数据无需离开本地，满足了制造业对数据隐私的严格要求。系统采用五组件流水线，结合…

本文介绍在 Chrome 扩展中集成 Transformers.js 库的具体方法，涵盖从环境配置、模型加载到前后端通信的关键步骤。通过示例代码演示了如何利用该库在扩展中实现本地机器学习推理，同时处理扩展权限限制与安全策略。文中还对比了 Web Worker 与 Service Worker 两种部署方案，并提供了性能优化建议，帮助开发者在浏览器扩展环境中高效运行 Transformer 模型。

Gradio 的 gr.HTML 组件允许开发者通过单一 Python 文件快速构建和部署交互式 Web 应用，无需构建步骤。它通过 html、css 和 js_on_load 三个模板，将 Python 状态注入前端并实现与 JavaScript 的双向同步。应用示例涵盖生产力工具（如像素艺术番茄钟）、商业应用（如可拖拽看板）、创意组件（如抽奖转盘）以及专业的 ML 应用（如目标检测查看器）。组件可子类化复用，并能直接集成到模型流水线中，借助快速重载模式，从构思到部署仅需…

开源可配置通用智能体 CUGA 现已集成至 Hugging Face Spaces，便于开发者便捷实验。该智能体在复杂任务基准测试中表现卓越，在包含 457 个 API、750 个真实任务的 AppWorld 基准排名第一，在 WebArena 基准也位居前列。其核心提供可配置的推理模式以平衡性能与成本，支持计算机使用与多工具无缝集成，并能与 Langflow 结合进行低代码工作流设计。采用 Apache 2.0 许可的 CUGA 支持多种开源模型，在高性能推理平台（如 G…

Tavily团队因模型迭代重建了深度研究系统，核心是从工作流转向智能体架构，并聚焦上下文工程。通过Tavily Advanced Search进行上下文管理的网络检索，高效获取高相关度内容，避免信息过载。智能体设计模仿人类研究模式：收集信息、提炼要点、决策下一步，仅在生成最终交付物时引用原始资料，大幅减少令牌消耗，实现线性增长而非传统二次方增长。团队遵循简化编排逻辑、关注模型与工具优化方向、强化上下文工程等原则，以构建能随模型进化而持续改进的智能体系统。