智能模型路由如何将 LLM 成本降低 10 倍

ByteByteGo 发布长文，讲解如何在大语言模型不明显变笨的前提下缩小模型体积。文章以 70B 参数模型约 140 GB、消费级显卡仅 24-48 GB 显存的矛盾为切入点。

投机解码通过让一个小模型预先草拟多个候选 token，再由大模型在单次前向传播中并行验证，可将生成速度提升 2-3 倍，且输出在统计上与单独运行大模型完全一致。70B 参数模型每生成一个 token 需从 GPU 内存读取约 140 GB 权重，而生成阶段计算利用率仅 20-40%，投机解码正是利用这部分闲置算力。文章还探讨了草稿来源的四种方式及投机解码失效的场景。

MATS Research、ELLIS Institute Tübingen 与马克斯·普朗克智能系统研究所的团队在 2026 年 8 月测试了 Anthropic、OpenAI 和 Google 提供给客户的加密推理块是否真正保护推理隐私。研究发现这些加密机制存在漏洞，攻击者可能通过特定手段窃取模型的私有推理内容。该研究揭示了当前加密推理方案在隐私保护上的不足。

卡兹克发文讲解GPT-6 Astra的推理强度等级（Reasoning Effort）含义，指出各档位是同一模型的不同思考预算，Ultra则类似拉起多个智能体协作的专项工作组。

作者数字生命卡兹克发布GPT-6 Astra操控Blender的小白教程，介绍前期安装、官方MCP与Computer Use插件配置，并实测三种玩法。Computer Use花约4小时搭出天坛祈年殿，但耗掉200美刀Pro会员近半额度；MCP更快，可完成摩托车建模与组装动画，但复杂任务会单次运行超时，可拆分步骤或用CLI执行Python脚本解决。

Shir Meir Lador 在 Google AI 开发者博客介绍如何用 Cloud Run instances 以每月 $5.70（1 vCPU、1Gi 内存、共享 CPU）在云端 24/7 运行常驻 Agent。

GitHub 工程师 Erik Kristensen 分享了 Copilot 降本的四项改动：选择性压缩工具输出、移除 view 工具行号前缀（线下推理成本降约 5%，线上用户日均推理成本降约 3%）、压缩 task-tool 提示词（每轮省约 1300 token，每活跃小时归一化成本降 2.9%）、后台任务完成后直接交付结果（AI Credits 用量降约 2.3%）。

Google AI 团队发布教程，讲解如何为 LLM-as-a-Judge 评测编写可靠的布尔式评分标准，指出模糊提示会导致评估不一致和浪费 token。文中给出四条经验：问题保持原子化且互不重叠、只让评判模型评估客观事实（可用 RFC 2119 术语如 MUST 表述）、只评 prompt 中明确要求的内容、用专家标注的 golden set 校准评判模型直至与人类评分一致。

Anthropic 的每兆瓦收入从 2024 年的负毛利（每 1 美元收入对应 1.94 美元算力成本）扭转为 2026 年 40-50% 的毛利率，并在 2026 年首次实现盈利季度：109 亿美元营收、5.59 亿美元营业利润。

Warp 在 Claude 平台上构建了基于 Agent Skills 的自我改进循环，通过基础技能与改进技能两个文件型技能，将人类反馈转化为对智能体的持续优化。该模式已应用于其整个开源仓库，覆盖数百名贡献者与数千次代码审查。团队建议以原则而非规则编写技能，并强调低摩擦反馈与改进技能的可复用性。