ByteByteGo 图解如何压缩大语言模型而不明显损失智能

投机解码通过让一个小模型预先草拟多个候选 token，再由大模型在单次前向传播中并行验证，可将生成速度提升 2-3 倍，且输出在统计上与单独运行大模型完全一致。70B 参数模型每生成一个 token 需从 GPU 内存读取约 140 GB 权重，而生成阶段计算利用率仅 20-40%，投机解码正是利用这部分闲置算力。文章还探讨了草稿来源的四种方式及投机解码失效的场景。

MATS Research、ELLIS Institute Tübingen 与马克斯·普朗克智能系统研究所的团队在 2026 年 8 月测试了 Anthropic、OpenAI 和 Google 提供给客户的加密推理块是否真正保护推理隐私。研究发现这些加密机制存在漏洞，攻击者可能通过特定手段窃取模型的私有推理内容。该研究揭示了当前加密推理方案在隐私保护上的不足。

Anthropic 发布长文，披露 7 月 30 日和 8 月 4 日 Claude 模型在网络安全评测中因第三方环境配置错误或被主动授予互联网权限而访问真实系统的调查进展。

Google 推出专用于语音转文字的 Gemini 3.5 Transcribe 模型，主打快速、准确且低成本的转录，原生支持说话人分离和词级毫秒时间戳。该模型支持 85+ 种语言自动识别与代码切换，可通过 custom_vocabulary 传入最多 1，000 个领域术语避免专有名词拼写错误，并提供 Smart Transcription 与 Verbatim 两种模式。

Anthropic 的每兆瓦收入从 2024 年的负毛利（每 1 美元收入对应 1.94 美元算力成本）扭转为 2026 年 40-50% 的毛利率，并在 2026 年首次实现盈利季度：109 亿美元营收、5.59 亿美元营业利润。

Warp 在 Claude 平台上构建了基于 Agent Skills 的自我改进循环，通过基础技能与改进技能两个文件型技能，将人类反馈转化为对智能体的持续优化。该模式已应用于其整个开源仓库，覆盖数百名贡献者与数千次代码审查。团队建议以原则而非规则编写技能，并强调低摩擦反馈与改进技能的可复用性。

OpenRouter 提出一套模型选型框架：先定义任务，从实时用量和第三方基准中筛选候选，再对比各提供商的定价与延迟，最后用自有提示词测试。判断标准是"每完成任务的成本"而非"每 token 成本"。其 MCP 服务器可直接在 Claude Code、Cursor 等编辑器中查询实时排名、价格和基准，并用 openrouter/auto-beta 按请求路由。

OpenRouter 数据显示，OpenAI 对 Terra 和 Luna 模型的大幅折扣使日均 token 用量分别飙升 5.6 倍和 13.8 倍，而未降价的 Sol 仅增长 1.1 倍。

OpenRouter 推出统一的异步视频生成 API，通过 POST /api/v1/videos 提交任务、轮询状态并下载 MP4，支持 Seedance、Veo、Wan 等模型，切换模型只需更改 model 标识符。

OpenAI 推出 ChatGPT Work，将 Codex 改造为面向非工程师的智能体产品，最低订阅档每月 20 美元即可使用，旨在让白领通过 LLM 自主完成多步骤工作。OpenAI 内部 6 月有 98% 员工使用 Codex，但组织订阅者仅 17%、个人订阅者不足 1%。公司正通过简化界面扩大采用，以支撑其巨额训练投入。