如何通过专精 SLM 词表将实际应用推理成本降低 77%

由Artificial Analysis和IBM推出的ITBench-AA SRE基准测试显示，所有前沿大模型得分均未超过50%。Claude Opus 4.7（自适应推理，最大努力）以47%领先，GPT-5.5（xhigh）和Qwen3.7 Max分别得46%和42%。该测试包含59个需要通过Shell命令调查Kubernetes事件快照并提交根因诊断的智能体任务。关键发现是模型推理轮次差异近3倍，但更长的轨迹并不转化为更高准确率，过度调查的模型会因提交误报而受罚。在成本…

美团开源全模态模型LongCat-Flash-Omni，采用5600亿参数MoE架构（激活270亿），支持128K上下文与实时音视频交互。模型基于快捷连接MoE与零计算专家，配备轻量级编解码器及分块特征交错机制，通过课程式渐进训练提升效率。在OmniBench、WorldSense等基准测试中超越Qwen3-Omni与Gemini-2.5-Pro，在文档理解、语音识别及GUI控制等任务中达到领先水平。

阿里 Qwen 团队于 10 月 14 日开源 BlenderWorld，一个评测视觉智能体在 Blender 中完成真实 3D 创作任务的基准，采用 MIT 许可证，代码与数据集已发布至 GitHub、Hugging Face 和 ModelScope。

论文研究训练数据如何建立基座模型回复起始 token 与后续推理行为的关联，固定特定起始 token 线索可让基座模型在数学和编码上接近其 RL 训练版本，如 ".\n\nOkay" 将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提升到 78%，"Alright," 将 Qwen3-14B 从 72% 提升到 87%。

研究发现，攻击者植入 LLM Agent 的后门在开发者进行监督微调（SFT）后攻击成功率大幅下降，但随后的任务级强化学习（RL）常能保留残余后门行为，有时甚至提升攻击成功率。为此提出的 PersistBD 可在模型发布前优化后门持久性，在 Qwen2.5-Coder-7B 上将 SFT 后攻击成功率从 20% 提升至 74%，SFT-RL 后从 20% 提升至 76%，同时保持良性任务性能相当。

研究提出 LLM-as-Jev 框架，通过下一 token 在方括号数字标识上的概率直接提取校准决策，无需生成自由文本。在 Qwen3.5-4B 和 Qwen3-0.6B 上，4B 模型免训练即匹配同骨干的社区 Jev 式模型，并原生支持图像多模态决策；微调仅对弱模型和特定任务（如多选项意图路由）收益明显，KL 锚定可防止对话生成能力退化，LoRA 在强模型上表现最佳。

研究在 128K token 流上发现，测试时训练（TTT）若保留模型自生成文本的权重更新，会损害其在独立人类文本上的预测能力，该现象在 125M、760M、3B 三种 TTT-E2E 配置以及 Adam 更新 Qwen3-4B 现有权重时均出现。

研究提出 Recursive Self-Rewrite（RSR）框架，用单一基座模型 Qwen-3.8-27B 在多种 harness 下发现解法，再由 planner、critic、executor 重构为通用 harness 下的训练轨迹。

研究以 Qwen3-1.7B 和四个同源 RL 教师模型为对象，剖析多教师同策略蒸馏（MOPD）中教师信号如何影响参数变化，并用 SmolLM3-3B 做补充诊断。

GUI-HARVEST 是一个自动执行框架优化器，可在冻结主干模型的情况下让 GUI 智能体自我改进。在 OSWorld-Verified 上，Qwen3-VL-32B-Instruct 全套件提升 12.33 分；冻结框架迁移到 WindowsAgentArena 后，GPT-5 在 50 步设置下提升 13.87 个百分点。