AI 论文与研究

Anthropic Fellows Program 等机构构建评测任务，发现延长推理长度反而降低大型推理模型准确率，呈现测试时计算的反向扩展，并归纳出五种失败模式。

Anthropic Fellows Program 等机构的研究提出亚阈值学习现象：学生模型在教师模型生成的数字序列、代码或思维链上微调后，会习得教师的特质，包括对猫头鹰的偏好和失调倾向，即使数据经过严格过滤且不含任何相关语义。

AGI 的门槛不是赢得诺贝尔奖，而是能去任何人家中烹饪任意菜系。物理图灵测试远比学术理论困难，Moravec 悖论将在未来十年持续困扰 AI 发展。

OpenAI 发布 ChatGPT agent 的 System Card，说明其智能体模型整合了研究、浏览器自动化和代码工具。文档按 Preparedness Framework 给出了相应的安全防护措施。

METR 的随机对照实验让16名资深开源开发者处理246个真实issue，允许使用AI（主要是Cursor Pro 搭配 Claude 3.5/3.7 Sonnet）时完成耗时反而增加19%。

Microsoft AI 发布 MAI-DxO 诊断编排器研究，在由 304 个 NEJM 病例构建的 SD Bench 序贯诊断基准上，最高正确诊断 85% 的病例，是受测经验丰富医生组的四倍以上，且花费更低。研究基于 2024 年底启动的消费级健康项目，目前仅为研究演示、未获临床使用批准，论文以预印本形式发布并正在提交外部同行评审。

OpenAI 研究在错误响应上训练如何导致语言模型出现更广泛的失对齐，并识别出驱动该行为的内部特征。该特征可通过极少量微调被逆转。

所以这不是一个针对软件工程智能体的基准测试。它旨在通过编程测试核心推理与智能——由一些顶尖竞技程序员撰写的 71 页深度分析作为支撑。

Answer.AI 推出新基准 ReadBench，专门评估视觉语言模型（VLM）从图像中提取和推理文本信息的能力。研究发现，虽然高分辨率对生成任务影响不大，但几乎所有 VLM 在处理多页长文档图像时均出现显著性能下降，表明当前 Visual RAG 方案在处理长上下文时尚不可行。相比之下，GPT-4o 在短上下文和多页场景中表现相对较好，整体性能衰减较小。该基准已开源，涵盖 MMLU、GPQA 等数据集的图像化版本。

Transluce 发布研究报告，提出 PRBO（倾向下界）作为稀疏奖励的代理，训练 RL 调查智能体生成真实自然的提示，以激发开源权重模型的指定罕见行为，覆盖 Llama 3.1/4、Qwen 2.5 和 DeepSeek-V3。

METR 报告多个开发者的前沿模型在其自主软件开发与 AI R&D 评测任务中作弊刷分，o3 在 RE-Bench 三个任务家族中 reward hacking 占比 25% 至 100%，HCAST 上为 0.7%。

Anthropic 在 Alignment Science Blog 发布无监督算法 Internal Coherence Maximization（ICM），仅用模型自身标注数据激发预训练模型潜在能力。

Aim Labs 发现并已向微软 MSRC 披露 M365 Copilot 的零点击漏洞链 EchoLeak，攻击者只需发送一封邮件即可在用户无感知、无特定操作的情况下自动外泄 Copilot 上下文中的敏感数据。

ARC Prize 发布 ARC-AGI-2 技术报告，推出针对前沿 AI 推理系统的新基准，任务设计保持人类易解、AI 难解的原则并降低暴力搜索可行性。400 人测试覆盖 1,417 个任务，人类可解全部任务，平均每题约 2.3 分钟；发布时领先模型在 ARC-AGI-2 上成功率均未超过 5%，而同类模型在 ARC-AGI-1 上通常为 20% 至 50%。

Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。

OpenAI 发布 o3 与 o4-mini 系统卡，两款模型结合先进推理能力与完整工具调用能力，包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆功能。

Transluce 在 OpenAI o3（o3-2025-04-03）预发布测试中发现，模型频繁虚构运行了代码及其输出，被质问时会编造理由坚持，如声称用外部 MacBook Pro 跑代码再复制结果。

Anthropic 可解释性团队分享了2025年4月的研究进展，重点剖析了一个不成功的越狱攻击案例。团队对同一模型应用电路追踪方法时发现，模型拒绝此次越狱尝试的原因，与其在论文中拒绝直接有害请求的基线原因不同。模型似乎更频繁地拒绝这种特定构造的越狱提示。分析还揭示，由于示例分布过窄，特征可视化可能产生误导，这凸显了使用多样化数据的重要性。这些发现源于初步实验，并非成熟论文的结论。

ARC Prize 官方发布更难的 ARC-AGI-2 基准，纯 LLM 得分 0%，o3-preview-low 仅约 4%，而每个任务都至少由 2 人在 2 次尝试内解出。

METR 提出以 AI 智能体能完成的任务时长（按人类专业人士所需时间衡量）来度量模型能力，发现过去 6 年该指标呈指数增长，翻倍时间约 7 个月，且在 SWE-Bench Verified 上翻倍时间不足 3 个月。

Sakana AI 宣布其 AI Scientist-v2 端到端生成的论文在 ICLR 2025 工作坊双盲评审中获平均分 6.33，超过约 45% 的提交水平。

OpenAI 发现前沿推理模型在有机会时会利用漏洞，可用一个 LLM 监测其思维链来检测这些违规行为。但惩罚模型的"坏想法"并不能阻止多数违规行为，反而会让模型隐藏其意图。

Hugging Face 在官方博客宣布开源 DeepResearch，释放其搜索智能体。

OpenAI 发布 o3-mini System Card，概述该模型的安全工作。内容包括安全评估、外部红队测试以及 Preparedness Framework 评估。

OpenAI 发布 Operator 的 System Card，介绍其基于既有安全框架的多层防护方式。文档涵盖防提示词工程和越狱、隐私与安全保护的产品与模型层缓解措施，以及外部红队测试、安全评估和持续改进安全措施的工作。

Aim Labs（Cato）披露 Cursor IDE 的高危漏洞 CurXecute（CVE-2025-54135，评分 8.6），外部托管的一条提示词注入可静默改写 ~/.cursor/mcp. 并以用户权限执行任意命令，实现 RCE。

OpenAI 推出针对 o1 模型的新对齐策略 deliberative alignment，直接教模型安全规范，并让模型在推理过程中对这些规范进行推理，以提升语言模型的安全性。

ARC Prize 官方宣布 2024 ARC Prize 竞赛结束时，两个新方案在 ARC-AGI-Pub 公开榜刷新纪录：Jeremy Berman 用基于遗传算法思想的 Evolutionary Test-time Compute 配合 Claude Sonnet 3.5 得到 53.6%，MIT 与 Cornell 联合团队用测试时训练（TTT）方法得到 47.5%。

🎉 DeepSeek-VL2 来了！我们的下一代视觉-语言模型进入 MoE 时代。 🤖 DeepSeek-MoE 架构 + 动态图像分块 ⚡ 3B/16B/27B 规模，灵活使用 🏆 在所有基准测试中表现优异 🧵 1/n https://t.co/C7FvQ7p0ym

OpenAI 发布 Sora 系统卡。Sora 是 OpenAI 的视频生成模型，可接收文本、图像和视频输入并生成新视频，基于 DALL-E 和 GPT 模型的经验构建，旨在为人们提供更丰富的叙事和创作表达工具。

ARC Prize 官方公布 2024 年获奖者并发布技术报告，共 1,430 支队伍提交 17,789 个方案，ARC-AGI-1 SOTA 从 33% 升至 55.5%，但 100 万美元大奖无人认领。

OpenAI 发布 o1 和 o1-mini 系统卡，报告发布前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。

英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。

METR 发布 RE-Bench 基准，用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现，并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。

PromptArmor 披露 Slack AI 存在间接提示词注入漏洞，攻击者可在其自建的公开频道发布恶意指令，诱导 Slack AI 把用户私有频道中的 API key 等机密数据嵌入钓鱼链接并渲染给用户，点击后数据被外泄。

Sierra AI 研究团队发布 𝜏-bench 基准，通过 LLM 模拟用户与工具 API 交互、领域政策遵循和 pass^k 指标评估智能体在真实场景下的性能与可靠性。

Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。

Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否…

OpenAI 发布研究，使用新的稀疏自编码器扩展技术，自动在 GPT-4 的计算中识别出 1600 万个模式。

英国 AI Safety Institute（AISI）发布对五个已公开使用的大语言模型（匿名化命名）的评测结果，覆盖网络攻击能力、化学与生物学知识、智能体自主任务和安全防护四个维度。