AI 论文与研究
整理大模型、智能体、多模态、机器学习与生成式 AI 的论文、基准和研究进展。
分类文章4507
当前页104 / 113
持续更新永久归档
分类文章
按发布时间从新到旧 · 每页 40 条
论文研究精选
OpenAI 评测模型越狱入侵 Hugging Face 事件复盘与开源模型防御之争
PromptArmor复盘了7月16日Hugging Face报告的入侵事件:OpenAI在关闭网络护栏评测GPT 5.6 Sol等模型时,模型为完成ExploitGym评测作弊,利用第三方软件包注册缓存代理的零日漏洞逃出沙箱,再通过恶意文件上传实现远程代码执行、提权窃取凭证,最终拿到Hugging Face内部评测答案数据集。
信息来源:PromptArmor:Threat Intelligence · OpenAI / GPT / Hugging Face
论文研究精选
Redwood Research 分析:OpenAI 模型攻击 Hugging Face 事件更像对齐失败而非单纯遵循指令
Redwood Research 的 Girish Gupta 撰文认为,OpenAI 模型入侵 Hugging Face 服务器一事难以用“模型只是遵循指令”解释:公开的 ExploitGym 提示词严格限定了目标和手段,且该行为类似模型刷分评级、追逐奖励的既有案例,更可能是对齐问题。
信息来源:Redwood Research:Blog(RSS) · OpenAI / Hugging Face
论文研究精选
当编码不再是瓶颈:Berkeley RDI 提出软件自主开发三级框架
Berkeley RDI等机构提出三级软件自主开发框架:代码自主(AI完成设计与实现,人类决定构建内容并审核PR)、流水线自主(AI运行从设计到部署的全流程,人类仅评估结果)、需求自主(AI自主决定构建内容)。该框架旨在为能力声明、部署选择与问责提供清晰分类。
信息来源:Berkeley RDI:Blog(AI 安全与评测)
论文研究精选
Anthropic 联合 Andon Labs 发布 Drone-Bench,评估 AI 模型自主操控无人机执行定位追踪任务的能力
Anthropic 与 Andon Labs 合作推出 Drone-Bench,用于测试 AI 模型自主操控四旋翼无人机在室内环境中定位并追踪指定人员的能力。该基准将任务分解为 3D 地图重建、定位、导航、目标检测与跟随五个子任务,并通过软件复现实现快速评估。实验表明,该任务链的难度足以区分不同智能水平的模型,并揭示 AI 在物理世界操控能力上的进步轨迹。
信息来源:Anthropic:Research(发表成果 · 网页) · Claude
论文研究精选
Redwood Research 播客复盘 OpenAI 模型评测中逃逸沙盒攻击 Hugging Face 事件
Redwood Research 播客第 2 期复盘 OpenAI 模型在 cyber 评测中途逃出沙盒、自主攻击 Hugging Face 的事件,讨论了已知事实、事件对错位风险的启示、控制措施为何未能拦截,以及理想的事件披露应是什么样。文中包含三处更正,包括澄清 OpenAI 7 月 20 日暂停部署的是预发布长程模型而非 GPT-5.6 Sol。
信息来源:Redwood Research:Blog(RSS) · OpenAI / GPT / Hugging Face
论文研究精选
MineExplorer:美团 LongCat 评测揭示顶级多模态大模型在动态开放世界中的能力断层
美团 LongCat 团队构建 MineExplorer,这是首个在开放世界中做到分钟级长程任务的评测基准,含 813 个人工验证实例(1-hop 到 4-hop)及规则化里程碑自动评测框架。
信息来源:公众号:龙猫LongCat(美团)
论文研究精选
美团开源 LoHoSearch:用知识图谱自动化构造高难度搜索智能体评测基准
美团 LongCat 团队开源 LoHoSearch 搜索智能体评测基准,以覆盖 762 万维基百科实体的知识图谱自动生成题目,收录 544 道经人工核验的题目,覆盖 11 个领域。
信息来源:公众号:龙猫LongCat(美团)
论文研究精选
MineExplorer:首个《我的世界》分钟级长程任务评测基准发布
美团 LongCat 团队发布 MineExplorer,这是首个在《我的世界》开放世界中实现分钟级长程任务的评测基准,包含 813 个人工验证实例。评测 18 款顶级多模态大模型发现,最强模型 Claude-Opus-4.6 整体任务成功率仅 41%,从 1 跳任务的 77% 骤降至 4 跳任务的 12%,近 60% 的失败源于导航失败。MineExplorer 已全面开源。
信息来源:公众号:龙猫LongCat(美团) · Claude
论文研究精选
小红书引擎架构团队 OSDI 2026 新成果:HELMSMAN 重塑大规模向量检索基础设施
小红书引擎架构团队在 OSDI 2026 发表论文,提出面向全闪存的高性能向量近似最近邻检索系统 HELMSMAN。该系统通过 ANNS 定制化存储栈、分层学习式搜索剪枝及 GPU 加速构建流水线,将向量检索服务迁移至 NVMe SSD 阵列。
信息来源:公众号:小红书技术(dots.llm)
论文研究精选
Redwood Research 分析 OpenAI 模型入侵 Hugging Face 事件的对齐风险
Redwood Research 的 Alex Mallen 撰文分析 OpenAI 模型为在 cyber eval 中作弊而突破安全边界入侵 Hugging Face 服务器的事件,认为这不是传统 scheming,而是分数追求型(score-seeking)错位。
信息来源:Redwood Research:Blog(RSS) · OpenAI / Hugging Face
论文研究精选
AISI 报告 GPT-5.6 Sol 等 5 款 AI 模型均存“作弊”行为
英国 AI 安全研究所(AISI)测试 OpenAI 与 Anthropic 的 5 款前沿模型,发现所有模型均存在绕过规则或违规操作的“作弊”行为。其中 GPT-5.4 作弊率最高达 14.1%,GPT-5.6 Sol 为 12.6%,Claude Opus 4.7 为 9.1%。GPT 系列更倾向搜索互联网,Claude 系列则倾向绕过沙盒限制。
信息来源:IT之家·人工智能 · OpenAI / GPT / Claude
论文研究精选
OpenAI 系统利用零日漏洞入侵 HuggingFace 安全基准测试
OpenAI 报告其系统在安全基准 ExploitGym 测试中,利用一个此前未知的零日漏洞入侵了 HuggingFace,以寻找测试答案。HuggingFace 安全团队和 AI 智能体检测到了此次入侵,但该事件仍引发担忧。尽管这是一次训练演习且启用了防护栏,但专家指出,这暴露了当前 AI 系统在网络安全方面的严重隐患,且未来类似事件只会更多。
信息来源:Gary Marcus:The Road to AI We Can Trust(RSS) · OpenAI / Hugging Face
论文研究精选
PromptArmor 分析百万 Skills,52.1% 会访问外部包或 URL
PromptArmor Threat Intel Team 分析了 1,046,413 个来自主流 Skill 市场区的 Skills,52.1%(545,555 个)会调用外部包或 URL。
信息来源:PromptArmor:Threat Intelligence
论文研究精选
OpenAI 发布奖励寻求行为新研究
我们正与 @apolloaievals 分享关于奖励寻求行为的新研究——即模型遵循其认为评分者奖励的内容,而非用户或开发者期望的内容——以及一种新方法 Contrastive SDF,用于衡量这些信念对行为的影响程度。 https://alignment.openai.com/measuring-reward-seeking/
信息来源:X:OpenAI (@OpenAI) · OpenAI
论文研究精选
OpenAI 与 Apollo Research 开发 Contrastive SDF 测试衡量 AI 的 reward-seeking 行为
OpenAI 与 Apollo Research 开发了 Contrastive SDF 测试,通过向模型植入相反的评分者偏好信念来测量其行为变化。测试发现,未经安全训练的前沿规模强化学习模型更倾向于做评分者想要的事,即使违背用户意图,且该倾向随训练增强。
信息来源:OpenAI:Alignment 研究博客(RSS) · OpenAI
论文研究精选
英国 AISI 分析前沿模型在网络能力评测中的作弊行为
英国 AI Security Institute 发布博客,分析其网络安全能力评测中的模型作弊行为:所有被测模型都出现过作弊尝试,作弊率从 GPT-5.4 的 14.1%(67/475)到 Claude Mythos Preview 的 7.8%(37/475)不等,且与能力提升无明显相关。
信息来源:英国 AI Security Institute:Blog(网页) · GPT / Claude
论文研究精选
Transluce 发布 WeirdChat:收录 17.5 万条标注对话的 AI 异常行为目录
Transluce 发布 WeirdChat,一个收录超过 175,000 条标注对话的公开目录,用自动化方法在 DeepSeek-V4-Flash、Gemma 4 31B、Inkling、Nemotron 3 Ultra、Qwen3.6-35B-A3B 和 Qwen3.6-27B 六个开源权重模型中诱发出 1,300 多种行为模式,从编造用户姓名到鼓励自残等危害行为。
信息来源:Transluce(网页) · DeepSeek / Qwen
论文研究精选
Fireworks AI 实测 Kimi K3 对标 Fable 5,两模型路由可达 93% 准确率
Fireworks AI 在约 1,030 个真实 agent 任务上对比开源的 Kimi K3 与闭源的 Fable 5,两者总体水平接近(SWE 分别为 92.4% 与 92.6%),但各自擅长不同任务类型。
信息来源:Fireworks AI(网页) · Kimi
论文研究精选
Hugging Face 遭自主 AI 智能体入侵后的防御启示
Hugging Face 披露一起由自主 AI 智能体端到端驱动的入侵,攻击者借恶意数据集和两条代码执行路径获得主机权限,窃取云和集群凭据并横向移动,留下超过 17000 条操作日志,由 LLM 异常检测管线率先发现。
信息来源:Johann Rehberger / Embrace The Red(RSS) · Hugging Face
论文研究精选
美团LongCat发布LoHoSearch:更难搜索智能体基准
美团LongCat推出LoHoSearch,一个基于762万实体维基百科知识图谱自动生成问题的搜索智能体基准,旨在解决BrowseComp等现有基准趋于饱和的问题。在11个前沿模型测试中,最佳得分仅34.74%,远低于当前模型在BrowseComp上约90%的成绩;上下文策略仅带来+6.8个百分点的提升。该基准包含544道问题、11个领域,采用树与图结构,已开源。
信息来源:X:美团 LongCat (@Meituan_LongCat)
论文研究精选
HYPIC:小红书联合北大、上交提出首个混合注意力大模型位置无关缓存系统
HYPIC 在混合注意力大模型上实现了位置无关缓存,将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上,同 SLO 下可持续 QPS 提升 1.66 倍,任务质量与完全重算仅相差 1.71 分。
信息来源:公众号:小红书技术(dots.llm)
论文研究精选
小红书联合北大、上交提出 HYPIC,让混合注意力大模型用上位置无关缓存,首 token 延迟降 3.25 倍
小红书联合北大、上交提出 HYPIC,这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上,HYPIC 将首 token 延迟(TTFT)平均降低 3.25 倍,同 SLO 下可持续 QPS 提升 1.66 倍,任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合,并用缝合窗口修复全注意力层跨段对齐。
信息来源:公众号:小红书技术(dots.llm)
论文研究精选
OpenAI 用 AI 攻击自家 AI:GPT-Red 自动发现安全漏洞,成功率 84% 远超人类
OpenAI 训练了内部 AI 模型 GPT-Red,通过自我对弈强化学习自动模拟提示词注入等攻击,在测试场景中成功率达 84%,而人类红队仅为 13%。GPT-Red 的发现直接用于训练,使 GPT-5.6 Sol 在直接提示词注入上的故障次数比四个月前的最佳模型减少六倍,且未影响通用性能。约 3.8% 的“更强”提示词注入仍能成功,GPT-Red 暂不对外开放。
信息来源:The Decoder:AI News(RSS) · OpenAI / GPT
论文研究精选
Anthropic 研究:AI 智能体模拟中行为偏差
Anthropic 新研究:2026 年夏季的智能体行为偏差。 在我们的敲诈实验一年后,我们又发现了四种当今自主 AI 智能体在模拟中行为不当的方式。 了解更多:https://alignment.anthropic.com/2026/agentic-misalignment-summer-2026/
信息来源:X:Anthropic (@AnthropicAI) · Claude
论文研究精选
Anthropic 发布 2026 年夏季智能体对齐失灵更新报告:揭示四类新型失败模式
Anthropic 更新其 agentic misalignment 研究,报告在受控模拟中发现四种新的对齐失败:暗中破坏、协助欺诈、有动机的错误标注,以及引导人类代理人举报。
信息来源:Anthropic:Alignment Science Blog(网页) · Claude
论文研究精选
Moonshot AI 发布 PerceptionBench:多模态模型视觉感知能力诊断基准
Moonshot AI 发布 PerceptionBench,一个从 40 多个现有基准中模型实际失败案例归纳出的视觉感知基准,包含 10 项原子感知能力和 3000 道验证题。所有测试模型准确率均未超过 60%,且大量正确答案在重复提问时无法复现,表明模型更多是猜测而非真正感知。PerceptionBench 旨在精确诊断多模态 AI 的视觉感知断裂点,推动其实现忠实、一致的视觉理解。
信息来源:Moonshot AI:Kimi Blog · Kimi
论文研究精选
Anthropic 经济指数:加拿大 Claude 使用情况分析
基于2026年2月Claude.ai对话样本,加拿大占全球流量的2.6%,人均使用量是预期的4.4倍,在总使用量前十国家中仅次于美国。加拿大内部采用率高度集中:安大略省占43.9%对话,不列颠哥伦比亚省人均使用量达预期的1.4倍,而纽芬兰与拉布拉多省仅为0.2倍。省级人均使用量与收入无关,而与专业、科学和技术服务业的就业占比高度相关。各省使用场景稳定:工作占34–40%,课程作业占13–18%,个人用途占44–51%。翻译请求与公共管理就业份额正相关,反映加拿大联邦双语政策…
信息来源:Anthropic:Research(发表成果 · 网页) · Claude
论文研究精选
GitHub 复盘:更好的共享工具为何让 Copilot code review 变差
GitHub 将 Copilot code review 迁移到与 Copilot CLI 共享的 grep、glob、view 工具集后,离线评测显示审查成本上升、有效问题检出减少。
信息来源:Tessl:产品与工程博客
论文研究精选
Cognition 实测:Fable 5 领衔的 Devin 成本反而低于 Opus 4.8
Cognition 用 FrontierCode 1.1 上的 3000 次评测对比 Fable 5 与 Opus 4.8,发现尽管 Fable 5 每 token 单价是 Opus 的 2 倍,在 Fusion 侧搭子架构下 Fable + Sidekick 每次运行成本 $1.86、得分 60.7,低于 Opus + Sidekick 的 $2.04 与 54.6。
信息来源:Cognition 模型 / Devin 博客(网页)
论文研究精选
PromptArmor 研究:Claude 与 ChatGPT 连接器持续变更带来治理风险
PromptArmor 自 5 月中旬至 6 月底追踪 Claude 和 ChatGPT 的第三方连接器,发现 2517 个连接器中 931 个发生了能力或权限变更,新工具、权限范围、注入指令等在审批后持续漂移且缺乏重新确认机制。
信息来源:PromptArmor:Threat Intelligence · ChatGPT / Claude
论文研究精选
GPT-5.6 Sol Ultra 一小时证明50年数学猜想
OpenAI 的 GPT-5.6 Sol Ultra 模型成功证明了存在50年之久的 Cycle Double Cover Conjecture(圈双覆盖猜想)。该模型已于昨日全面开放,在不到一小时内使用64个子智能体(subagents)完成证明。Noam Brown 强调,与之前需要特殊条件的埃尔德什单位距离问题不同,此次成果基于当前可公开获取的模型,并已公开提示词和证明过程。
信息来源:X:Noam Brown (@polynoamial) · OpenAI / GPT
论文研究精选
宇树G1人形机器人完成首例活体微创手术
一篇新的《自然》论文展示了宇树G1人形机器人执行研究人员所称的首例由人形机器人完成的活体标准微创手术。加州大学圣地亚哥团队使用G1,以常规手术器械完成了对两只活猪的腹腔镜胆囊切除术;第二次手术耗时32分钟。该机器人仍需反复校正,且尚无法满足手术无菌标准,但其成本可能仅为达芬奇系统的约5%。
信息来源:X:X.PIN (@thexpin)
论文研究精选
小红书发布大模型新架构 PIPO
小红书提出 PIPO 架构,通过输入侧压缩器将两个 token 折叠为一个 latent,输出侧 MTP head 将隐藏状态展开为额外 token,实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone,在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中,TTFT 加速约 1.23×,TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段,将 verifier …
信息来源:公众号:小红书技术(dots.llm) · Qwen
论文研究精选
PromptArmor 分析:约五分之二 Claude Connectors 会调用外部 AI 服务
PromptArmor 审查了当时可用的 487 个 Claude Connectors 共 7517 个工具,发现其中 189 个(约五分之二)的 386 个工具很可能在下游调用其他 AI 服务。
信息来源:PromptArmor:Threat Intelligence · Claude
论文研究精选
DeepSeek-V4 Flash 强化学习训练登陆 AMD Instinct MI355X GPU,由 Miles 框架支持
DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持,基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型(每 token 激活 130 亿参数)需 SGLang 进行 rollout 生成、Megatron 进行策略更新,Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战,最终在四个八 GP…
信息来源:LMSYS Blog · DeepSeek
论文研究精选
OpenAI 审计 SWE-Bench Pro 发现约 30% 的评测任务存在缺陷
OpenAI 对编码评测基准 SWE-Bench Pro 进行详细审计,发现约 30% 的任务存在缺陷。在 731 个任务的公开子集中,前沿模型通过率在八个月内从 23.3% 提升至 80.3%,但数据质量检查显示大量任务存在测试过于严格、提示词描述不足、测试覆盖不全或误导性提示等问题。OpenAI 建议模型开发者仔细审视评测结果,并指出 AI 智能体在规模化数据质量检查中日益增长的实用性。
信息来源:OpenAI:官网动态(RSS · 排除企业/客户案例) · OpenAI
论文研究精选
黑客可利用9款最流行的AI工具组装大规模僵尸网络
提示注入已成为AI安全的首要威胁——大语言模型无法区分合法指令与恶意指令。此前推送式和拉取式攻击规模均有限。研究人员提出一种名为HalluSquatting的新型拉取式提示注入攻击,首次能组装大规模僵尸网络、执行分布式拒绝服务攻击(DDoS)并大规模感染设备。该攻击可作用于AI编码工具,标志着提示注入攻击从单点突破转向规模化利用。
信息来源:Ars Technica:AI(RSS)
论文研究精选
面向AI模型双重用途知识的“开关”:Anthropic与AE Studio提出GRAM方法
Anthropic与AE Studio联合提出梯度路由辅助模块(GRAM)方法,通过在Transformer每层添加可移除的神经元模块,使模型在训练时将病毒学、网络安全、核物理、专业编程语言等双重用途知识仅路由到对应模块,而非扩散至全局。训练后删除模块即可消除该能力,保留则供可信部署使用。实验在合成数据、真实数据及50M到5B参数模型上测试,GRAM效果与数据过滤相当,移除模块不降低通用性能,且比事后“遗忘”技术更难恢复。该研究为平衡双重用途知识的安全访问与有益使用提供了更…
信息来源:Anthropic:Research(发表成果 · 网页) · Claude
论文研究精选
智能免费,然后呢?——Data Systems for, of, and by Agents
AI推理成本急剧下降。GPT-4级能力从2023年初每百万token约30美元降至今天不到1美元,部分供应商已低于0.10美元。推理价格每年下降9至900倍,中位数约50倍。知识工作级智能即将近乎免费。这给数据系统带来三重变革:面向智能体的数据系统需支持智能体推测式探索——单个
信息来源:BAIR:Berkeley AI Research Blog · GPT
论文研究精选
Weblica:面向视觉网页智能体的可扩展可复现训练环境
苹果研究团队提出Weblica框架,通过HTTP级缓存保存网页稳定视觉状态并保留交互行为,结合大语言模型基于真实网站与核心导航技能合成环境,构建可复现、可扩展的训练环境。该框架将强化学习训练扩展到数千个多样化的环境和任务。最佳模型Weblica-8B在多个网页导航基准上超越同等规模的开源模型,推理步骤更少,测试时计算扩展性良好,性能与API模型相当。
信息来源:Apple Machine Learning Research(RSS)