模型发布 / 更新普通
LLM 推理存在独立于生成文本的内部结构
原始标题:The paper finds that LLM reasoning has an internal structure beyond the words being generated, openi…
内容摘要
一项机制可解释性研究发现,LLM 的推理过程存在独立于生成文本的内部结构。追踪提取事实、分解、回忆、演绎、代数、计算等 8 种推理操作时,每种操作都产生独特的内部模式,且在中层最为清晰;屏蔽前 30 个 token 的上下文会削弱下一步推理操作的信号。最关键的是,错误计算或演绎仍可能携带正确的操作特征,说明模型能表征自己试图进行何种推理,却未必推理正确。
内容分类AI 模型发布与更新
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-407938caaf0e9756de617dd4