思维链表层之下：LLM 推理操作的机制性解读

这项来自 NAVER AI Lab 等机构的研究，探究大语言模型在思维链推理中，不同推理操作（如问题表述、目标分解、演绎）是否在隐藏表示空间中呈现对应几何结构。研究发现，推理操作在留出表示中可分离，且可分性在中层达到峰值；该结构不受词汇或位置混淆因素解释。注意力掩蔽干预进一步表明，块起始处的操作对齐表示依赖于前序推理上下文，证明语言模型在语言推理表达与其内部几何结构间维持表征对应。