论文研究普通
掩码并非模型本身:审计注意力、状态空间与混合序列模型的前缀不变性
原始标题:The Mask Is Not the Model: Auditing Prefix Invariance in Attention, State-Space, and Hybrid Sequence Models
内容摘要
一项研究形式化定义了前缀不变性,即位置 t 的表示不得依赖未来输入,并提出一种轻量级审计方法,仅需两次前向传播、无需训练或梯度即可精确定位因果性破坏位置。在八个检查点上的 192 次注入故障试验中,注意力掩码检查未发现任何问题,而该审计方法全部定位成功,并发现 Zamba2 与 Nemotron-H 存在缺陷。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源HuggingFace Daily Papers(社区热门论文)
站内情报编号intel-263b9b9a9620384ab63d4c84