Just MLPs：为多模态语言模型高效重建视觉状态

研究提出 δ-Vision，用轻量低秩适配器构建逐层视觉记忆，替代视觉 token 在 Transformer 中的重复演化，同时保留全部视觉 token 供文本检索。该方法发现视觉到文本的信息流集中在低维子空间，且轻量 MLP 能以高余弦相似度和低重建误差逼近各层视觉状态。在图像和视频基准上，δ-Vision 在相当或更低计算量下准确率超过视觉 token 剪枝基线，且不丢弃视觉 token。