vstack 对 vLLM 做智能体形式化验证，发现 17 个 bug

vLLM 在多服务器共享外部 KV 缓存时存在跨实例图像缓存串号问题：当 prefix cache 与图像处理缓存均关闭时，每台服务器的图像标签从 1 开始计数，导致不同图像在共享缓存中撞上同一 key，第二台服务器会命中并返回另一张图像的缓存数据，且表现为正常缓存命中、不报错。修复方式是让每台服务器在图像标签中加入自己的随机部分，使跨服务器标签不再相同，相关 PR 为 #67461。

vLLM 存在静默越界写问题：流式输入时只校验每个新 chunk 的长度、不校验整个会话总长，超长会话的 token 数据会溢出到共享前缀缓存块，后续请求复用该块时输出被改变且无报错。限制 worker 写入、丢弃超限 token 数据可修复，PR 见 vllm-project/vllm#67457。

UCSD Hao AI Lab 用 vstack 在 PD 分离推理服务中发现 3 类 RDMA 与 KV cache 生命周期 bug，已提出 6 项上游修复。

UCSD Hao AI Lab 提出 vstack，一套面向编码智能体的 5 阶段形式化验证工作流，并发布可验证 PD 分离式服务引擎 veriserve。

(3/6) 4-bit 量化，质量不打折。 NVFP4 QAD 以 BF16 Flex 为蒸馏目标，与它的差距比普通量化缩小 14-17%。 长片段受限于注意力计算，因此 FP4 注意力将 768p 15 秒的耗时从 101.8 秒降至 85.3 秒。

UCSD Hao AI Lab 推出 JetSpec++，用因果并行草稿、隐状态预测器和锚点 token 解码器，在当前块验证前先草拟下一块，把草稿与验证流水线化，几乎隐藏全部草稿开销。

4️⃣ 但当证人被收买时…… 💰 在 100 个更难的案例中，被收买的证人数量超过了诚实证人。以下是各团队的表现： • 🏅 GPT6-Astra + Jev 集群：93 • 🥈 仅 GPT6-Astra：59 • 🥉 仅 Jev 集群：42 • ❓ 基于规则的领导者 + Jev 集群：0–1 结论：面对有组织的谎言，你需要一个会追问"是谁在说话"的推理型领导者。

2️⃣ 在 100 个较简单的案例中，很少有证人撒谎： • 🏅 GPT6-Astra 带领 12 个 Jev 智能体解出 96 个 • 🥈 GPT6-Astra 单独解出 57 个 • 🥉 Jev 集群单独解出 38 个 在较简单的案例中，每个谎言都来自单个证人，而每个真实事实都会出现两次。所以一个基于规则、只统计线索的领导者加上 Jev 集群就能找到真相，解出 97/100。 “ Elementary，我亲爱的 Watson。”

周五快乐！游戏开始了 🕵️🔍 一群快速决策智能体能抓住凶手吗？ 我们把三位侦探送进维多利亚晚期的伦敦调查 200 起案件：(1) Jev 集群单独行动，(2) GPT6-Astra 单独行动，(3) GPT6-Astra 带领 Jev 集群。 结论：集群能覆盖线索，但需要一位推理型领导者来发现矛盾并深入挖掘。 更多内容见本线程 🧵 和博客 👇 https://snyhlx.github.io/the_irregulars_detective_game/blog.ht…

1️⃣ 设置：每个案件有 100 个地址、10 名嫌疑人和 12 小时来指认凶手、动机和藏身之处。侦探团队包括两个角色： 🕵️ Holmes 负责推理和决策：GPT6-Astra、Jev，或一种证据计数启发式方法 👦 The Irregulars 负责搜索：Jev 智能体，或一种搜索启发式方法