loading

Loading

探索与发现

首页 AI 前沿

批内前缀缓存:同批请求还没算完,复用从哪来

分类:AI 前沿
字数: (2654)
阅读: (6)
0
摘要:同一批次里两个请求从不相同的公共前缀入场,跨批次缓存还没命中过这段内容,批内复用补的就是这个缺口。SGLang 拆批让第一个请求先写 KV 到 radix tree,之后批次才能命中;vLLM 把块哈希登记提前到 KV 写入之前,再借 ragged QO 打平拼接、用页表让后面的请求多看 96 token。代价和边界都在调度时序上。

跨批次的前缀缓存已经不新鲜了:请求 A 算完一轮 system prompt,把 KV 块留在缓存里,十分钟后请求 B 带着同样的前缀进来,直接命中,跳过 prefill。vLLM 的 Automatic Prefix Caching 或 SGLang 的 radix tree 做的都是这件事,效果直观,多轮对话和长 few-shot 场景下首 token 延迟能降一个数量级。

但工程上还有一个更细的问题:同一个批次里,两个请求带着相同前缀同时到达,而这段前缀此前从未被缓存过。这时候没有历史可比,跨批次缓存一条也命中不了,两份 96-token 的公共前缀仍然会各算一遍。批内前缀复用解决的就是这个缺口,而下文的重点是讲清它在两套主流引擎里实现方式和代价的差别。

前缀为什么能共享,先看因果掩码这个前提

Decoder-only 模型的注意力是因果掩码的,第 i 个 token 只依赖它左边的 token。这个约束派生出可以直接利用的性质:前缀相同,前缀部分的 KV 一定相同。token 的 KV 只由前序 token 和权重决定,与后面跟什么无关——如果这一点还能被随意违反,注意力机制本身就不成立了。

所以复用前缀 KV,本质上看的是有没有可靠的办法找到内容相同的前缀块并让不同请求的页表指向同一份物理内存,与“偷计算”无关。具体能多少收益,还取决于 KV 页表能不能在多个请求之间干净地共享——这层是 PagedAttention 的活。

SGLang:先拆批,再命中

SGLang 的思路是调度层绕行。对同一 batch 里前缀相同的请求,用 lpm(longest prefix match)策略把它们拆成两个批次:第一个请求完整 prefill 一遍 100 token,把公共前缀的 KV 写进 radix tree;到第二个批次,请求的前缀匹配上 96 token,只 prefill 剩下的 4 个后缀 token。《大模型推理加速:共享前缀优化技术的全面解析》里给出的正是这个两请求 96+4 的例子。

这个方案成立的前提是 KV 已经写进 radix tree,而 SGLang 的 radix cache 确实要等 prefill 完成、KV 落盘后才登记。于是拆批是必需的:同一批次内还没写完的 KV 查不到,命不中。代价也来自这里——批次被拆开后,第二段的请求要多等一个 batch 的时间才算启动。对延迟敏感的线上服务来说,这部分排队时间是额外的 TTFT,并不是单调的。lpm 也不是默认策略,需要显式开启。

vLLM:把索引的建立提前到 KV 写入之前

vLLM 反其道而行:既然限制在于前缀 KV 尚未写入,那就把登记索引的时机提前。它用每个 block 内容的 rolling block hash 标识块——相邻块的 hash 有依赖,所以能唯一锁定“以这段内容为前缀”的整条序列。关键在于,块一旦被申请到,hash 就被写进全局哈希表,此时 KV 还没算但,这相当于提前建好了索引。同 batch 第二个请求调度时按 hash 命中这些块,就能判定命中了前缀缓存。

这招之所以安全,靠的是 prefill forward 的时序:它先执行 QKV 投影并把 K/V 写进 KV cache,再执行注意力计算。注意力读那块共享前缀 KV 时已经有值了,所以复用成立。然后 vLLM 用 FlashInfer 的 ragged QO 把两个请求的 Q 序列打平拼接,如 Q = [P(96), S0(4), S1(4)],P 只保留在 request 0 里算一次;request 1 的 Q 只有 4 个 token,但靠 paged_kv_indices 里的页表让它的注意力仍覆盖完整的 100 token。页 0–5 是物理共享的公共前缀,request 0 和 request 1 各自的 block table 都从这组页开始,只是最后指到 6 号页还是 7 号页。

与 SGLang 相比,vLLM 这条路径不拆批,也就没有额外调度延迟;代价是对锁定了的引擎实现细节(hash 登记时机、ragged 拼接)依赖更深,跨算子层的推理也更难在引擎之间迁移或单独验证。把 SGLang 改造成同样做法——把 radix tree 的登记提前到 KV 写入之前——技术上也得通,只是要动到不少结构。

缓存的约束并不过时

Prefix Caching 本身有若干容易忽略的边界,一批内共享同样沿用:只有在公共前缀达到一个 page block 的大小才会真正复用;开了它就不能和 Chunked Prefill 同时启用;运行时占用更多显存,需要调低 gpu_memory_utilization;max_model_len 也有上限。华为云昇腾文档里明确写了这些限制,且列出暂支持该特性的模型是小范围的(Qwen2.5、Qwen3 一类)。另外一个常见盲区是内容会因为请求生命周期变化而衰减,缓存条目仍留着 KV 块占着显存——批内复用的好处是生命周期短,不会被下一批的历史残留挡住。

还没写完的同批前缀复用的账单

拆批和指数提前两条路线都是工程取舍的结果,它们共同暴露了一个事实:批内前缀复用不是为了省几毫秒 TTFT,从来都是有两笔账,不能只拿省下的那几毫秒说话。

第一笔账是调度上的。SGLang 把同批请求拆开,虽然有缓存效率,但代价是本批后段请求的启动延后;对于批内请求有明确 SLO 的服务,拆开的批次比拆之前更容易冲掉尾延迟。

第二笔账是正确性边界的。vLLM 的提前建索引、提前指向,前提是不可变的读侧——因为只共享已写满的块,不会被一个请求把后半个 token 追加进共享块。只要某个 patch 或某个不走常规前置流程的实现破坏了这一层时序,注意力读到的就是还没写完的 KV,静默地产出看起来正常但实质错误的输出。这类问题在测试里不一定会爆出来。

所以真正推荐的验收方式,是统计方法而不是手感判断:分别打开和关闭批内前缀复用,压同一个带大量公共前缀的 workload,拆 h 两个拐点——一个是前缀重叠率阈值,另一个是 prefix 块被多个请求共享时的延迟收敛情况。只有当两个拐点都在压测中通过后,再判断要不要把它写进线上配置。若某一次没通过,大概率是配置、模型或这批请求有前缀重叠率不够长的特征在那里,而不是复用机制本身无效。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-frontier/699.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图