跨批次的前缀缓存已经不新鲜了:请求 A 算完一轮 system prompt,把 KV 块留在缓存里,十分钟后请求 B 带着同样的前缀进来,直接命中,跳过 prefill。vLLM 的 Automatic Prefix Caching 或 SGLang 的 radix tree 做的都是这件事,效果直观,多轮对话和长 few-shot 场景下首 token 延迟能降一个数量级。
但工程上还有一个更细的问题:同一个批次里,两个请求带着相同前缀同时到达,而这段前缀此前从未被缓存过。这时候没有历史可比,跨批次缓存一条也命中不了,两份 96-token 的公共前缀仍然会各算一遍。批内前缀复用解决的就是这个缺口,而下文的重点是讲清它在两套主流引擎里实现方式和代价的差别。
前缀为什么能共享,先看因果掩码这个前提
Decoder-only 模型的注意力是因果掩码的,第 i 个 token 只依赖它左边的 token。这个约束派生出可以直接利用的性质:前缀相同,前缀部分的 KV 一定相同。token 的 KV 只由前序 token 和权重决定,与后面跟什么无关——如果这一点还能被随意违反,注意力机制本身就不成立了。
所以复用前缀 KV,本质上看的是有没有可靠的办法找到内容相同的前缀块并让不同请求的页表指向同一份物理内存,与“偷计算”无关。具体能多少收益,还取决于 KV 页表能不能在多个请求之间干净地共享——这层是 PagedAttention 的活。
SGLang:先拆批,再命中
SGLang 的思路是调度层绕行。对同一 batch 里前缀相同的请求,用 lpm(longest prefix match)策略把它们拆成两个批次:第一个请求完整 prefill 一遍 100 token,把公共前缀的 KV 写进 radix tree;到第二个批次,请求的前缀匹配上 96 token,只 prefill 剩下的 4 个后缀 token。《大模型推理加速:共享前缀优化技术的全面解析》里给出的正是这个两请求 96+4 的例子。
这个方案成立的前提是 KV 已经写进 radix tree,而 SGLang 的 radix cache 确实要等 prefill 完成、KV 落盘后才登记。于是拆批是必需的:同一批次内还没写完的 KV 查不到,命不中。代价也来自这里——批次被拆开后,第二段的请求要多等一个 batch 的时间才算启动。对延迟敏感的线上服务来说,这部分排队时间是额外的 TTFT,并不是单调的。lpm 也不是默认策略,需要显式开启。
vLLM:把索引的建立提前到 KV 写入之前
vLLM 反其道而行:既然限制在于前缀 KV 尚未写入,那就把登记索引的时机提前。它用每个 block 内容的 rolling block hash 标识块——相邻块的 hash 有依赖,所以能唯一锁定“以这段内容为前缀”的整条序列。关键在于,块一旦被申请到,hash 就被写进全局哈希表,此时 KV 还没算但,这相当于提前建好了索引。同 batch 第二个请求调度时按 hash 命中这些块,就能判定命中了前缀缓存。
这招之所以安全,靠的是 prefill forward 的时序:它先执行 QKV 投影并把 K/V 写进 KV cache,再执行注意力计算。注意力读那块共享前缀 KV 时已经有值了,所以复用成立。然后 vLLM 用 FlashInfer 的 ragged QO 把两个请求的 Q 序列打平拼接,如 Q = [P(96), S0(4), S1(4)],P 只保留在 request 0 里算一次;request 1 的 Q 只有 4 个 token,但靠 paged_kv_indices 里的页表让它的注意力仍覆盖完整的 100 token。页 0–5 是物理共享的公共前缀,request 0 和 request 1 各自的 block table 都从这组页开始,只是最后指到 6 号页还是 7 号页。
与 SGLang 相比,vLLM 这条路径不拆批,也就没有额外调度延迟;代价是对锁定了的引擎实现细节(hash 登记时机、ragged 拼接)依赖更深,跨算子层的推理也更难在引擎之间迁移或单独验证。把 SGLang 改造成同样做法——把 radix tree 的登记提前到 KV 写入之前——技术上也得通,只是要动到不少结构。
缓存的约束并不过时
Prefix Caching 本身有若干容易忽略的边界,一批内共享同样沿用:只有在公共前缀达到一个 page block 的大小才会真正复用;开了它就不能和 Chunked Prefill 同时启用;运行时占用更多显存,需要调低 gpu_memory_utilization;max_model_len 也有上限。华为云昇腾文档里明确写了这些限制,且列出暂支持该特性的模型是小范围的(Qwen2.5、Qwen3 一类)。另外一个常见盲区是内容会因为请求生命周期变化而衰减,缓存条目仍留着 KV 块占着显存——批内复用的好处是生命周期短,不会被下一批的历史残留挡住。
还没写完的同批前缀复用的账单
拆批和指数提前两条路线都是工程取舍的结果,它们共同暴露了一个事实:批内前缀复用不是为了省几毫秒 TTFT,从来都是有两笔账,不能只拿省下的那几毫秒说话。
第一笔账是调度上的。SGLang 把同批请求拆开,虽然有缓存效率,但代价是本批后段请求的启动延后;对于批内请求有明确 SLO 的服务,拆开的批次比拆之前更容易冲掉尾延迟。
第二笔账是正确性边界的。vLLM 的提前建索引、提前指向,前提是不可变的读侧——因为只共享已写满的块,不会被一个请求把后半个 token 追加进共享块。只要某个 patch 或某个不走常规前置流程的实现破坏了这一层时序,注意力读到的就是还没写完的 KV,静默地产出看起来正常但实质错误的输出。这类问题在测试里不一定会爆出来。
所以真正推荐的验收方式,是统计方法而不是手感判断:分别打开和关闭批内前缀复用,压同一个带大量公共前缀的 workload,拆 h 两个拐点——一个是前缀重叠率阈值,另一个是 prefix 块被多个请求共享时的延迟收敛情况。只有当两个拐点都在压测中通过后,再判断要不要把它写进线上配置。若某一次没通过,大概率是配置、模型或这批请求有前缀重叠率不够长的特征在那里,而不是复用机制本身无效。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-frontier/699.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
多智能体不是银弹:编排、通信与成本取舍
我们试过让五个 Agent 开会,结果它们花了二十分钟争论谁该先说话,最后交上来的方案还不如一个单 Agent 加两个工具。多智能体不是不能做,是很多团队做早了。
2026/10/18
-
AI 浏览器用了一个月,我还是回到了地址栏
我试着把 AI 浏览器当主力用了一个月。模型不差,功能也不少,但最后让我放弃的是一件很朴素的事:地址栏比对话框更快、更确定。AI 浏览器到底卡在哪?
2026/10/20
-
个人 Agent 与常驻智能体:长期记忆、主动性与隐私边界
我让一个常驻 Agent 帮我盯快递。包裹签收三天后,它还在提醒我“预计今天送达”。长期记忆、主动性和隐私边界,决定了个人 Agent 是助手还是负担。
2026/10/20
-
世界模型被吹了两年,真正难的不是生成视频
看世界模型的演示视频,很容易产生“就差一点”的错觉。可一旦你试图在里面做一个动作,问题就全暴露了。生成一段像世界的视频,和拥有一个能交互的世界,是两件难度完全不同的事。
2026/10/20
-
前缀缓存命中率:字节对齐与工程取舍
从 QwenPaw 的命中率议题、Reasonix 的前缀分区,到 vLLM 的缓存感知路由,拆开前缀缓存失效的真实触发器,并讨论冻结前缀之后要执行换来的工程代价。
2026/10/24
-
思维链压缩到 20%,还能保住数学推理的准确率吗
把推理模型的思维链砍到原来的 20%,多数压缩方法会崩,但 Extra-CoT 在 MATH-500 上还保住了近半准确率。拆一下它怎么用公式原子性和分层奖励,以及这些结果在别的任务上不一定成立。
2026/10/22
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布