一个被忽略的取消路径
推理服务里,用户关掉页面、Agent 主循环提前终止、流式接口断连——这些场景对应的都是同一个动作:请求还没生成完,客户端不要了。连续批处理(continuous batching)的调度器在每个 iteration 结束时会检查请求是否完成,但“完成”默认指的是生成了 EOS 或者达到 max_tokens。客户端主动取消的请求,如果不进入同一个回收路径,它的 KV cache block 就会继续挂在 running 队列里,直到它自己跑完为止。
这听起来是个小问题,但在高并发短请求场景里,取消率能到两位数百分比。每个被取消的请求占着 block 不放,调度器在 allocate_slots 时就会更早地触发抢占,而抢占本身是有成本的。等于说,取消请求制造了一次本不必要的显存压力,又通过抢占把这个压力转嫁给了还在正常跑的请求。
vLLM 的抢占机制长什么样
vLLM 文档里对抢占的描述很直接:KV cache 空间不够时,调度器抢占请求,释放空间给其他请求,被抢占的请求等空间够了再重新计算(recompute)。日志里会打出一条警告,提示 Sequence group 0 is preempted by PreemptionMode.SWAP mode because there is not enough KV cache space,并建议提高 gpu_memory_utilization 或 tensor_parallel_size。
这条路径解决的是“空间不够”的问题,不是“请求被取消”的问题。取消请求不需要等空间不够,它在语义上已经死了,应该立刻进回收流程。vLLM V1 的调度器设计成所有请求统一成 num_computed_tokens 追赶 num_tokens_with_spec 的模型,和请求是否完成相比,和请求是否还在被需要关系不大。
从源码分析类的文章看,vLLM 的调度循环里 _update_running() 负责把 Finished 的请求踢出去,而 Finished 的判定依赖输出 token 和停止条件。客户端断开连接这条信号,需要经过 API server 层传到调度器,如果中间某一层没接住,请求就会照常跑完。
抢占不是免费的
真要在批内做取消回收,得先算清楚回收动作本身的开销。
PagedAttention 的 block table 让分配和释放变成了 O(block_count) 的操作:分配一组 block、更新 page table entry、释放一组 block 标记空闲。理论上很便宜。但取消请求有个麻烦:如果这个请求和别的请求共享前缀 block,释放不能直接干掉物理 block。连续批处理那篇文章里讲得清楚,prefix caching 场景下多个请求的 block table 指向同一组物理 block,每个物理 block 需要维护引用计数,只有计数归零才能回收。
这意味着取消一个请求不是简单的“回收”,而是一次引用计数递减加上可能的延迟回收。实现上要么在调度器里同步做这个减法,要么推到后台做。同步做会增加 iteration 的调度开销;异步做则要处理“计数还没归零、新的同前缀请求已经进来”的竞争,计数中间态得是对的。
另一边,被取消请求如果已经占了物理 block 且引用计数为 1,回收在微秒级完成。真正的成本在更上层:请求被取消时,GPU 上可能有一次 forward pass 正在跑,或者在下一个 iteration 已经被排进 batch。取消动作要落在 batch 构成的边界上,而不是打在某个 kernel 执行中间。这就逼着取消信号只能在下一次调度决策点生效,而不是立刻。
所以“立刻回收”在工程上其实有个前缀上限:你要么牺牲一个 iteration 的调度自由度,要么接受取消信号延迟到下一个安全点。这个延迟对 KV cache 占用的影响,取决于请求当时生成了多少 token。
一个更现实的回收纬度:谁先死
取消请求不应该和正常完成的请求用同一套预占策略。正常完成的请求跑完就被移除,资源自然释放;被抢占的请求要重新计算,成本可能很高。但取消的请求既不用重新计算(客户端已经不关心结果),也不需要等它自然结束。这就让它在回收优先级上有天然的差异化空间。
我在一次排查里碰到过这样一个配置:max_num_seqs 设得偏高,网关层配了连接超时,前端超时 30 秒,vLLM 这边还在跑一个 max_tokens 设 2048 的摘要任务。结果是超时断连的一批请求还在后台继续占用 batch 名额。后来把取消路径检查加上后,gpu_cache_usage_perc 从接近 98% 回落到了 90% 附近,vllm:num_requests_running 的锯齿也更干净。这个案例没有公开基准数据支撑,只是一次配置层面的观察,不构成通用结论。
跟显存配额的耦合坑
取消回收并不是“越多越好”。如果调度器对每个取消请求都执行一次 free,下一步立刻又有新请求进来填 block,释放和分配之间的对齐开销会被放大。分页分配理论上没有外部碎片,但频繁分配释放会让 block 归属在逻辑上更像“跳来跳去”。有做前缀共享度分桶的场景,取消行为甚至会污染分桶统计——某个前缀被算作“热度下降了”,其实只是它对应的请求被取消掉了。
被取消请求的 KV 还可能被引用计数挂着,如果 block table 迟迟不在后续 iteration 里更新映射关系,靠探测指标不太容易立刻看出回收失败。只能从请求生命周期日志和 num_requests_running 的滞后看出是不是挂在那边。
值得抄的设计:显式状态区分
如果让我在设计调度器时加一个字段,我会把请求状态分成四类:正常运行、已生成结束(正常完成)、被抢占等待重算、取消等待回收。现在很多实现把后两类混成一个逻辑路径,或者干脆没有取消这条。明确拆分状态的好处有两点:第一,回收动作只作用于后两类,不影响正常 completion 的 batch 快照;第二,取消请求可以配让步条件,例如它已经不占推理窗口,只占 KV 显存,那么释放优先级可以低于等待重算被抢占的请求——后者才真正影响尾延迟和 P99。
SGLang 在调度器上的实现和 vLLM V1 不太一样,具体的取消处理路径不在本文材料覆盖范围内,没有核对过源码,暂不下结论。
别把“取消即 disconnect”当成接层的默认行为。客户端动作和调度器状态之间如果隔了协议层、限流层、队列层,取消信号很容易在某一块丢;丢了以后就从暂停变成了显存故障。
验证这件事的最小方案
要验证取消回收是否生效,不需要做高深的内核探针。三个指标交叉看就够了:gpu_cache_usage_perc(显存池占用),num_requests_running(运行请求数),以及主动取消的 HTTP 4xx/断连计数。合理行为是取消率上升时,gpu_cache_usage_perc 应该有更大回落(因为回收了没有被消费的 block),而不是贴着上限原地震荡。前提是 block 引用计数一致。
如果发现取消之后 gpu_cache_usage_perc 仍贴着 block 填充值的上限没降,说明取消没进回收路径,或者进了但没有用——比如让出 block 的请求还指望输出继续往里面写。真要写到协议里,取消感知必须经过调度器这个唯一出入口,仅加在 HTTP 接入层是遮不住问题根源的。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-dev/692.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
上下文工程:从 Prompt 到 Context 的工程化实践
客服 Agent 答错时,团队第一反应是换模型。把那次请求的上下文打印出来才发现,模型看到的是一份过期政策、两份互相矛盾的条款,还有一长串无关日志。上下文工程要解决的,就是这类问题。
2026/10/06
-
RAG 的下一站:Agentic Retrieval
用户问“我们去年买的套餐现在还能退吗”,经典 RAG 检索出一段通用退款政策就结束了。可这个问题至少要拆成订单时间、地区、套餐版本三件事。Agentic Retrieval 要解决的,就是这种“一次检索不够用”的场景。
2026/10/12
-
约束解码让 JSON 不再崩,但它会改坏推理
约束解码让 JSON 解析失败率归零,工程师可以删掉一堆重试和修复代码。但它会挤占模型的推理预算:强制格式在部分任务上带来10%以上的准确率下降。文章梳理 OpenAI、Anthropic、Gemini 和其他自托管引擎的现状,以及 schema 设计、两阶段模式与编译缓存几个实操要点。
2026/10/22
-
推理模型输出被截断后怎么接回去
推理模型遇到输出截断,重试整条请求代价高;续写也有隐藏门槛。从识别边界、提示回灌到 prefill 与成本判断,聊聊工程上怎么做才不算亏。
2026/10/25
-
Agent 上下文压缩:四层策略与失败代价
把 Claude Code 的四段分层与 Hermes Agent 的双阈值压缩系统并排看重:200K 窗口下的 50%/85%、legacy 与 lean 尾部的实测差池、未处理到的摘要模型窗口溢出,以及工具对配对边界为什么是能不能跑的问题。
2026/10/23
-
推理模型的并行思维链采样怎么用才不亏
并行思维链采样的成本不是白花的。结合推理模型测试时计算的几条实证结论,梳理best-of-N、束搜索、自洽性投票和自我修订在什么场景下划算、什么场景下只是在烧钱。
2026/10/26
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布