loading

Loading

探索与发现

首页 AI 开发实战

批内请求抢占式取消:显存回收的时机与代价

字数: (3092)
阅读: (1)
0
摘要:从连续批处理和 PagedAttention 的 block 管理出发,拆解客户端取消请求在调度器里是否真正释放了 KV cache block,以及引用计数、前缀共享和抢占优先级带来的几条实现限制。

一个被忽略的取消路径

推理服务里,用户关掉页面、Agent 主循环提前终止、流式接口断连——这些场景对应的都是同一个动作:请求还没生成完,客户端不要了。连续批处理(continuous batching)的调度器在每个 iteration 结束时会检查请求是否完成,但“完成”默认指的是生成了 EOS 或者达到 max_tokens。客户端主动取消的请求,如果不进入同一个回收路径,它的 KV cache block 就会继续挂在 running 队列里,直到它自己跑完为止。

这听起来是个小问题,但在高并发短请求场景里,取消率能到两位数百分比。每个被取消的请求占着 block 不放,调度器在 allocate_slots 时就会更早地触发抢占,而抢占本身是有成本的。等于说,取消请求制造了一次本不必要的显存压力,又通过抢占把这个压力转嫁给了还在正常跑的请求。

vLLM 的抢占机制长什么样

vLLM 文档里对抢占的描述很直接:KV cache 空间不够时,调度器抢占请求,释放空间给其他请求,被抢占的请求等空间够了再重新计算(recompute)。日志里会打出一条警告,提示 Sequence group 0 is preempted by PreemptionMode.SWAP mode because there is not enough KV cache space,并建议提高 gpu_memory_utilization 或 tensor_parallel_size。

这条路径解决的是“空间不够”的问题,不是“请求被取消”的问题。取消请求不需要等空间不够,它在语义上已经死了,应该立刻进回收流程。vLLM V1 的调度器设计成所有请求统一成 num_computed_tokens 追赶 num_tokens_with_spec 的模型,和请求是否完成相比,和请求是否还在被需要关系不大。

从源码分析类的文章看,vLLM 的调度循环里 _update_running() 负责把 Finished 的请求踢出去,而 Finished 的判定依赖输出 token 和停止条件。客户端断开连接这条信号,需要经过 API server 层传到调度器,如果中间某一层没接住,请求就会照常跑完。

抢占不是免费的

真要在批内做取消回收,得先算清楚回收动作本身的开销。

PagedAttention 的 block table 让分配和释放变成了 O(block_count) 的操作:分配一组 block、更新 page table entry、释放一组 block 标记空闲。理论上很便宜。但取消请求有个麻烦:如果这个请求和别的请求共享前缀 block,释放不能直接干掉物理 block。连续批处理那篇文章里讲得清楚,prefix caching 场景下多个请求的 block table 指向同一组物理 block,每个物理 block 需要维护引用计数,只有计数归零才能回收。

这意味着取消一个请求不是简单的“回收”,而是一次引用计数递减加上可能的延迟回收。实现上要么在调度器里同步做这个减法,要么推到后台做。同步做会增加 iteration 的调度开销;异步做则要处理“计数还没归零、新的同前缀请求已经进来”的竞争,计数中间态得是对的。

另一边,被取消请求如果已经占了物理 block 且引用计数为 1,回收在微秒级完成。真正的成本在更上层:请求被取消时,GPU 上可能有一次 forward pass 正在跑,或者在下一个 iteration 已经被排进 batch。取消动作要落在 batch 构成的边界上,而不是打在某个 kernel 执行中间。这就逼着取消信号只能在下一次调度决策点生效,而不是立刻。

所以“立刻回收”在工程上其实有个前缀上限:你要么牺牲一个 iteration 的调度自由度,要么接受取消信号延迟到下一个安全点。这个延迟对 KV cache 占用的影响,取决于请求当时生成了多少 token。

一个更现实的回收纬度:谁先死

取消请求不应该和正常完成的请求用同一套预占策略。正常完成的请求跑完就被移除,资源自然释放;被抢占的请求要重新计算,成本可能很高。但取消的请求既不用重新计算(客户端已经不关心结果),也不需要等它自然结束。这就让它在回收优先级上有天然的差异化空间。

我在一次排查里碰到过这样一个配置:max_num_seqs 设得偏高,网关层配了连接超时,前端超时 30 秒,vLLM 这边还在跑一个 max_tokens 设 2048 的摘要任务。结果是超时断连的一批请求还在后台继续占用 batch 名额。后来把取消路径检查加上后,gpu_cache_usage_perc 从接近 98% 回落到了 90% 附近,vllm:num_requests_running 的锯齿也更干净。这个案例没有公开基准数据支撑,只是一次配置层面的观察,不构成通用结论。

跟显存配额的耦合坑

取消回收并不是“越多越好”。如果调度器对每个取消请求都执行一次 free,下一步立刻又有新请求进来填 block,释放和分配之间的对齐开销会被放大。分页分配理论上没有外部碎片,但频繁分配释放会让 block 归属在逻辑上更像“跳来跳去”。有做前缀共享度分桶的场景,取消行为甚至会污染分桶统计——某个前缀被算作“热度下降了”,其实只是它对应的请求被取消掉了。

被取消请求的 KV 还可能被引用计数挂着,如果 block table 迟迟不在后续 iteration 里更新映射关系,靠探测指标不太容易立刻看出回收失败。只能从请求生命周期日志和 num_requests_running 的滞后看出是不是挂在那边。

值得抄的设计:显式状态区分

如果让我在设计调度器时加一个字段,我会把请求状态分成四类:正常运行、已生成结束(正常完成)、被抢占等待重算、取消等待回收。现在很多实现把后两类混成一个逻辑路径,或者干脆没有取消这条。明确拆分状态的好处有两点:第一,回收动作只作用于后两类,不影响正常 completion 的 batch 快照;第二,取消请求可以配让步条件,例如它已经不占推理窗口,只占 KV 显存,那么释放优先级可以低于等待重算被抢占的请求——后者才真正影响尾延迟和 P99。

SGLang 在调度器上的实现和 vLLM V1 不太一样,具体的取消处理路径不在本文材料覆盖范围内,没有核对过源码,暂不下结论。

别把“取消即 disconnect”当成接层的默认行为。客户端动作和调度器状态之间如果隔了协议层、限流层、队列层,取消信号很容易在某一块丢;丢了以后就从暂停变成了显存故障。

验证这件事的最小方案

要验证取消回收是否生效,不需要做高深的内核探针。三个指标交叉看就够了:gpu_cache_usage_perc(显存池占用),num_requests_running(运行请求数),以及主动取消的 HTTP 4xx/断连计数。合理行为是取消率上升时,gpu_cache_usage_perc 应该有更大回落(因为回收了没有被消费的 block),而不是贴着上限原地震荡。前提是 block 引用计数一致。

如果发现取消之后 gpu_cache_usage_perc 仍贴着 block 填充值的上限没降,说明取消没进回收路径,或者进了但没有用——比如让出 block 的请求还指望输出继续往里面写。真要写到协议里,取消感知必须经过调度器这个唯一出入口,仅加在 HTTP 接入层是遮不住问题根源的。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-dev/692.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图