vLLM 的抢占逻辑不复杂:显存块不够的时候,Scheduler 挑最低优先级的请求赶出批次,把它占的 KV Cache 块放回块池,让剩下的请求能往前跑。这段话在源码注释和各类分析文章里被复述过很多遍。真正上手改过这块的工程师会知道,抢占动作本身只有几十行,可抢占之后的恢复流程,才是账本上最难平的那部分。
请求级抢占只给了半个答案
原始的 vLLM 设计里,被抢占的请求会整块退出:它的 KV Cache 全部释放,等调度器认为“GPU 上有足够的空间”再重新调度。李乾坤那篇分析 vLLM 的博文把这个原则写得很干净——先来先服务,后来的先被抢占,块池不够就释放后排请求的 KV。这个粒度是请求级,好处是释放得干脆,语义清楚。
代价在两个地方显形。一是重算:如果你的请求没有被切块,恢复时通常要从 prompt 尾部重新 re-prefill,之前生成的几千个 token 的计算全部白做。二是尾延迟:一次长输出请求被反复抢占三次、四次,每次恢复都要重新预填充,单请求的 P99 会形成一串尖刺。连续批处理上线后吞吐涨了但延迟更抖,很多现场的根源就在这里。
所以实践里走得较远的一步是 token 级抢占:不从批次里整块踢走一个请求,而是卡住它在本轮的推进——比如只释放一段尾部 KV 块、让它这轮不出 token,或者把它挂回到队列里、带着已完成的 token 进度等下一轮。这样做的初衷是别让已算好的东西全丢,但随之而来的是一堆新的判定。
恢复前要先回答三个问题
恢复点落在哪
一次 token 级抢占打断的点,大概率不是一次干净的 decode 迭代边界,更不保证落在块边界上。恢复时必须逐个确认:逻辑块到物理块的映射还剩多少可用、被释放的尾部块去哪了、前缀匹配还能不能命中。批评性地说,PagedAttention 的 page table 给了你“从任意 token 位置继续算”的能力,关键是你需要真正记住粗粒度的 checkpoint:至少要按固定步长写下 已完成 token 数加上当时的块归属这组元数据,抢占之后才能在元数据里定位到最近的恢复点,否则再从 block 中反推会引入极大开销和错位风险。
重算多少,怎么定价
不同引擎的做法差异很大:vLLM 会在原先丢失前(或恢复时)进行一次 re-prefill;TGI 采取拆批次对齐策略——先把批次内存写非对齐实现入,然后短暂挂起,再去释放。工程上要自己定一个阈值:把“已生成 token 长度”作为一个独占成本。如果重算成本高于让这个短请求在当前迭代推进一次,那还不如不改。我在项目里用过这样一个参考:仅当保存进度所获的语义前缀效果预期超过重算成本时就值得恢复,否则不如尽早判死、直接兜底拒绝返回重建更容易接受。
恢复优先级怎么算
恢复瞬间,块池很可能还是很紧张。如果直接等空块,很容易再次被抢占:一旦被后续请求插队,恢复中的请求很容易一直压不上去,问题看起来像是恢复被无限推后。合理的做法是在调度器里给恢复请求一个显式的晋升标记,比如临时抬优先级、按恢复次数卡死检查前的时间上限,达到这次数就直接失败、清理并给客户端一条明确错误(连上限都不要超过 3~4 次撑)。很多线上事故并不是恢复写错了,而是没设恢复上限,导致一个请求被反复唤醒又反复抢占,每次都预填充一段。
Chunked Prefill 让账更复杂一点
打开 chunked prefill 之后,长 prompt 本来就被切成好多段推进。抢占落到一个 chunk 中间,“恢复”就不是“从头再来”或“从第 N 个 token 接着”,而是“从哪个 chunk 的起点重启”。这条路径一定被人踩过,因为此时已经算完的半段 chunk 永远不能为请求产出第一个 token。我的判断是:chunked prefill 和 token 级抢占放在一起时,检查粒度应该以 chunk 为准,不要贪图按 token 保存便宜,实际调度收益会被检查函数自身的开销吃掉。
一个经验性判断:抢占恢复的所有设计边界,最后都收敛到一个问题——你是否在调度器的数据结构里连续保存了“每个请求当前计算到哪个 token”这件事。没有这项字段,后面所有恢复优化都无从下手。
恢复和批内前缀缓存不是一回事
常见误解是把恢复扔给前缀缓存:被抢占的请求把已生成部分写进缓存 KV,恢复时翻回来不就完了?不行。批内前缀缓存复用的是系统提示词那类共享上下文,命中条件是新请求的 token 序列从第 0 个开始匹配,以及缓存条目的所有权。而被组中某请求抢占释放的物理块属于这个请求,不是能公开命中复用前缀缓存的对象。恢复时前缀长度对了,但前缀不满足缓存条目的准入条件和生命周期约束。这层债不要让一个机制背两个锅。
线上要看什么指标
不看指标就调抢占参数,等于闭眼拧旋钮。实践里成本最低的几个:
preemption_total按原因的分布,比如块池耗尽、watermark 压力;- 每个请求被抢占的次数直方图,重点看 5 以上那条尾巴;
- 从被抢占到重新进入 running 批次之间的空转时长,按片段回放请求时间的占比来计算预期;
- 恢复后的首 token 旧预填充命中量,用日志中的“复用”字段判断是不是真的没有从头的复计算。
最后我想摆出足够现实的边界感:一次性解决合理参数的调优并没有用。你自己的队列里如果是短请求铺底、少量长请求尾巴的话,抢占并不多见,一旦到了抢占,大概率本身这件事的时机,你应该先处理“是否一定要原请求恢复”这个命题——大量被抢占的请求时效已经没了,早判死、挂上 429 会给工程留更少的猜疑和服务器成本。反之,面向于在同一批次里交替出现纯 decode 阶段的较短请求,给同一批次里的多轮抢占成本加一个桶入列,这种收益是能通过抢占指标重复验证的。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-engineering/702.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
推理成本下降之后:模型路由、KV Cache 与端侧推理
上个月一个团队拿着账单来找我:模型单价降了,费用却涨了三倍。看完调用链就明白了,问题不在单价,在用法。单位 token 便宜,不等于每次任务便宜。
2026/10/10
-
2026 年 AI 应用评测:从单轮打分到多轮轨迹评估
一个 Agent 的评测分数从 72% 涨到 81%,团队很高兴,直到发现它学会了在失败时直接结束任务,把“没做完”算成了“无需回答”。评测设计错了,指标越好看越危险。
2026/10/19
-
长度惩罚参数调优:常见参数名字容易混淆
长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences,frequency、presence、repetition 惩罚管的是用词重复和新词探索。把这些旋钮分开,能避免输出被截断、术语被替换成同义词两类故障。
2026/10/23
-
推理模型的流式输出:thinking 块怎么流
推理模型的流式输出不只是逐字渲染:思考块、正文、工具调用参数混杂在 SSE 流里,客户端要按字段分流、独立缓冲、支持中途中断。记录接通义千问与智谱过程中的判断和踩坑。
2026/10/24
-
动态拼批不是开个开关:线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值,而不只是吞吐。
2026/10/25
-
推理服务排队延迟的分层观测:从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层,用 vLLM 暴露的排队与 KV 缓存指标做层级归因,讨论分层之后仍然看不见的部分与取舍。
2026/10/27
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布