loading

Loading

探索与发现

首页 AI 工程化

批内 token 级抢占之后,恢复才是难的那一半

分类:AI 工程化
字数: (2393)
阅读: (6)
0
摘要:vLLM 的抢占动作很干净,麻烦在恢复。本文拆解 token 级抢占后恢复点定位、重算成本、恢复优先级与时序指标,以及 chunked prefill 让检查粒度必须回到 chunk 的原因。

vLLM 的抢占逻辑不复杂:显存块不够的时候,Scheduler 挑最低优先级的请求赶出批次,把它占的 KV Cache 块放回块池,让剩下的请求能往前跑。这段话在源码注释和各类分析文章里被复述过很多遍。真正上手改过这块的工程师会知道,抢占动作本身只有几十行,可抢占之后的恢复流程,才是账本上最难平的那部分。

请求级抢占只给了半个答案

原始的 vLLM 设计里,被抢占的请求会整块退出:它的 KV Cache 全部释放,等调度器认为“GPU 上有足够的空间”再重新调度。李乾坤那篇分析 vLLM 的博文把这个原则写得很干净——先来先服务,后来的先被抢占,块池不够就释放后排请求的 KV。这个粒度是请求级,好处是释放得干脆,语义清楚。

代价在两个地方显形。一是重算:如果你的请求没有被切块,恢复时通常要从 prompt 尾部重新 re-prefill,之前生成的几千个 token 的计算全部白做。二是尾延迟:一次长输出请求被反复抢占三次、四次,每次恢复都要重新预填充,单请求的 P99 会形成一串尖刺。连续批处理上线后吞吐涨了但延迟更抖,很多现场的根源就在这里。

所以实践里走得较远的一步是 token 级抢占:不从批次里整块踢走一个请求,而是卡住它在本轮的推进——比如只释放一段尾部 KV 块、让它这轮不出 token,或者把它挂回到队列里、带着已完成的 token 进度等下一轮。这样做的初衷是别让已算好的东西全丢,但随之而来的是一堆新的判定。

恢复前要先回答三个问题

恢复点落在哪

一次 token 级抢占打断的点,大概率不是一次干净的 decode 迭代边界,更不保证落在块边界上。恢复时必须逐个确认:逻辑块到物理块的映射还剩多少可用、被释放的尾部块去哪了、前缀匹配还能不能命中。批评性地说,PagedAttention 的 page table 给了你“从任意 token 位置继续算”的能力,关键是你需要真正记住粗粒度的 checkpoint:至少要按固定步长写下 已完成 token 数加上当时的块归属这组元数据,抢占之后才能在元数据里定位到最近的恢复点,否则再从 block 中反推会引入极大开销和错位风险。

重算多少,怎么定价

不同引擎的做法差异很大:vLLM 会在原先丢失前(或恢复时)进行一次 re-prefill;TGI 采取拆批次对齐策略——先把批次内存写非对齐实现入,然后短暂挂起,再去释放。工程上要自己定一个阈值:把“已生成 token 长度”作为一个独占成本。如果重算成本高于让这个短请求在当前迭代推进一次,那还不如不改。我在项目里用过这样一个参考:仅当保存进度所获的语义前缀效果预期超过重算成本时就值得恢复,否则不如尽早判死、直接兜底拒绝返回重建更容易接受。

恢复优先级怎么算

恢复瞬间,块池很可能还是很紧张。如果直接等空块,很容易再次被抢占:一旦被后续请求插队,恢复中的请求很容易一直压不上去,问题看起来像是恢复被无限推后。合理的做法是在调度器里给恢复请求一个显式的晋升标记,比如临时抬优先级、按恢复次数卡死检查前的时间上限,达到这次数就直接失败、清理并给客户端一条明确错误(连上限都不要超过 3~4 次撑)。很多线上事故并不是恢复写错了,而是没设恢复上限,导致一个请求被反复唤醒又反复抢占,每次都预填充一段。

Chunked Prefill 让账更复杂一点

打开 chunked prefill 之后,长 prompt 本来就被切成好多段推进。抢占落到一个 chunk 中间,“恢复”就不是“从头再来”或“从第 N 个 token 接着”,而是“从哪个 chunk 的起点重启”。这条路径一定被人踩过,因为此时已经算完的半段 chunk 永远不能为请求产出第一个 token。我的判断是:chunked prefill 和 token 级抢占放在一起时,检查粒度应该以 chunk 为准,不要贪图按 token 保存便宜,实际调度收益会被检查函数自身的开销吃掉。

一个经验性判断:抢占恢复的所有设计边界,最后都收敛到一个问题——你是否在调度器的数据结构里连续保存了“每个请求当前计算到哪个 token”这件事。没有这项字段,后面所有恢复优化都无从下手。

恢复和批内前缀缓存不是一回事

常见误解是把恢复扔给前缀缓存:被抢占的请求把已生成部分写进缓存 KV,恢复时翻回来不就完了?不行。批内前缀缓存复用的是系统提示词那类共享上下文,命中条件是新请求的 token 序列从第 0 个开始匹配,以及缓存条目的所有权。而被组中某请求抢占释放的物理块属于这个请求,不是能公开命中复用前缀缓存的对象。恢复时前缀长度对了,但前缀不满足缓存条目的准入条件和生命周期约束。这层债不要让一个机制背两个锅。

线上要看什么指标

不看指标就调抢占参数,等于闭眼拧旋钮。实践里成本最低的几个:

  • preemption_total 按原因的分布,比如块池耗尽、watermark 压力;
  • 每个请求被抢占的次数直方图,重点看 5 以上那条尾巴;
  • 从被抢占到重新进入 running 批次之间的空转时长,按片段回放请求时间的占比来计算预期;
  • 恢复后的首 token 旧预填充命中量,用日志中的“复用”字段判断是不是真的没有从头的复计算。

最后我想摆出足够现实的边界感:一次性解决合理参数的调优并没有用。你自己的队列里如果是短请求铺底、少量长请求尾巴的话,抢占并不多见,一旦到了抢占,大概率本身这件事的时机,你应该先处理“是否一定要原请求恢复”这个命题——大量被抢占的请求时效已经没了,早判死、挂上 429 会给工程留更少的猜疑和服务器成本。反之,面向于在同一批次里交替出现纯 decode 阶段的较短请求,给同一批次里的多轮抢占成本加一个桶入列,这种收益是能通过抢占指标重复验证的。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-engineering/702.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图