loading

Loading

探索与发现

首页 AI 工程化

推理服务批内Token预算分配:谁超标谁先停

分类:AI 工程化
字数: (2197)
阅读: (9)
0
摘要:连续批处理把吞吐拉上来以后,批内 token 怎么分就成了延迟分配的核心。从"谁占了预填充算力"到"被截断的究竟是哪一段上下文",谈准入申报、配额加共享池的混排做法,以及为什么最后一定要把用量记录到调度器里而不是网关。

批处理不是把请求扔进去就完事

连续批处理跑起来之后,吞吐一般都会涨,这一点在压测里很好验证。真正难搞的是批内那一堆请求怎么分 token:有的请求 8 个 token 就结束,有的喂进来 30K 上下文还要生成 4K。如果把额度粗暴地平摊,长请求会一直霸占批内算力,短请求本来 200ms 能返回,被拖到两秒。反过来如果只顾着短请求优先,长请求又老是被饿。

vLLM 提供的第一层杠杆是 --max-num-batched-tokens,一次批处理的总 token 上限,还有 --max-num-seqs 限制同一批里的序列数。两个限制互补,序列数不超、总 token 也不超,就能在效率和显存之间找一个平衡点。但这是<strong>粗粒度的岗哨</strong>,它管的是批次整体别撑爆显存,并不回答一批里某个超长请求是不是该让出位置。

批内预算要解决三个具体冲突

谁占用了批的算力容量

解码阶段每个请求每步只吐一个 token,看着很公平,可预填充阶段一个 30K 输入的请求,一次就要处理 30K 个 token,把整个批次的预算啃掉一大半。后续那个请求每步只吐一个 token 的步进,和短请求排在同一个批里,短请求的 ITL 直接被吊起来。所以批内 token 预算先要看清楚预填充和解码两类消耗。常见做法是预填充配额单算,不把一大段提示词塞进解码批次里。

谁该被截断,谁该被延后

额度不够的时候有三个选项:拒绝、延后、截断输入。拒绝会变成一个明确的错误,对调用方最好理解;延后有被饿死的风险,需要老化计数防止某个请求永远排在后面;截断输入对 RAG 类工作流是危险的,因为被切掉的往往正是中间段的关键事实。“中间迷失”的实验提示,关键信息落在长上下文中段时模型正确率明显下降,所以你切掉的片段不只是变少了一个事实,还可能把模型原本能答对的条件一起拿掉。

谁的单步成本和别人不一样

同一个批次里,不同请求的生成成本差异很大。输入 token 单价在旗舰模型上大致是每百万 2.5 到 3 美元级别,输出 token 贵 4 到 5 倍。按这个比例配批内预算,解码侧的配额就不该跟输按 1:1 分。一个输入 500、输出 200 的请求,输出耗尽的是更为稀少的那部分。

分配策略:按需求申报分位,不按平均

直接读请求里带的 max_tokens 当预算是自找麻烦:大多数客户端会用很大的默认值,实际用不到。更稳的做法是分两层。第一层在准入时预估需求分布,输入长度和最近同功能请求的输出长度分位数加权,比如取 P75 做保守申报、P50 做预期。第二层是批构建时对所有成员的总申报做优先级比较,超过 GPU 容量时按紧急度排位。

调度器真正执行的时候,我倾向用“配额 + 超卖”的混合模型:每个请求有一份保底额度,长度大概够它吐完绝大多数经典回答,另有一块共享池允许长时间请求继续生成,但同时要求它的进度回吐速率不超过批次中最短请求的等待容忍。共享池耗光的时候,剩余生成中的请求留步长最大的那个,按进度比例回退,而不是按到达时间先后残线。

有一个反直觉的结论:给长队列更高优先级往往能降高率,因为长队列占的是并行位置而不是等待长度预算,而超长输出存在池子堵住。有人做过门限队列长尾场景下的体验对比,短请求优先放在前端队列效果更糟糕,待时间本身让用户更不满意。

必须在隔离层之前完成计数

靠 API 网关(比如 Portkey 这一类)按功能名、团队粒度或者组织粒度执行 token 预算,这层适合月度预算和部级限流,但不能回答批内的事。批内预算判断的是毫秒级、毫秒之内会发生什么。如果超额的请求被网关拦了,而批内已经没有它了,说明这一版已经错了。

所以配额执行必须发生在调度器里:请求进来前过一道准入,批组生成途中还要在迭代算子中反复被读取。而且要把每个请求的用量带上归因标签,不然永远只能看到总账,没办法知道下个月该调哪个队列。

前缀缓存回写后预算要重分一分镜

稳定的系统题词和工具定义放到上下文前面能显著提升缓存命中,但命中之后那部分“已被处理过”的 token 可不再等于调度代价。批内置位不应该和缓存命中与否脱节:命中资源的部分只耗 KV 读取和注意力计算,预算票不该和未命中的一样被计。反之,缓存被过期挤出后那个标记会突然没了的量。比较安全的做法是每轮都根据当前批里各请求已经占了多少、命中标识符消耗了多少,计算出剩余需要投入生子的量来决定抢占谁。

保真度:记录一份不掉的拒绝账

这一步被跳过的团队很多,代价是他们上游以为限流在生效,调度器实际上是按另一个数在跑。最小的一套是每个请求记录:准入时申报量、被分配的独立额度、从共享池带走的额度、实际产生量、被回收或被拒绝的次数。最常用的一条看子是:超大请求不在超输节点上抛,而是在入口决策面板上先见。没有这篇账寸步难行的是后面调整。

实测上限很难拉高。流式接入的场景下,输出还没结束时你不知道它是长还是短,如果按边远原则压它的预算,翻车会在一个本来不会翻车的过线上发生。所以长文本生成的限制更应该以块大小的暂停与继续为主,完全砍断对一个已经完成了差预填充、只差继续走的请求,不经济。

把批内 Token 当成一套要拉得非常长期的调度货币:按时点扣款派发每一笔引用,过期销毁。它不是某次参数改动的附带产物。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-engineering/686.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图