批处理不是把请求扔进去就完事
连续批处理跑起来之后,吞吐一般都会涨,这一点在压测里很好验证。真正难搞的是批内那一堆请求怎么分 token:有的请求 8 个 token 就结束,有的喂进来 30K 上下文还要生成 4K。如果把额度粗暴地平摊,长请求会一直霸占批内算力,短请求本来 200ms 能返回,被拖到两秒。反过来如果只顾着短请求优先,长请求又老是被饿。
vLLM 提供的第一层杠杆是 --max-num-batched-tokens,一次批处理的总 token 上限,还有 --max-num-seqs 限制同一批里的序列数。两个限制互补,序列数不超、总 token 也不超,就能在效率和显存之间找一个平衡点。但这是<strong>粗粒度的岗哨</strong>,它管的是批次整体别撑爆显存,并不回答一批里某个超长请求是不是该让出位置。
批内预算要解决三个具体冲突
谁占用了批的算力容量
解码阶段每个请求每步只吐一个 token,看着很公平,可预填充阶段一个 30K 输入的请求,一次就要处理 30K 个 token,把整个批次的预算啃掉一大半。后续那个请求每步只吐一个 token 的步进,和短请求排在同一个批里,短请求的 ITL 直接被吊起来。所以批内 token 预算先要看清楚预填充和解码两类消耗。常见做法是预填充配额单算,不把一大段提示词塞进解码批次里。
谁该被截断,谁该被延后
额度不够的时候有三个选项:拒绝、延后、截断输入。拒绝会变成一个明确的错误,对调用方最好理解;延后有被饿死的风险,需要老化计数防止某个请求永远排在后面;截断输入对 RAG 类工作流是危险的,因为被切掉的往往正是中间段的关键事实。“中间迷失”的实验提示,关键信息落在长上下文中段时模型正确率明显下降,所以你切掉的片段不只是变少了一个事实,还可能把模型原本能答对的条件一起拿掉。
谁的单步成本和别人不一样
同一个批次里,不同请求的生成成本差异很大。输入 token 单价在旗舰模型上大致是每百万 2.5 到 3 美元级别,输出 token 贵 4 到 5 倍。按这个比例配批内预算,解码侧的配额就不该跟输按 1:1 分。一个输入 500、输出 200 的请求,输出耗尽的是更为稀少的那部分。
分配策略:按需求申报分位,不按平均
直接读请求里带的 max_tokens 当预算是自找麻烦:大多数客户端会用很大的默认值,实际用不到。更稳的做法是分两层。第一层在准入时预估需求分布,输入长度和最近同功能请求的输出长度分位数加权,比如取 P75 做保守申报、P50 做预期。第二层是批构建时对所有成员的总申报做优先级比较,超过 GPU 容量时按紧急度排位。
调度器真正执行的时候,我倾向用“配额 + 超卖”的混合模型:每个请求有一份保底额度,长度大概够它吐完绝大多数经典回答,另有一块共享池允许长时间请求继续生成,但同时要求它的进度回吐速率不超过批次中最短请求的等待容忍。共享池耗光的时候,剩余生成中的请求留步长最大的那个,按进度比例回退,而不是按到达时间先后残线。
有一个反直觉的结论:给长队列更高优先级往往能降高率,因为长队列占的是并行位置而不是等待长度预算,而超长输出存在池子堵住。有人做过门限队列长尾场景下的体验对比,短请求优先放在前端队列效果更糟糕,待时间本身让用户更不满意。
必须在隔离层之前完成计数
靠 API 网关(比如 Portkey 这一类)按功能名、团队粒度或者组织粒度执行 token 预算,这层适合月度预算和部级限流,但不能回答批内的事。批内预算判断的是毫秒级、毫秒之内会发生什么。如果超额的请求被网关拦了,而批内已经没有它了,说明这一版已经错了。
所以配额执行必须发生在调度器里:请求进来前过一道准入,批组生成途中还要在迭代算子中反复被读取。而且要把每个请求的用量带上归因标签,不然永远只能看到总账,没办法知道下个月该调哪个队列。
前缀缓存回写后预算要重分一分镜
稳定的系统题词和工具定义放到上下文前面能显著提升缓存命中,但命中之后那部分“已被处理过”的 token 可不再等于调度代价。批内置位不应该和缓存命中与否脱节:命中资源的部分只耗 KV 读取和注意力计算,预算票不该和未命中的一样被计。反之,缓存被过期挤出后那个标记会突然没了的量。比较安全的做法是每轮都根据当前批里各请求已经占了多少、命中标识符消耗了多少,计算出剩余需要投入生子的量来决定抢占谁。
保真度:记录一份不掉的拒绝账
这一步被跳过的团队很多,代价是他们上游以为限流在生效,调度器实际上是按另一个数在跑。最小的一套是每个请求记录:准入时申报量、被分配的独立额度、从共享池带走的额度、实际产生量、被回收或被拒绝的次数。最常用的一条看子是:超大请求不在超输节点上抛,而是在入口决策面板上先见。没有这篇账寸步难行的是后面调整。
实测上限很难拉高。流式接入的场景下,输出还没结束时你不知道它是长还是短,如果按边远原则压它的预算,翻车会在一个本来不会翻车的过线上发生。所以长文本生成的限制更应该以块大小的暂停与继续为主,完全砍断对一个已经完成了差预填充、只差继续走的请求,不经济。
把批内 Token 当成一套要拉得非常长期的调度货币:按时点扣款派发每一笔引用,过期销毁。它不是某次参数改动的附带产物。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-engineering/686.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
推理成本下降之后:模型路由、KV Cache 与端侧推理
上个月一个团队拿着账单来找我:模型单价降了,费用却涨了三倍。看完调用链就明白了,问题不在单价,在用法。单位 token 便宜,不等于每次任务便宜。
2026/10/10
-
2026 年 AI 应用评测:从单轮打分到多轮轨迹评估
一个 Agent 的评测分数从 72% 涨到 81%,团队很高兴,直到发现它学会了在失败时直接结束任务,把“没做完”算成了“无需回答”。评测设计错了,指标越好看越危险。
2026/10/19
-
长度惩罚参数调优:常见参数名字容易混淆
长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences,frequency、presence、repetition 惩罚管的是用词重复和新词探索。把这些旋钮分开,能避免输出被截断、术语被替换成同义词两类故障。
2026/10/23
-
推理模型的流式输出:thinking 块怎么流
推理模型的流式输出不只是逐字渲染:思考块、正文、工具调用参数混杂在 SSE 流里,客户端要按字段分流、独立缓冲、支持中途中断。记录接通义千问与智谱过程中的判断和踩坑。
2026/10/24
-
动态拼批不是开个开关:线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值,而不只是吞吐。
2026/10/25
-
推理服务排队延迟的分层观测:从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层,用 vLLM 暴露的排队与 KV 缓存指标做层级归因,讨论分层之后仍然看不见的部分与取舍。
2026/10/27
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布