把 Prefill 和 Decode 放进同一个批次执行,是过去两年推理引擎调度器最主流的优化方向。Chunked Prefill(分段预填充)的思路很朴素:Decode 读显存带宽闲得慌,Prefill 烧算力烧得凶,混在一起能让 GPU 两边都不闲着。但在线上真跑起来,问题往往不是吞吐不够,而是 P99 忽然被拉出一根尖刺,而均值纹丝不动。
这篇聊的是那个尖刺的来源:批内阶段错配。调度的粒度落在“批次”上,而批次里每一条请求所处的阶段并不一样,这种差异会通过排队传导成延迟分布的长尾。
为什么混合批次会放大长尾
Prefill 一次处理完整输入,受浮点算力约束;Decode 每步只生成一个 token,但要读权重和 KV Cache,受显存带宽约束。这两类负载的资源画像截然相反,所以把子一类塞到另一类的批次里,感觉上是互补。
问题在于时间尺度不对等。一个 decode step 通常是毫秒级,而一段几千 token 的 Prefill 即便切成 chunk,单个 chunk 也要占住一个调度时间片。MTT S5000 的技术白皮书里把这点说得很直白:长请求的 Prefill 连续占用多个调度时间片,这段时间里所有在途请求的下一次 Decode 只能排队。等待并非均匀散布,而是压在少数长 Prefill 窗口上。绝大多数时间系统低延迟运转,只在特定调度窗口出现尖峰——均值不动,P99 被拉长。
这就是“平均指标健康”陷阱。如果你的监控只看 TPOT 均值、QPS、GPU 利用率,混合批次的账面很好看;等用户投诉“打字时偶尔卡住一下”,你才发现问题藏在 p99 ITL 里。
chunk 粒度决定错配的传播半径
分段预填充的 chunk 大小是最直接的旋钮,但它不是“越小越好”或“越大越好”,而是在三种成本之间做权衡。
- chunk 太大:一个 chunk 执行期间 decode 侧的 ITL 被拉长,尖刺又回来了。批内 decode 请求越多,这一段被耽误的绝对次数越大。
- chunk 太小:Prefill 要拆成更多轮,每轮都要付一次调度和 kernel launch 开销;Prefill 的算力利用率本身也会下降,因为太小的矩阵乘不满 GPU。
- chunk 混着长短请求:KV Cache 的显存增量在批次内不均匀。KV 预留按最长 chunk 走,结果是短请求陪着长请求一起浪费显存。
实操里更常见的做法不是调 chunk size,而是先看 chunk size 的分布。如果上线后 chunk 的实际执行长度集中在一个很窄的区间,说明参数没配歪;如果分布散成长尾,往往是 chunk 和 batch 构建逻辑在打架——比如 token 预算按批次上限切,而批次里同时有 chunked prefill 和 decode,预填充抢占 token 预算,导致 chunk 长度被挤得忽大忽小。
批内 token 预算:混批时最容易被低估的约束
批次的大小通常不是按请求数定的,而是按总 token 数定的。混批之后的 token 预算就有了两重含义:一是 prefill 侧待处理的输入 token,二是 decode 侧本步要读取的 KV Cache 长度。后者容易被忽略——decode 请求每个 step 的显存读取量正比于其上下文长度,一批 32 条、每条上下文 8k 的 decode 请求,其读取压力和一个 chunk 未必谁更便宜。
所以一个批次“还能不能塞下这段 Prefill chunk”,答案取决于当前 batch 里 decode 请求的上下文分布,而不是剩余空位。只看已分配的 token 槽位做决策,就会在上下文较长的那段时间里过高估计余量,把 prefill chunk 塞得过大,反过来又把这一批的 decode 延迟整体推高。
稳妥一点的策略是按两步做预算:先给 decode 侧留一个按上下文分布算出的下限,再用剩余额度去切 prefill chunk。这会让 prefill 的推进速度随 decode 压力自动放缓——听起来像是牺牲了 prefill 吞吐,但这正是把尖刺摊平要付的账。
和分离式部署不是二选一
看到这里很容易得出一个结论:既然混批会制造错配,那就把 Prefill 和 Decode 分开部署。Prefill-Decode Disaggregation 确实是高并发长文本场景的主流方案,Prefill 配高算力卡、Decode 配高带宽卡,硬件不浪费。但它带来新的问题:KV Cache 要在两类节点之间传输,这段搬运的延迟和带宽成本要自己扛;集群需要同时维护两种资源和两套扩缩容策略;负载形状一变(比如短请求为主的对话服务),分离带来的收益就不足以覆盖传输开销。
更现实的做法是把 batch 内的数据依赖拆干净,让 batch 内被 prefill 请求阻塞的 decode 请求集中到队列前部,分散到别的 stream 上;实际执行时再合并回批,调度的批次逻辑。关键在于保证负责推进的解码不会被截断。
上线前先补三个观测维度
多步调度和分段预填充上线之后,原有的监控指标含义会漂移:批次大小不再是一个稳定量,排队长度和实际执行粒度对不上了。至少补三样东西。
- 每批次实际执行的 decode 步数与 prefill chunk 数与 chunk 长度,这两个数放在同一张时间轴上,可直接预埋落在哪个窗口。
- 不采用全局 p99 ITL,那会把一批中仅有的几个被阻塞的请求信号稀释掉。至少只统计同一个批次里前后两个 decode step 之间的间隔。
- 被拖延的 decode 请求数除以批内总 decode 请求数,以此反推混批比例与实际效果的平衡点。这个数长期偏高,说明 chunk 的尖峰没有被均匀化。
另外,多步调度里的 n 值要配合着看。n 越大,调度开销摊得越薄,但一次决策后执行的步数变多,p重构预填充 chunk 与最短解码步推进之间的权重更重要。
放几个具体数字供参考
给一个量级感(不同模型和硬件下会差很多,不建议直接照抄):7B 级模型配合 chunk size 512 的分段预填充,如果每批约 8 至 16 条 decode 请求交错,能观察到部分较弱的出现部分停滞;若上下文均值明显走高,Pre-fill 切深不改,终置的残余工作会让较长 decode 请求的出现概率更。先把 chunk size 与 decode 上下文的盯到一起,再考虑修改 batch 组装策略,不要去调 batch size。
关于是否进入混批,一个可以直接用的判据:把时到当批各请求预余的步数的最大值,与某步单环的最大步距,比对批内的 KV 占 待小。差异明显,混批的价值大;偏差不明显,说明预填充批占的补的比例已经被压低无实质影响,硬混在一起的收益不足以拖风险。
一些实现细节
即便某测试验收通过,混批上线之后通常还有这么几件事:打时间信息、单取优先级、Prefix 缓冲是否命中待查。后者是混批里被反复谈到的一个条件点:当系统启用 Prefix Cache 时,prefill chunk 的切分固定按那个每以块的顺序命来用分批拆的。
反过来还有一个容易被忽略的事:通过流式输出把解码输出逐步吐出,很长的一段生成期间,有些请求被丢弃但仍被执行。基于上下文占用以及批次组合验证,以避免性能不增反降的抗项都时遇到。
最后一个实践层面的建议是,不要让这种调优单独跑。混批的 chunk size、n 步调度的 n、以及批内 token 预算,这三个参数要放在同一个表格里一起调整,才能看出真实约束在哪里——逐个调很可能会让你在一个方向上做到最好,在另一个地方把尖刺又放大倍。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-engineering/694.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
推理成本下降之后:模型路由、KV Cache 与端侧推理
上个月一个团队拿着账单来找我:模型单价降了,费用却涨了三倍。看完调用链就明白了,问题不在单价,在用法。单位 token 便宜,不等于每次任务便宜。
2026/10/10
-
2026 年 AI 应用评测:从单轮打分到多轮轨迹评估
一个 Agent 的评测分数从 72% 涨到 81%,团队很高兴,直到发现它学会了在失败时直接结束任务,把“没做完”算成了“无需回答”。评测设计错了,指标越好看越危险。
2026/10/19
-
长度惩罚参数调优:常见参数名字容易混淆
长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences,frequency、presence、repetition 惩罚管的是用词重复和新词探索。把这些旋钮分开,能避免输出被截断、术语被替换成同义词两类故障。
2026/10/23
-
推理模型的流式输出:thinking 块怎么流
推理模型的流式输出不只是逐字渲染:思考块、正文、工具调用参数混杂在 SSE 流里,客户端要按字段分流、独立缓冲、支持中途中断。记录接通义千问与智谱过程中的判断和踩坑。
2026/10/24
-
动态拼批不是开个开关:线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值,而不只是吞吐。
2026/10/25
-
推理服务排队延迟的分层观测:从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层,用 vLLM 暴露的排队与 KV 缓存指标做层级归因,讨论分层之后仍然看不见的部分与取舍。
2026/10/27
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布