loading

Loading

探索与发现

首页 AI 工程化

推理服务的批内请求重排序:收益与延迟的取舍

分类:AI 工程化
字数: (3212)
阅读: (7)
0
摘要:连续批处理让吞吐上去了,但批内长短请求混跑,短请求陪跑拉坏 P95。重排序并不能凭直觉塞——要和 prefill、decode 的窗口、GPU-hour 成本与 KV Cache 引用一起核算;多数情况下第一优先级是审计输入一致性而不是更换调度算法。

为什么要重排批里的请求

连续批处理(continuous batching)让推理服务吃满了 GPU,但也带来了一个隐性的浪费:显存里已经有几十条请求在跑,调度器却只按到达顺序往批里塞。解码时,长序列和短序列混在一起,长请求每步都要处理厚厚的历史 KV,短请求则很快结束。结果就是短请求被迫陪跑,TTFT(首 token 延迟)被拉长,而长请求的吞吐量也没好到哪里去。批内重排序的核心想法很朴素:既然批里有富余的算力,能不能按请求的优先级别、长度、解码速度重新分配?

这件事和分桶、连续批处理不是一个层面的问题。分桶决定「谁和谁捆在一起上传」,重排序决定「批内服务顺序」。NVIDIA 在 2025 年 3 月的 NeMo Retriever 技术博客里算过一笔账:如果交叉编码器(cross-encoder)重排序模型与 LLM 的成本对比,Llama 3.1 8B 生成五个 chunk 的成本比使用 NeMo Retriever Llama 3.2 重排序模型处理同样数据贵出约 75 倍。也就是说,推理层里任何一个「重排序」动作的代价,都要先和 LLM 自身的消耗做对比。这是本文讨论的基调:思路再漂亮,落到调度器上也得先把账算平。

不少平台对重排序的公开资料集中在 RAG 层面:天翼云 TokenHub 的 BGE 重排序 API、千问平台的 qwen3-rerank、无问芯穹 GenStudio 的 bge-reranker-v2-m3、阿里云百炼的 qwen3-rerank,都是在计算 query 和 document 之间的相关性分数。它们和推理服务里的「批内请求重排序」不是一回事,但工程的直觉可以借用:重排序是拿额外一次判断换取更优的选择结果,代价和收益都得明确。

重排序的触发时机:调度窗口不是越勤越好

连续批处理的调度器每次做一次「移除已完成请求、加入新请求」的动作,天然就有一个调度窗口。重排序如果放在每次窗口里做,会变成另一个 token 级锁。实际工程上更常采用的是「一致性窗口 + 阈值的混合触发」:连续几轮微调都只改变入参顺序,输出 token 消耗和 KV 重算没有明显变化。另一个难点是被重排的请求已经实现了多少个 token,在标准的解码循环里难以精确追踪。更合理的触发点是「预测性分桶落定时」,即每 N 个 mini-batch 在内部做一次评估,不打断 token 预填充。代价是要在 batch 里维护多种输入池:按到达时间、按剩余生成长度、按 SLO 分级。如果池子的数量控制不住,显存很快会被「排队等候」的池子填满。

一个经常被踩的坑是:重排序在第一步做完前就试图预测每个请求要生成多少 token。预测多了会让短请求饿死,预测少了会长请求先拖着。线上一般要求统计系统产出准确率优于 85% 才会决定是否放开这一步。

batch 与 latency 的对数账

推理服务里重排序一次完整的优化与 latency 的搭配不可能直观,得先解决「哪些不变、哪些变的量度」。我们先把算力代价分为两部分:prefill gap 和 decode gap。一次 reorder 操作的 benchmark 通常需要开一个两小时的观测:看平均 queueing timeout、各分位的 TBT(token-between-tokens)指标。调度器在收到突发重排指令时,将一次行数 N 的批量合并开销。大多数线上服务的实测收益来自重复利用率——调度时间跳完后,一小时的测试数据能看出长序列存活率提升之后释放了 1–3 秒的显存可用空间,让更多请求进入了后续 mini-batch。

从量化上看,按 GPU-hour 计费才是合理的成本框架。对一个 TTFT P95 在 2 秒左右的语音大模型推理服务,前置加入的 reranker 模型如果单次调用额外成本不在 30–50 毫秒内,会直接拉走尾包并拒掉用户。这意味着快速的第一阶段(去掉二次鉴权、预热固化 fixture)在序列上优先处理好比公平性更实在。从 NVIDIA 论文里的公式能有一个佐证:单加一个 reranker,输入成本本身并没有减轻,这些收益必须是给「下游 LLM 的 token 输入」创造有价值的缓冲期,才值得叠加最后一跳 30 毫秒之上。

和验证、流式输出耦合的三处风险

  • **重排序后不能保证预取的后缀得到局部再导出**:一次重排改变了请求顺序,中间可能要在断点拼回去,新的解码路径会和已经接好路径的延迟预期有出入。这在已经有安全审核介入流式输出时就构成不确定性。
  • **并行验证模型的风险**:为了判断是否要重摘请求中哪些前缀,请求拼接里放入专用的快速模型往往容易和主题重迭,哪怕只是一个 20B 级别的模型直接占去 KV 资源预算。
  • **KV Cache 引用指针错误**:调度之外的组件希望引用请求时拿完整上下文直接引用原句柄,重排后同一个 request_id 即使继续沿用也可能在出现 prefix 引用簇时被引用给已有缓存镜像,只有稳定的引用指纹和保留关系才能阻止两处共用一个不匹配的半替换版本。

所以要在重排序上跑功能测试的重点不是检查 batch 值走完没有,而是覆盖三个场景:发生流式断点后的续写、被恢复的请求已经与先前 top-k、末段输入完全不一致时是否拒绝、只按本地缓存中的逐层 KVCache 复用记录判断却未带注释时如何自解除冲突。

我看到的低风险版落地策略

比较稳妥的做法是放在请求级的门禁层而不是每个 step 的调度器内部。具体动作如下:初始检索召回来 50–100 条文档的时候先不要一口气入队到 LLM,先在工程方面提取分桶候选池,只把长度在同一区间且相对步数相近的窗口传入 reranker 做跨编码评分。这与现实:在天翼云 BGE 重排序 API、百炼 qwen3-rerank 的输出说明里 rerank 的 relevant score 也常用在检索后重排、给 final top-5 来用,做请求排序决策在逻辑上是同构的。代价是重排序完成前这条请求不算「进 batch」,但在 batch 组建之前做的事情不会被别的负载拖住。要求在同一 slot 批量占到的显存留有总预算 10%–15% 的水位来办这件事。

另外,推评和调度节点之间增加一遍「状态正常化校验」:每个 reranker 模型的运行时通过一次调用只给一个 mini batch 分配,后续依据实际 queueing bench 的回卷收益把批次先判给短请求还是允许大序列快过。在把一条请求的终止条件追加进裁决后,再交换置顶的低优先推理任务片。这样反复做一小时内、小时线混合,即使不依赖 Qwen 序列快速生成能力,那么最贵的那 1% 的用户交互至少在首批执行节点不会感知到提升的延迟。

什么时候不建议上

有一类请求就是极少改动 token 而大部分时间耗在 tokenizer/sampler。那种高单步速率、低多上下文变长成本的 use case,用户端感受不到纯 decoding batch 内的复杂调度窗口带来的提升,可能反而干扰自适应调整的成本权衡。遇到总推理项一天内 95 分位的成本足够买下几个小 Reranker-GPU-hour 的情形能做来试;但假设本来 LLM 上下文 token 相对很少、大多数是长应答生成且不需要 rerank 做最后的 doc-topk 截断,却盲目进入重排序比对,多半过不了一阵子就遇上卡死的缓存滞留。

一句话收束:批内请求重排序是用来把一些容易误用的组批编排从「无效等待的绝对吞吐」导向「高效分组下的一致实验结构」。真正只有经过验证的小公司线上任务(低并发多品种小模型)会因为操作链路里逐项增加的不敏感环节把它做得更省,其它体量先从连续批处理下的分桶分级与推理中的一致划分开始上会更稳健。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-engineering/690.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图