动态批处理这个话题聊到“自适应”,大部分讨论都停在“按到达率调批大小”这个层面。真正落到调度器代码里,问题会变成三件具体的事:上界怎么定、加性增乘性减的节奏怎么配、以及批大小变了以后显存和延迟谁先扛不住。前一阵翻 Triton 文档和微软那本 AI-System 教材的推理系统章节,配合看了一份关于“在延迟和显存之间求最小”的专利描述,觉得可以把这几块账放在一起算。
先分清两件事:批大小是一个数,还是一个决策
说到自适应的批大小,容易含糊的地方是:自适应调的自变量是个连续整数,直接调离散的开环方法在数学上很难说得通用,所以实践中常用带固定上界、或者“优先批大小(preferred_batch_size)+最大批大小”这类形式。
Triton 的 Dynamic Batcher 在开启 dynamic_batching {} 时使用的默认策略,是动态批处理器会构建尽可能大的批次、并且只受最大批次大小 max_batch_size 的约束;另外还有个 max_queue_delay_microseconds 的等待窗口,批处理器可以故意让调度器等一小段时间,碰碰运气,等其他请求加入。这是典型的固定上界 + 人工调参路线:一旦你把 preferred_batch_size 设成 [4, 8],那么批处理器会优先尝试凑成这些尺寸,因为对于 GPU 来说,batch 是 4 还是 8,直接决定了这次 kernel 调用的维度格点和显存占用不同;快照曲线里的吞吐一般有台阶,在台阶上比在中间更划算。但 Triton 文档也说了,大多数模型不应该启用 preferred_batch_size,除非该批大小确实带来了明显高于其他的性能。这条经验很重要,台阶检测成本比一开始直觉想的要高,而且请求分布稍有变化,这个台阶就可能挪位。
所以把批大小自适应做成“随机一调就不踩坑”的想法基本不可行。开源工具确实分两种族:
- 静态上界法:固定 max_batch_size 外加 max_queue_delay_microseconds。前者卡住显存上限(batch 大小上界一涨,显存就近乎线性涨,专利里那段公式大概套用了这一点:显存基本按 m·b 增长,这里 m 是单个样本 KV cache 占用),后者卡住延迟预算。这两者各自独立成桩,把调优点大多都预留好了,实际部署完全可以直接照搬。
- 反馈控制法:从 Clipper 那篇工作铺开来的 AIMD(Additive Increase Multiplicative Decrease),加性增加是每次加一批变大一点(通常 batch 比倍增走得稳,而不是 N→2N),直到处理批的延迟超出目标延迟;一超就做一个小乘法式回退,比如把批大小减到 90%。注意教材特别提醒,最佳批大小不会大幅波动,这个退避常数比 TCP 里那个小得多;这条经验是从批处理延迟曲线(弯勺形那条)上自然推出来的——多一格未必还会涨延迟,但绝不该剧烈跳。
上界线:显存其实是双边的不等式,远不是一块简单的墙
写自适应控制器前,需要先弄清楚为何不能只用一个批数当控制变量。Triton 默认的 max_batch_size 是 static 不动的,如果你设得太乐观而实际工作负载没有变小趋势,OOM 是最常被忽略的成本:夜里流量流量较低时,这个界设高了不会出事故;白天随着流量逐渐上来,controller 只是温和地停在某个范围里,不会崩。但从反馈控制在到达线上做决定的关系上讲,“显存占用是慢变量,延迟是快变量”——专利里那个约束模型写得够清楚:它要优化的是期望等待时间 E(W(b)) 与占地的加权和,每个请求显存量按 m 增量的,内循环取值须保持有效,并且推导出来 η 这个系数反映实际内存的敏感度:η 变大,控制器应更向低批方向倾斜。这意味着你至少还需要一个对照测量——例如在新批大小之后运行中检测一次显存占用,或者持续从 nvidia-smi/nvml 抓取占用量度。不然,写着写着,就难以把这些层间关系落到一个解释上。
固定批次和动态匹配是否总是等价,也取决于延迟的这个目标值要留出多少余量。专利例子给出 ρ=0.75、行达率=990 才算相对值,背后用到的应该是一套固定的配比值。写代码时容易疏忽:这些常量按特定模型算出,迁移到一个 prompt 平均长度占一半的模型就不适用了。所以一个可维护的写法是:把控制器跟踪的统计量设成流量/长度(内部来自在线观测)算出的经验曲线。该曲线在离散的批次包络上反映实际服务的时间和低尾约束就够了,而实现在不同模型上应是一条正常可做对比的基线。别依赖一处固化常数去应对所有情况。
具体实现方案之外的注意事项:时序窗口
此外还有一个小处:batch size 适合用队列长度估计还是总量测量?前一种实现采样混合到达,batch 拼接发生在调度器,用 queue_length 来判断是否到达目标的批大小属于预测性参数设置。而结合考虑用 AIMD 调节 batch_size 时应该用它来抑制的是一轮推理的平均延迟(比如一次 decode 迭代的耗时会达到停顿),这类次数边界总是比 batch size 晚一段时间。从实际布面上看:你打算它还没升上去就给很多请求排队,这肯定算错了。这里适合的是时不变请求下的慢变平均,每隔几秒调一次可能是最接近的建议节奏;每次迭代跟着各次生成时间做 adjust,都是负收益 —— 那样反而丢了 AIMD 本应持有的稳定性。
快速压缩代码批次数时,还要对照调度器的释放顺序
AIMD 方案里的队列压缩总是做得安全些,尤其当 batch 中请求来源于不对齐的交付时间时。这个顺序意味着当你撤批大小的时候,完成批次释放的顺序总是能把整批按标准装满了才释放,还是直接中间插进一批?Triton 那边把释放封装好,问题不大;但只要尝试把它接入支持连续批处理(or iteration-level scheduling)的引擎,就会看到 batch 边界和 KV Cache 释放的颗粒度应该是互相独立的,否则会引入额外序列延迟,让批大小回退变得像换挡失落一样失衡。SRS 有一点值得坚持:不要在每次减速时都释放并重新构建批。更稳当的做法是总是只在队列侧控制、让增加可插新请求的最小移动完成批重置;那是批次协调带来的成本,并在实验日志里显现为小幅、但规则的尾部延迟尖刺。
最后一句提醒:不要一开始就把自适应当稳定收益工具去许愿。从教材中 Triton 的实践建议看,他们给大多数新手操作的建议,是先让用户在 static 批大小上限上滚动压测、用模型分析器找到拐点,再论因是否开启批尺寸控制器。预测不准本身就是收益,因为延迟预算是定的、显存占用是可预测的阈值。如果不能确定把哪只脚加哪种控制器,那就先把显存率(GPU mem / all)作为主要指标卡住范围放队列长度上先走,才能少折腾大概率会搅乱的目标。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-dev/688.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
上下文工程:从 Prompt 到 Context 的工程化实践
客服 Agent 答错时,团队第一反应是换模型。把那次请求的上下文打印出来才发现,模型看到的是一份过期政策、两份互相矛盾的条款,还有一长串无关日志。上下文工程要解决的,就是这类问题。
2026/10/06
-
RAG 的下一站:Agentic Retrieval
用户问“我们去年买的套餐现在还能退吗”,经典 RAG 检索出一段通用退款政策就结束了。可这个问题至少要拆成订单时间、地区、套餐版本三件事。Agentic Retrieval 要解决的,就是这种“一次检索不够用”的场景。
2026/10/12
-
约束解码让 JSON 不再崩,但它会改坏推理
约束解码让 JSON 解析失败率归零,工程师可以删掉一堆重试和修复代码。但它会挤占模型的推理预算:强制格式在部分任务上带来10%以上的准确率下降。文章梳理 OpenAI、Anthropic、Gemini 和其他自托管引擎的现状,以及 schema 设计、两阶段模式与编译缓存几个实操要点。
2026/10/22
-
推理模型输出被截断后怎么接回去
推理模型遇到输出截断,重试整条请求代价高;续写也有隐藏门槛。从识别边界、提示回灌到 prefill 与成本判断,聊聊工程上怎么做才不算亏。
2026/10/25
-
Agent 上下文压缩:四层策略与失败代价
把 Claude Code 的四段分层与 Hermes Agent 的双阈值压缩系统并排看重:200K 窗口下的 50%/85%、legacy 与 lean 尾部的实测差池、未处理到的摘要模型窗口溢出,以及工具对配对边界为什么是能不能跑的问题。
2026/10/23
-
推理模型的并行思维链采样怎么用才不亏
并行思维链采样的成本不是白花的。结合推理模型测试时计算的几条实证结论,梳理best-of-N、束搜索、自洽性投票和自我修订在什么场景下划算、什么场景下只是在烧钱。
2026/10/26
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布