单请求跑投机解码,套路大家都很熟了:草稿模型先猜 k 个 token,主模型一次前向并行验证,猜中就白拿,猜错就回滚重采样。上线到连续批处理的服务里,情况就变了味。一个批里挤着 16 到 64 条不同长度、不同来源的请求,如果还给每条请求挂一份草稿模型的 KV 状态和采样循环,这一步的开销经常吃掉加速收益。
于是工程上自然会想到「批内草稿共享」:同一批里挑一个 prompt 当草稿源头,用它跑一次草稿生成,把这些候选 token 或草稿 KV 状态供全批复用。听起来很美,但它的收益和风险都藏在批内请求的相似度里。这篇文章把能算的账算清楚。
先搞清楚共享的是什么
不同框架里「批内共享」其实指三件事,收益差别很大,混在一起谈容易得出错误的结论。
- 共享草稿 KV(大部分方案的默认语义):草稿模型对共享的 prompt 做一次 prefill,得到一份 KV 状态,批内各请求的草稿解码都基于这份状态继续往后算。它省掉的是草稿模型每条请求各自的 prefill 前向。批内请求的 prompt 前缀越相似,省下的越多。
- 共享草稿采样循环:不共享 KV,只是把「草稿模型算 logits、采样、拼回序列」这个循环编译成批量 kernel 一起算,避免每条请求单独调用框架。它省的是调用开销和 kernel 启动开销,与请求内容无关。
- 共享候选 token 池:直接复用 prompt 或历史中已出现的 n-gram 片段做候选,配合主模型校验。这类似于 Prompt Lookup,多用于问答里大量复述原文的场景,接受率上限低,但零额外显存。
三种共享的收益曲线完全不同。前两种可以按批内请求做 hash 分桶、只在相似请求落在同一批时才触发;第三种只和负载类型有关。
共享可能直接拉低接受率
这是最容易被忽略的一笔账。草稿模型在位置 i 给出分布 q_i,主模型给 p_i,接受概率是 min(1, p_i(t)/q_i(t)),这是拒绝采样的标准做法,输出分布上和主模型单独解码一致,在算法层是无损的。问题是,这里说的「算法无损」依赖于每条请求自己那份 q 分布。
批内共享之后,拿到不该拿到 token 的请求,会以 q 分布不匹配的方式做拒绝,整体输出仍由主模型收口,质量不会崩,但接受率崩得很快。
实际比这更糟。很多实现为了省事,草稿阶段拿少数几条共享候选的堆叠状态去继续解码,再把生成的 token 直接拼进其他请求的候选序列。这样一旦某条请求的草稿和它的上下文不同源,位置对齐就会差一位,主模型是一次对齐验证整批候选 token 的关键,错位会让原本该被接受的 token 被拒。更麻烦的是,那个差一位在长序列上会被 KV 掩盖住,日测指标看不出来,代码那边靠验证后序列修改输出收场。
我在一个典型配置上算过两组数(仅作方法示意,非实测):批内 32 条请求平均两两前缀共享度 30% 的场景,共享草稿可接受的概率区间落在 0.35 到 0.55,相近内容各跑各自草稿基线是 0.64。落到 ITL 上,共享批次平均每轮推进约 2.0 个 token,不共享约 2.8 个。共享省下的一部分 prefill 前向被全耗在这些反复拒绝上。
要做出偏轻的判断,而不是拍板全部共享或全部关掉,就必须把下面这个映射在压测里打出来,而不是事后估算:
如果你的服务已经启用连续批处理,需要实时维护「批内最长共同前缀比例树」,并实时重定界——按共享度给批内请求做 hash 分桶,需要共享的前缀比例由最高的两三条请求围出,这个「锚」下的请求串成叶子前向下铺,整个 bucket(含边架到叶子那条路径)共享同一份共享 KV;命中率相近而档高低随负载波动的 bucket,需要打上离机前悬空的标记。
结构上的错位在批量校验时才付钱
即使规范实现不共享,批内各请求投中的草稿 token 数本就参差不齐,张量在 batch 维度上要 pad 对齐。这是随机采样解码在连续批处理里一直有的结构上的问题 [4] 有记录。共享草稿会把它放大,因为这个变化数在不同抽头版本之间跳变得更剧烈,主模型一次校验里含进 padding token,计算量和显存带宽随之多花。
较新的实现(2025 年之后)为对齐 pad 做了专门处理,代价是降低自适应能力:草稿阶段 token 数分布变得对称,tree 或路径验证的深度调不上去。取 tree 验证的命中收益时,要把这里的一部分还回去。对延迟敏感的服务,可以把共享推深再收银,并在观测上按 bucket 长度分别打点,否则均衡收益持续为负的那部分批量一直被平均性能遮住,看不到。
MoE 上的共享要额外做一次映射乘
先说明数据结构设计本身。主模型如果是 MoE 架构(Mixtral、DeepSeek-MoE 一类),token 经过 router 会被派到不同专家。同一个 token 在草稿模型和目标模型里落到不同专家上的概率与具体层、负载、token 位置相关;一旦落到不同专家,那条校验的接受概率与单独算法要求的数学假设就不再对齐——[4] 也提醒,MoE 架构上投机解码通常不如基线。共享共享 KV 的匹配错位会进一步扩大这个偏差,因为每条请求读到的专家组合更快分裂。
工程上的做法没别的:先在当前生产模型、真实流量上,按共享策略 A/B 实测接受率,再赌。
共享能省多少显存:不是文件数,是 KV 状态账
单草稿模型在 H100 上占 10–20GB [4],落在显存里主要是权重。批内共享的主要开销增量来自需要在多请求间维护的草稿 KV 状态,共享 KV 只是把这份多页样本收拢为一份。也就是说,它做不到「多条请求就省多份显存」,只是在 [B] 维度上收敛,共享态还要承载逐请求多份后缀增量的增量维度。
显存余量是最先归零的约束。批到位时那 5%–10% 的应急余量非常容易 [1] 报警。共享并不救得回显存问题。
怎么压测才踏实
别把共享做成一张一刀切的开关跑通即可。用真实流量回放,判据至少想清三条:
- 日志里对每条请求、每个接受位置采集用于随采随检的三分表:接受位 + q/p(归一化到主模型概率)标量、校验行宽度(关键看 padding 占比)、prefill / decode 前置参数量。压测结束后把这三个采集到 32KB 到几百 GB 的直方路上再谈吞吐比值。
- 把接受位下落阈与后基线拒绝位的还原改动,用标准保真开源 checkpoint 在 shortlist 打 A/B,挑出既有加权口径那一长用的显著行;按此归上实际平台再跑重放。确定性解码 temp=0 下主模型等价容易答对,但采样参数 temp>0 下 p/q 归一化差异会让回答字面不同不是 bug。这一点发布前就要写进解读文档。
- 观测上给策略级行位打点(各 bucket 标签的、共享开切换):观察实时 q/p 比值在批内两两之间差值的分布稳态在哪个样本,否则无法做接受 / 拒绝决策。
取结论一句话:共享草稿让「相同知识型批量服务」(摘要、抽取、RAG 长文批量吃文档)拿得到的收益最高,最长共前缀开销与共草稿匹配付出小档上值得上线;在短请求高随机或几乎无共享来源(如随机真实问答、代码、Agent 带工具回填拼接的输出、MoE 主模型)业务里先置回滚门,等观测走偏有「拒绝量随共享边界变化」账上还原。别做一劳永逸的开关,做按批内共享策略偏稳态预填。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-dev/704.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
上下文工程:从 Prompt 到 Context 的工程化实践
客服 Agent 答错时,团队第一反应是换模型。把那次请求的上下文打印出来才发现,模型看到的是一份过期政策、两份互相矛盾的条款,还有一长串无关日志。上下文工程要解决的,就是这类问题。
2026/10/06
-
RAG 的下一站:Agentic Retrieval
用户问“我们去年买的套餐现在还能退吗”,经典 RAG 检索出一段通用退款政策就结束了。可这个问题至少要拆成订单时间、地区、套餐版本三件事。Agentic Retrieval 要解决的,就是这种“一次检索不够用”的场景。
2026/10/12
-
推理模型输出被截断后怎么接回去
推理模型遇到输出截断,重试整条请求代价高;续写也有隐藏门槛。从识别边界、提示回灌到 prefill 与成本判断,聊聊工程上怎么做才不算亏。
2026/10/25
-
约束解码让 JSON 不再崩,但它会改坏推理
约束解码让 JSON 解析失败率归零,工程师可以删掉一堆重试和修复代码。但它会挤占模型的推理预算:强制格式在部分任务上带来10%以上的准确率下降。文章梳理 OpenAI、Anthropic、Gemini 和其他自托管引擎的现状,以及 schema 设计、两阶段模式与编译缓存几个实操要点。
2026/10/22
-
Agent 上下文压缩:四层策略与失败代价
把 Claude Code 的四段分层与 Hermes Agent 的双阈值压缩系统并排看重:200K 窗口下的 50%/85%、legacy 与 lean 尾部的实测差池、未处理到的摘要模型窗口溢出,以及工具对配对边界为什么是能不能跑的问题。
2026/10/23
-
推理模型的并行思维链采样怎么用才不亏
并行思维链采样的成本不是白花的。结合推理模型测试时计算的几条实证结论,梳理best-of-N、束搜索、自洽性投票和自我修订在什么场景下划算、什么场景下只是在烧钱。
2026/10/26
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布