为什么要在推理链中间动手
推理模型把时间花在输出上。DeepSeek-R1 在某些问题上的输出长度能到 Claude 3.7 Sonnet 的 5 倍而准确率未必更高,这个对比来自 Balachandran 等人 2025 年的工作。对一个跑推理服务的团队来说,长输出意味着三份账:FLOPs、串行延迟、KV 显存驻留,三样都按生成 token 数线性涨。更关键的是第二份账——批处理场景里一条长 CoT 会把整个 batch 的最长尾巴拉长,短请求被迫陪着等。
问题在于简单题与难题混在同一个采样器里。如果是发给客户端的同步请求,你没有先验知道该给这道题多少 token。早停要做的事,就是让模型自己在生成过程中交出一个可用信号:够了。
DEER:把停止点交给阶段之间的停顿
Chenxu Yang 等人的 DEER 走的是纯推理时策略路线,不加训练、不改权重。它的观察对象是推理链里的过渡标志,比如模型自己写的 “Wait” 这类阶段性的停顿词,可以理解为模型把当前思路分段的分界点。每到一个分界,DEER 让模型评估此前已经给出的部分答案的置信度;置信度足够高就在此截断,直接产出最终答案。简单题很快就停在前面一段,复杂题照常往下更深一层,形成了按题得算力的自适应。
从工程角度看,这套做法的价值在于不需要再造一轮 SFT 或 RL 训练,可以直接嵌到已有的推理模型上,而且判据与推理内容是同一套语义,用来控成本是合适的。代价有两点:一是“模型自报置信度”这件事本身就是模型的一个输出,“我觉得差不多了”并不可靠,后面还要考虑校准;二是能否稳定遇到阶段停顿取决于模型说话的样式,换个模型或换套提示词,分解结构会漂移,刻在服务里的解析逻辑要反复改。
# 结构示意:阶段边界触发 → 置信度判断 → 截断或继续 if 遇到边界:
conf = 自评当前答案置信度()
if conf > 阈值:
提前结束,直接输出答案
# 否则继续下一阶段训练侧的另一种思路:把长链剪短
ThinkPrune 代表另一条路:从训练层面剪掉过长的思维链,而不是推理时临时决定要不要停。哪种更适合你,取决于你有多少权限——如果你只能用第三方权重,训练侧的路线基本走不通,只能落在后处理上;如果你能在自有基座上做更进一步的对齐,那训练时就把长链剪短的收益会更前置一些,等于让慢的问题本来就更短。
这里也有取舍的现实约束:训练时剪链会改变模型遇到难题的行为习惯,代价通常出现在真正要求严谨证明的题目上,早剪掉后期关键那几步与等到结束差别很大。
SoftCoT 走的是第三条分支:不动主模型参数,另训一个小网络产出若干连续思维向量,投影到主模型嵌入维度当软 token 前缀,主模型多做内部计算但少输出显式 token。这降低了显性推理 token 数与响应延迟,代价是可解释性差——没法再对每一步做审计,并且要多一份训练和模块。如果下游有审核要求逐段日志可行,这条路要提前想清楚怎么和合规对齐。
一个被当成既有范式、但很容易踩的假设:Pass@1
有一篇论文提出了一个尖锐的问题:长推理模型到底知不知道自己什么时候该停。论文的定量分析指出,在 Pass@k 的评估方式下(给模型多次采样机会再取其中对的一次),长度膨胀和正确性之间的联系并不牢靠;模型本身也确实带着无需额外的“我已经做出来了”的信号,只是当前的 Pass@1 采样方式(贪婪或随机采样后取第一条)没法把这个信号利用起来。原因很直接:Pass@1 只看第一条,而模型只有在被追问和延续时才会显露退路——比如该停时还在生成无效或重复的 token。
这段话看似在谈模型、在谈评估,但对做服务的人意义相反,因为它指向了一个服务层可以实现的手段:采样器本身就是一个早停开关,而不需要一个独立的拦截器。阈值可以来自熵:模型对下一步 token 的分布越尖(也就是分配到的最大份额越来越压在极少数几个候选上),说明它越确定,这种情况下继续往下多半是在重复或者自我追问。相反分布越来越平铺,那才值得继续宽展开搜索。相关的关键词在部分实现里叫 early_stopping_entropy_threshold,与按长度截断的 early_stopping_length_threshold 是一组互补的手段。
这个切口的另一个好处是判定所需的信息已经在采样循环里算出来,不会额外多一轮模型 forward,对整个 pipeline 不增加耦合。
落到服务里的几件具体事
真要上线,按下面的顺序排一下坑比较划算:
- 先分账再选策略。抓一周实际生产的请求,把“算对了但链条很长”和“链很长且最终错”两类分开看,前者是纯粹的收益来源,后者是另一种问题(不是停得太早,而是根本没找到正确路径)。两者的比例决定了早停阈值到底该松还是紧。
- 阈值开在采样器上,而不是开在输出之后处理。靠串行前置解析来看“Wait”再发截断信号,要多一轮调度协商,不省钱反增延迟尖峰。
- 自评置信度必须校准。模型自报的“我很确定”只在经过一定的监督映射后才可以用。可选的做法是先在一小批带标注的样本上拟合一条置信度到正确率的映射,再挂线上判据。否则阈值偏松容易把未完的链掐在半截,偏紧则是无效早停。
- 设不可退的上沿。即便用了熵早停,仍要有一个硬 token 上限来兜住长尾,避免某请求把单张卡长时间耗呆。两者要配合起来看而不要二选一。
这几件事做完,早停的实质不是把链缩短换吞吐,而是让 token 花在需要它的问题上,剩下的直接结束对话——一开始就只是这么简单。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-frontier/703.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
多智能体不是银弹:编排、通信与成本取舍
我们试过让五个 Agent 开会,结果它们花了二十分钟争论谁该先说话,最后交上来的方案还不如一个单 Agent 加两个工具。多智能体不是不能做,是很多团队做早了。
2026/10/18
-
个人 Agent 与常驻智能体:长期记忆、主动性与隐私边界
我让一个常驻 Agent 帮我盯快递。包裹签收三天后,它还在提醒我“预计今天送达”。长期记忆、主动性和隐私边界,决定了个人 Agent 是助手还是负担。
2026/10/20
-
AI 浏览器用了一个月,我还是回到了地址栏
我试着把 AI 浏览器当主力用了一个月。模型不差,功能也不少,但最后让我放弃的是一件很朴素的事:地址栏比对话框更快、更确定。AI 浏览器到底卡在哪?
2026/10/20
-
世界模型被吹了两年,真正难的不是生成视频
看世界模型的演示视频,很容易产生“就差一点”的错觉。可一旦你试图在里面做一个动作,问题就全暴露了。生成一段像世界的视频,和拥有一个能交互的世界,是两件难度完全不同的事。
2026/10/20
-
前缀缓存命中率:字节对齐与工程取舍
从 QwenPaw 的命中率议题、Reasonix 的前缀分区,到 vLLM 的缓存感知路由,拆开前缀缓存失效的真实触发器,并讨论冻结前缀之后要执行换来的工程代价。
2026/10/24
-
思维链压缩到 20%,还能保住数学推理的准确率吗
把推理模型的思维链砍到原来的 20%,多数压缩方法会崩,但 Extra-CoT 在 MATH-500 上还保住了近半准确率。拆一下它怎么用公式原子性和分层奖励,以及这些结果在别的任务上不一定成立。
2026/10/22
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布