思维链压缩到 20%，还能保住数学推理的准确率吗

做推理模型的团队大概都遇到过同一个问题：一道 MATH-500 级别的题，模型能吐出两三千个 token 的"思考"，其中真正决定成败的可能不到三分之一。剩下的部分是复述题目、回头重算、自我怀疑。便宜模型跑一次没问题，但一旦要做批量评测或者在线服务，token 账单和延迟就会逼着你去做压缩。

问题在于，压缩到什么程度就没法看了。Extra-CoT 这篇论文（arXiv 2602.08324）给了一个比较明确的分界线：现有的 CoT 压缩方法在 50% 缩减时还能撑住，一旦推到 70% 到 80%，就会发生作者所说的"保真度灾难"。在 MATH-500 上把预算压到原始的 20%，TokenSkip 的准确率掉到 23.4%，Extra-CoT 做到 47.8%。二十四个百分点的差距，基本上就是"还能用"和"不能上生产"的区别。

为什么数学推理链比一般文本更不抗压

通用提示压缩方法，比如 LLMLingua-2，思路是把不太重要的 token 剔掉。这在问答、摘要这类任务上表现不错，因为自然语言有大量冗余，删掉几个形容词并不会改变语义。但数学推理不是这样。一个方程 x^2 + 12x = 73 如果被切断成 x^2 + 12x =，后面的整个推导就失效了。符号、括号、等号两侧的结构，都是原子单元，缺少一块整条链就断了。

论文把极端压缩的核心难点总结成"区分冗余信息和关键逻辑"，并要求压缩器满足三条：语义保留（公式作为原子单元不被破坏）、问题感知（知道对这个具体题目哪几步是不可省的）、预算可控（给定"只用 20% 的 token"能稳定执行而不崩）。这三点里，第二条最容易被忽略。同一条推理链，遇到的题目不同，关键步骤也不同；不带着问题看推理链去做压缩，本质上是在瞎猜。

三阶段训练流程

Extra-CoT 的做法分三步，工程上比较清晰:

第一步：训练一个专门的压缩器

用 GPT-4o 在数千条数学解答上标注哪些片段是关键的，训练一个面向推理的压缩器，并且在数据处理时强制公式原子性，保证数学表达式不被切分。架构上让推理链的每个位置通过全局注意力回看原始问题，这样保留哪些 token 才和题目目标相关，而不是和通用文本重要性相关。

第二步：混合比例的监督微调

在词表里加入控制 token:⟨COMP 20⟩ 到 ⟨COMP 100⟩。训练数据包含两方面，一组是 6 万条固定比例样本，比例取 0.2、0.4、0.6、0.8、1.0，让模型学会每种预算对应的"长度感觉"；另一组是策略预热数据，让模型开始学着针对题目难度自己挑比例。这一步很关键:它给后面的强化学习提供了一个稳定的初始化。跳过 SFT 直接上 RL 去学"该用多长"，采样方差太大，训练很难收敛。

第三步：分层奖励的策略优化

新算法叫 CHRPO（约束与分层比例策略优化）。奖励不是只看最终答案，而是拆成两层:模型选完预算就立刻给一个控制头奖励，生成完整条链之后再给主奖励。主奖励由三部分加权构成:准确性（对 +1，错 -1）、预算校准（实际使用的 token 比例要贴近模型自己声明的目标比例，防止"说 20% 实际用 60%"），以及比例优化模式（答案正确的前提下，选更小的比例给更多奖励）。

这套设计的意图是风险敏感:如果模型为了图快去给难题选 20%，然后答错了，惩罚会很重。结果就是模型学会了在难题上"抬"预算到 80% 甚至 100%，而不是在低预算上硬撑。论文把这个叫快速失败恢复机制，从策略学习的角度来说说得通——它教给模型的是预算分配策略，而不是单纯的压缩能力。

结果和需要打折扣看的地方

在 GSM8K、MATH-500、AMC2023 三个基准上，Extra-CoT 在别人性能塌掉的比例区间还稳得住。用 Qwen3-1.7B 在 MATH-500 上，token 减少超过 73% 的同时准确率还涨了 0.6%。GSM8K 上相对基线有 3.24 倍的实时速度提升。定性对比里，Extra-CoT 保留的方程结构是完整的，LLMLingua-2 生成的片段连人都不好读。"压缩后更准"这个现象值得注意:部分过度思考本来就是噪声，删掉它有时能让模型更聚焦。但这只在一个基准上出现了零点几个点，不要当规律用。

有几个点得冷静看待。第一，实验集中在数学推理，代码生成、多跳检索、工具调用这类场景的推理链结构完全不同，压缩器能不能迁移没有验证。第二，压缩器的训练依赖 GPT-4o 的细粒度标注，也就是知识蒸馏，这套流程的上限被教师模型卡住。第三，那 73% 的 token 缩减是在 Qwen3-1.7B 这样的小模型上测的，大模型上的收益和风险要另测——小模型本来思考就短，压缩空间和长思考模型不是一回事。

和另一种思路的对照

另一条路是让模型自己决定什么时候不思考。Thinkless 走的就是这个方向，学"何时思考"而非"压缩思考内容"。两者并不冲突:一个管长度的绝对值，一个管长链内部的密度。更激进的是 Meta 的 Coconut 那类隐空间推理，中间的连续状态不落成语言 token，压缩比更高，但轨迹不可读。这里有个被论文成果冲淡的权衡——压缩得越狠，人或审核模型对推理过程的监控能力越弱。

当前推理模型的可控性本身就不算好，可监控性和压缩率之间的关系是一个真实的工程约束，不是学术上的抽象问题。

落到工程上

如果你正在为推理服务的成本发愁，Extre-CoT 给出的可落地结论是:70% 到 80% 的 token 缩减在数学类任务上可以认真考虑，前提是压缩模型自己学过预算控制，而不是拿现成的通用压缩器硬剪。先在小规模评测集上确认你的任务里"公式原子性"和"问题感知"这两条会不会被破坏，再决定压缩率能推到哪里。另外",控制 token 这种设计意味着你可以在请求里显式指定预算，这对做分档定价或降级策略是现成可用的接口形态。

至于那篇论文里"成本降低 75%"的说法，先按数学推理 workload 理解，换成你自己的流量结构之前，把延迟和准确率一起重新量一遍。