数学题换个说法就错：推理模型的等价改写鲁棒性

MATH-Perturb 这份工作做的事情很朴素：拿 MATH 数据集里 279 道 Level-5 的母题，给每道题生成两种改写，一种是简单扰动，只改数值和符号表层；另一种是困难扰动，把题目重新组织。结论对做应用的人不太友好——许多模型在简单扰动下依然稳定，一到困难扰动就掉分，掉幅不小。

这件事的价值不在于“又一个榜单”，而在于它指出了一个采样时会踩到的坑：你在库里对比两个模型的数学能力，极可能对比的是它们对某种表述模板的拟合程度。谁见过的模板多，谁的数字高。

简单扰动为什么测不出问题

改系数、换数字，本质上是在同一个解题骨架上替换实体。模型只要认出“这是一道解二次方程”或者“这是一道指数列求和”，后面走流程即可。这类扰动特别容易混进训练集附近的模式：题型模板、求解步骤、常见数字组合都在语料里高频出现过。模型不是不会做新数，是它根本不需要做新东西。

困难扰动打的是另一层。论文里用改写、改对象名称、重构问题陈述等方式，让同一条等价关系换一条路径呈现。数学上这两道题的答案是同一个，但对模型来说中间表示差异很大。题面结构变了，步骤串不上，它在长思维链里早早走错了分支，后面全崩。

同构的数学题，对模型来说往往不同构。这一点在工程上的直接后果，是准确率评测的数字不能直接当采购依据。

校准鲁棒性需要一套不训练模型的流程

工程上想用好这个结论，第一步是建自己的等价改写层，然后把它作为离线评测的一部分。

1. 从正确样本反推母题。先筛出模型稳定答对的题，把它们按解法归类，只保留每个类的少数代表。避免测同一个模式十遍。
2. 改写分三级。第一级只动数值；第二级改用具体的提问句式，替换变量名，去掉对物体名称的来源解释；第三级改变问题的情境，但解题的等价关系不变。级别越高，越容易看出模型依赖表面特征。
3. 人工校验等价。第三级最危险，改完之后数学关系不成立了，整组样本报废。要么让懂得审题的人类核对，要么用形式化手段判断两次陈述是否同构——这一步的成本是这套方案里最容易被低估的。
4. 按失败类型分级别打总分。靠改写掉下来的分，才是真正的推理弱点；简单扰动都掉分的，说明它是猜的。

失败常发生在第二次级的改写上：步骤没有被完全写进新的描述。比如原题答案需要用二次函数的乘积公式，让模型在第二次改写里必须自己解释为什么可以用乘积公式，它就开始编。这提示评估结果还需要一并保留完整的解答轨迹，不能只看最终答案是否正确；否则你只知道它错了，不知道它在哪个分支走错了方向。

自动形式化的等价校验未必可靠

为了避免人工校验的开销，微软研究院有一条路线是自动形式化，即把自然语言的陈述翻成形式语言里的陈述。论文报告的方法同时考虑两件事：符号等价的比较——最终答案、执行的步骤之间的逻辑关系；以及语义一致——把形式化的结果重新翻译成自然语言，再由嵌入的相似度作为判断依据。这套方法在 MATH 与 miniF2F 上帮助他们把自动形式化的准确率相对提高了 0.22 到 1.35 倍。

微软技术博客的描述相对坦诚：一次通过率与 k 次通过率之间有明显差距。意思是这条路径还处在“需要抽样、再挑选”的阶段，每一次自动化的判定结果都只能是减少人工校验量，而不会让人工完全退出。做等效改写批处理流水线时，得做好“形式化结果只能当作初筛结果”的心理准备，不要把错判的样本放进评测集里污染评估的基线。

模型本身不是没有学到东西

看这些结果之前最好收着点。一个改写掉分，可能不是模型缺乏推理能力，因为它见过的自然语言就是那几种表达，没有见过这个说法。问题在验证而不是解读。困难扰动考验的是一种混合体，既包含人类定义表达能力差异的能力，也包含检索题型的开销。

这类研究不会告诉你哪个模型有通用推理能力。不过在实际应用工程上，这两个答案的处置是趋同的，那些能做通用推理和只是学过这些题型的模型，在你的语料分布之外会退化。所以正确做法是把等价改写这套检查固定进能力回归，每个季度跑一次，逐渐积累和版本号对应的样本档案。

部署上的现实约束

此外得算清楚这笔检查多少钱。每一次困难改写都相当于向一个具有高推理能力的模型送一个新问题，且它可能会连锁写出很长的思维链。拿这次的公开样本量级来看，279 道原题生成 279 对改写，小规模还能人工核对，换成日常检查则会爆。

合理的折法是只在一个按能力分组抽样的子集抽查：每一组题型有固定的少量固定改写，反复用于回归。不要把对所有请求都做改写当成任务本身的目的，否则你买的是新的开销，换来的并不是更好的理解。

如果把它当作一次性的基准测试数值，这道题的边际收益还在下降。如果把它做成围绕固定母题库并追加抽取改写样本的回归测试，那么它只是一个能暴露信息的小工具，算不上新的结果——前提是最初接受的校验有严格的准入。