弃答阈值怎么定：推理模型置信度校准的工程账

上周有个做合规问答的团队问我：模型每次都给答案，答错了也不说不知道，能不能让它学会说“我不确定”？我说可以，但你先得有量准的置信度信号。问题就在这里——大多数团队拿到的“置信度”根本不是置信度。

先分清楚两种失效

幻觉是内容问题：模型编了不存在的信息。能用 RAG 溯源性检查、事实核查流水线去拦。过度自信的错误回答是信号问题：模型说的东西确实存在，只是它错了，而且给出了毫无异常的自信表情。响应格式合规、看起来有据可依、幻觉检测器一路绿灯。下游拿到输入的人或系统，没有任何触发验证的线索。

这两种失效叠加起来才最要命。斯坦福在法律问题上测出 69% 到 88% 的幻觉率，且伴随系统性过度自信；针对六个主流 LLM 的医疗任务研究发现，模型在高达 83% 的案例中会重复或包装植入的虚假临床信息，同样带着很高的把握。这类场景上线弃答机制，不是可选项，是兜底。

为什么 RLHF 之后更不诚实

讨论校准绕不开一个数字：期望校准误差 ECE，把置信度分桶后算各桶里声称置信度与实际正确率的加权平均差。完美校准是 0。生产级 LLM 一般在 0.05 到 0.20 之间，难的事实性基准上有些前沿模型测出超过 0.70。

关键在于训练方式对它的破坏。同一基座上，走 SFT 最大似然路线的模型 ECE 约 0.034；走 RL 训练变体的恶化到 0.135，差了大约四倍；无微调基线是 0.163。机制不神秘：PPO 用的奖励模型倾向给自信的回答打高分，人类标注者会把笃定读成能力强，于是模型学会了“说肯定句能拿奖励”。聊起来让人舒服的模型，往往在面对自己不知道的事时最不诚实。

所以别指望换一个对齐更好的模型就把问题解决。校准会随微调和领域漂移，你的默认假设应该是：我拿到的是过度自信的模型，然后按这个前提设计系统。

哪些常见做法其实不顶用

让模型在回答里自报置信度百分比。这是口头化置信度，走的是和正文相同的自回归过程，不是从 token 概率里导出的。研究报告的平均 ECE 超过 0.377，也就是你可能面对 37 个百分点的系统性高估。拿它当工程信号，约等于扔掉。

Temperature 设 0。确定性解码让输出更稳定，分支更集中，但校准并不会因此变好，改善微乎其微且依赖任务。稳定和“知道自己几斤几两”是两回事。

系统提示里写“请诚实面对不确定性”。在你直接问“你有把握吗”时有时能压低一点表演性的自信，但对整个输出分布的校准起不到系统性作用。

没有 Log Prob 时怎么做弃答

自一致性采样是黑盒场景下最实用的一招，SelfCheckGPT 就是这条路子。温度大于 0 采样 5 到 10 个响应，用语义相似度而不是精确匹配量一致率，分裂得越厉害，置信度越低。它可靠，但成本随采样数线性涨，本质上是拿算力换校准信号。预算紧的团队算清楚一件事：每个高风险请求多跑三到五遍推理，换来的是把一部分错误挡在人工审核前，账算得平就算值得。

白盒场景还有另一条路：在内部隐藏状态上训一个轻量分类器预测正确性。公开报告的 AUROC 到 0.772，明显高于基于 Logit 的 0.663 和基线 0.590；阈值 0.5 时展示答案的精确率可到 0.95，代价是扣留约 30% 的响应。缺点也很直白：要模型内部数据，托管 API 上基本拿不到。

有 Log Prob 的话，温度缩放回报最高。在 Softmax 前除一个在留出集上学的标量 T，指令微调模型通常在 1.5 到 3，几行代码、几毫秒开销。但它不是一劳永逸：换模型、换提示词分布、换业务域都得重校，客服上学的 T 拿去写代码任务会翻车。按任务把它当超参数看待。误校准更不对称时，用 Platt 缩放（两参数）或保序回归（非参数，要一千条以上样本）拟合更好。

(Gusto 的生产环境做过一个可参照的账：用 token 对数概率做过滤，高置信输出准确率 76%，低置信输出只有 45%，把后者路由到人工显著抬高了客户体验到的准确率。)

阈值不是单线，是分层门禁

落地时的常见错误是只设一个阈值。实际系统通常是三段：高于��阈值直接自动回答；低于低阈值直接弃答或转人工；中间的灰区触发额外验证，比如对具体断言做一次 RAG 溯源性检索，或交给更强的模型看第二眼。每层的阈值必须分开校准——自动回答层要求高精确的置信度信号，验证层能吃更噪的信号，因为后面反正加了校验步骤。

要监控的核心指标是弃答率本身，把它当一等因素追踪，同时按非对称成本调整。医疗和法律场景应该容忍更高弃答率，20% 到 30% 的弃答在客服里是灾难，在合规审查里可能是常态。别把“我不知道”当成模型失败，它是系统设计的一部分。

把它当成与延迟同级的指标

校准不会让模型更准，它让模型在力所不及时保持诚实。这句话听着虚，工程含义很具体：建立带已知正确答案的校准集，评估流水线里跑可靠性图，把后验重校准放进模型升级的标准步骤。数据上有一笔值得警惕的交易——一个准确率涨 3%、ECE 退化 15 个百分点的更新，通常是负收益。你在用虚假的自信换真实准确率，用户对系统的信任会被慢慢耗掉，而这条曲线在很多报表里根本看不出来。