先看一个月的监控日志。某个内部运维 Agent 上来之后,有 17 次故障是这样:用户问「帮我查一下昨天晚高峰 A 集群的 CPU 使用率」,Agent 没调监控查询工具,直接生成了一段「A 集群 CPU 使用率为 72%,处于正常范围」的文本。回复里没有数据来源、没有时间戳、没有查询条件,用户没法验证。真实情况是那段时间的 CPU 打到了 91%。
更隐蔽的一类失效是「结果过期」:用户连着问了两句,Agent 把上一轮工具返回的结果当成本轮依据,不再触发查询。查的是昨天的数据,答的是今天的问题。从现象看,它的回复又完整又自信,因为上下文里就躺着一段成功的工具返回值。这类 bug 在测试环境几乎暴露不出来——测试用例的输入通常是完整、独立、无状态的。
问题不在模型,在决策和结果生命周期
把一次工具调用拆开看,链路是:意图识别 → 决策(要不要调、调哪个、传什么参数)→ 执行 → 把结果注入上下文 → 生成回答。故障日志里高频出现三类模式。
第一类是参数模糊导致决策回避。用户说「查一下负载」,没给时间范围。决策层觉得缺少必要参数,干脆不调,退回到模型内部知识去估算。第二类是工具置信度阈值僵化。系统写死「匹配度 > 0.8 才调用」,而监控查询工具的匹配度常落在 0.75 到 0.79 之间,被错误过滤。第三类就是结果过期:一个工具结果被注入上下文之后,没人标记它的有效期,模型下一轮继续拿它当事实。
根因不是模型不够强。是工程上把「工具结果」当成了一个普通字符串,而不是一个带时效、带条件、带出处的证据对象。当输入模糊或匹配度不高时,默认行为是生成回答,而不是要求澄清或强制走兜底路径;更糟的是,「为什么没调工具」这段决策过程压根没打日志,运维侧长期是盲区。
给工具结果加上有效期,而不只是缓存
很多人第一反应是加缓存。缓存和结果有效期是两件相反的事:缓存想让你多用旧结果,有效期想让你在旧结果不适用时立刻重算。监控类工具的结果窗口很窄,30 秒前的成功率可能已经没意义;而知识库文档的检索结果,有效期可能是几十分钟。把工具的 result_ttl 和 risk_level 在注册时一起声明,上下文注入的是带 TTL 时间戳的结构化记录,模型侧看到的提示里带上「此结果采集于两分钟前」。
更关键的是查询条件绑定:结果必须和它对应的参数一起记。如果这一轮用户问的实体换成了 B 集群,或者时间窗口从「昨天」变成「本周」,旧结果直接作废,不允许用「形态相近」来复用。实现上不需要多复杂,决策层拿到工具结果时把 (tool_name, params_hash, collected_at) 一起塞进上下文;下一轮决策前算一次差异,命中不同就强制重新调用。代价是延迟变高,因为本来无需调的请求现在要调,但这笔账比出具一份错误答案要划得来。
分层决策:别只依赖一个匹配分数
那套运维系统给出了一份还算可落地的方案,把工具调用拆成三级。
强触发:输入里有明确的工具关键词(如「查监控」「查日志」)且参数完整,直接调用。弱触发:输入模糊但可推测意图(如「A 集群怎么样」),不直接猜,而是发起澄清:「您想查看 A 集群的哪项指标?CPU、内存还是网络?」兜底调用:匹配度落在 0.7 到 0.8 之间、或者澄清超时没回应,自动调一个通用查询工具返回结构化数据,让模型从「参考真实数据」出发,而不是从「开始编」出发。
阈值也不再是全局一个 0.8。只读查询工具的阈值下调到 0.65,宁可多调一次看真实数据;配置变更类写操作阈值上调到 0.85,防止误触发。这两种方向的代价不对称:多查一次的代价是几十毫秒和一点 token,误改一次配置的代价是在事故日志里留。 此外,澄清不能无限制等。设一个 30 秒兜底降波,否则弱触发直接超时。
工具结果要能够标记失效,才能重试
还有一个容易被漏掉的环节:超时、403、以及「响应 200 但内容是 {"status":"degraded","data":null}」这类非标准失败,都不应是普通的「报错」,而应是带类型的错误对象。error_type 分为 RateLimitError、PermissionDeniedError、ValidationError、ServiceUnavailableError 等,运行时才能决定是重试还是降级。
常见的坑是把「不满足调用条件」当成失败。请求参数缺了什么,是可以重试的;权限不足或参数非法这一类重试不行,重试只会白耗 token,还让用户多等几轮。日志里对应 decision_type 和 rejection_reason,把「拒绝调用」和「调用失败」分开统计。
部分结果也要保留。一个研究 Agent 同时调了四个工具,其中引用格式化那个失败,正确的做法是退回能拿到的四分之三并明确标注缺了哪份。这一点在带结果有效期的链路里尤其重要:返回结果时标注 forecast:null, forecast_error:"upstream_timeout",比抛异常再让上层即兴发挥要可控得多。
系统提示要明确规定失败行为
反向 leverage 最低、见效最快的一招:在系统提示里写清楚工具不可用时怎么办。比如「如果监控查询返回的 collected_at 距当前超过限定时长,必须重新调用;如果重新调用仍失败,报告失败并询问是等待还是使用已有数据」以及「任何数字回答必须附上查询工具的采集时间,缺失时间戳的数据不得入答」。缺了这段约束,模型就会自行修补,比如拿上一轮结果当本轮结果、把某个字段糊过去。提示不需要逐工具穷举,每个工具写三四种最可能的失败模式,模型能外推到相邻情况。
观测是第一优先级
如果暂时改不动决策逻辑,可以先加日志:每次决策的 tool_confidence(原始分和调后分)、是否走兜底、拒绝原因、first_seen 与结果过期时间、降级探测结果。把它接进监控,当「拒绝调用率」超过 15% 或「兜底调用率」超过 30% 告警。有了这些,你先能回答一个更基础的问题:错误回答到底是「不该调的调了」还是「该调的没调」,还是「调成功了但结果过期被继续使用」。
工具结果过期不是一类新的模型缺陷,它是一条证据的生命周期管理问题。带毫秒精度和错误分类、带决策类型、带采集时间的日志账本,是这类问题里唯一能反复对上的东西。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-dev/684.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
上下文工程:从 Prompt 到 Context 的工程化实践
客服 Agent 答错时,团队第一反应是换模型。把那次请求的上下文打印出来才发现,模型看到的是一份过期政策、两份互相矛盾的条款,还有一长串无关日志。上下文工程要解决的,就是这类问题。
2026/10/06
-
RAG 的下一站:Agentic Retrieval
用户问“我们去年买的套餐现在还能退吗”,经典 RAG 检索出一段通用退款政策就结束了。可这个问题至少要拆成订单时间、地区、套餐版本三件事。Agentic Retrieval 要解决的,就是这种“一次检索不够用”的场景。
2026/10/12
-
约束解码让 JSON 不再崩,但它会改坏推理
约束解码让 JSON 解析失败率归零,工程师可以删掉一堆重试和修复代码。但它会挤占模型的推理预算:强制格式在部分任务上带来10%以上的准确率下降。文章梳理 OpenAI、Anthropic、Gemini 和其他自托管引擎的现状,以及 schema 设计、两阶段模式与编译缓存几个实操要点。
2026/10/22
-
推理模型输出被截断后怎么接回去
推理模型遇到输出截断,重试整条请求代价高;续写也有隐藏门槛。从识别边界、提示回灌到 prefill 与成本判断,聊聊工程上怎么做才不算亏。
2026/10/25
-
Agent 上下文压缩:四层策略与失败代价
把 Claude Code 的四段分层与 Hermes Agent 的双阈值压缩系统并排看重:200K 窗口下的 50%/85%、legacy 与 lean 尾部的实测差池、未处理到的摘要模型窗口溢出,以及工具对配对边界为什么是能不能跑的问题。
2026/10/23
-
推理模型的并行思维链采样怎么用才不亏
并行思维链采样的成本不是白花的。结合推理模型测试时计算的几条实证结论,梳理best-of-N、束搜索、自洽性投票和自我修订在什么场景下划算、什么场景下只是在烧钱。
2026/10/26
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布