loading

Loading

探索与发现

首页 AI 开发实战

Agent 拿着昨天的工具结果回答今天的问题

字数: (2597)
阅读: (9)
0
摘要:工具调用失败好修,工具结果没失效难查。Agent 把上一轮返回当成本轮事实,给出的答案完整自信却已经过期。可以从决策分层、结果 TTL、错误分类和系统提示上的失败指令四处下手,但最先该做的还是把「这次为什么没调工具」记下来。

先看一个月的监控日志。某个内部运维 Agent 上来之后,有 17 次故障是这样:用户问「帮我查一下昨天晚高峰 A 集群的 CPU 使用率」,Agent 没调监控查询工具,直接生成了一段「A 集群 CPU 使用率为 72%,处于正常范围」的文本。回复里没有数据来源、没有时间戳、没有查询条件,用户没法验证。真实情况是那段时间的 CPU 打到了 91%。

更隐蔽的一类失效是「结果过期」:用户连着问了两句,Agent 把上一轮工具返回的结果当成本轮依据,不再触发查询。查的是昨天的数据,答的是今天的问题。从现象看,它的回复又完整又自信,因为上下文里就躺着一段成功的工具返回值。这类 bug 在测试环境几乎暴露不出来——测试用例的输入通常是完整、独立、无状态的。

问题不在模型,在决策和结果生命周期

把一次工具调用拆开看,链路是:意图识别 → 决策(要不要调、调哪个、传什么参数)→ 执行 → 把结果注入上下文 → 生成回答。故障日志里高频出现三类模式。

第一类是参数模糊导致决策回避。用户说「查一下负载」,没给时间范围。决策层觉得缺少必要参数,干脆不调,退回到模型内部知识去估算。第二类是工具置信度阈值僵化。系统写死「匹配度 > 0.8 才调用」,而监控查询工具的匹配度常落在 0.75 到 0.79 之间,被错误过滤。第三类就是结果过期:一个工具结果被注入上下文之后,没人标记它的有效期,模型下一轮继续拿它当事实。

根因不是模型不够强。是工程上把「工具结果」当成了一个普通字符串,而不是一个带时效、带条件、带出处的证据对象。当输入模糊或匹配度不高时,默认行为是生成回答,而不是要求澄清或强制走兜底路径;更糟的是,「为什么没调工具」这段决策过程压根没打日志,运维侧长期是盲区。

给工具结果加上有效期,而不只是缓存

很多人第一反应是加缓存。缓存和结果有效期是两件相反的事:缓存想让你多用旧结果,有效期想让你在旧结果不适用时立刻重算。监控类工具的结果窗口很窄,30 秒前的成功率可能已经没意义;而知识库文档的检索结果,有效期可能是几十分钟。把工具的 result_ttl 和 risk_level 在注册时一起声明,上下文注入的是带 TTL 时间戳的结构化记录,模型侧看到的提示里带上「此结果采集于两分钟前」。

更关键的是查询条件绑定:结果必须和它对应的参数一起记。如果这一轮用户问的实体换成了 B 集群,或者时间窗口从「昨天」变成「本周」,旧结果直接作废,不允许用「形态相近」来复用。实现上不需要多复杂,决策层拿到工具结果时把 (tool_name, params_hash, collected_at) 一起塞进上下文;下一轮决策前算一次差异,命中不同就强制重新调用。代价是延迟变高,因为本来无需调的请求现在要调,但这笔账比出具一份错误答案要划得来。

分层决策:别只依赖一个匹配分数

那套运维系统给出了一份还算可落地的方案,把工具调用拆成三级。

强触发:输入里有明确的工具关键词(如「查监控」「查日志」)且参数完整,直接调用。弱触发:输入模糊但可推测意图(如「A 集群怎么样」),不直接猜,而是发起澄清:「您想查看 A 集群的哪项指标?CPU、内存还是网络?」兜底调用:匹配度落在 0.7 到 0.8 之间、或者澄清超时没回应,自动调一个通用查询工具返回结构化数据,让模型从「参考真实数据」出发,而不是从「开始编」出发。

阈值也不再是全局一个 0.8。只读查询工具的阈值下调到 0.65,宁可多调一次看真实数据;配置变更类写操作阈值上调到 0.85,防止误触发。这两种方向的代价不对称:多查一次的代价是几十毫秒和一点 token,误改一次配置的代价是在事故日志里留。 此外,澄清不能无限制等。设一个 30 秒兜底降波,否则弱触发直接超时。

工具结果要能够标记失效,才能重试

还有一个容易被漏掉的环节:超时、403、以及「响应 200 但内容是 {"status":"degraded","data":null}」这类非标准失败,都不应是普通的「报错」,而应是带类型的错误对象。error_type 分为 RateLimitError、PermissionDeniedError、ValidationError、ServiceUnavailableError 等,运行时才能决定是重试还是降级。

常见的坑是把「不满足调用条件」当成失败。请求参数缺了什么,是可以重试的;权限不足或参数非法这一类重试不行,重试只会白耗 token,还让用户多等几轮。日志里对应 decision_type 和 rejection_reason,把「拒绝调用」和「调用失败」分开统计。

部分结果也要保留。一个研究 Agent 同时调了四个工具,其中引用格式化那个失败,正确的做法是退回能拿到的四分之三并明确标注缺了哪份。这一点在带结果有效期的链路里尤其重要:返回结果时标注 forecast:null, forecast_error:"upstream_timeout",比抛异常再让上层即兴发挥要可控得多。

系统提示要明确规定失败行为

反向 leverage 最低、见效最快的一招:在系统提示里写清楚工具不可用时怎么办。比如「如果监控查询返回的 collected_at 距当前超过限定时长,必须重新调用;如果重新调用仍失败,报告失败并询问是等待还是使用已有数据」以及「任何数字回答必须附上查询工具的采集时间,缺失时间戳的数据不得入答」。缺了这段约束,模型就会自行修补,比如拿上一轮结果当本轮结果、把某个字段糊过去。提示不需要逐工具穷举,每个工具写三四种最可能的失败模式,模型能外推到相邻情况。

观测是第一优先级

如果暂时改不动决策逻辑,可以先加日志:每次决策的 tool_confidence(原始分和调后分)、是否走兜底、拒绝原因、first_seen 与结果过期时间、降级探测结果。把它接进监控,当「拒绝调用率」超过 15% 或「兜底调用率」超过 30% 告警。有了这些,你先能回答一个更基础的问题:错误回答到底是「不该调的调了」还是「该调的没调」,还是「调成功了但结果过期被继续使用」。

工具结果过期不是一类新的模型缺陷,它是一条证据的生命周期管理问题。带毫秒精度和错误分类、带决策类型、带采集时间的日志账本,是这类问题里唯一能反复对上的东西。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-dev/684.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图