loading

Loading

探索与发现

首页 Agent 工程

Agent工具返回时效性分级的落地账本

分类:Agent 工程
字数: (3029)
阅读: (6)
0
摘要:工具返回不仅要成功,还得说清数据多新、能干什么。我们按强时效、会话时效、弱时效分级,配上确认轮询和状态字段,把“看起来没问题”的一致性事故压低。

一次静默的数据不一致

去年我们的Agent平台接入了一个库存查询工具。上线后用户问“仓库里还有多少现货”,Agent的回答有时准,有时差好几百件。查日志发现,工具没问题。原因在时序。同一个工具背后,高频料号的库存走Redis,低消料号走MySQL从库,某个第三方件甚至要调开放平台,之后才异步回落到主库。整个工具对外却只有一种返回格式,没有任何字段告诉Agent“这个数管多久”。Agent拿到快照后,会和别的信息拼在一起生成最终回复。一个三周前才更新的数字混在一段具体回答里,看上去没有任何异常。真正难处理的线上一致性事故,往往就是这样“没出错”。

后来我们做的事就是时效性分级:让每个工具——最好是每个工具返回字段——都说清楚这份数据有效期有多久、来自哪、是否还能直接拿来做决策。话听着简单不难,做起来能让Agent链路里大量偷懒的设计原地现形。

先别急着分级,先分清哪些返回不能直接当事实

在做分级之前,我们先把线上不一致case过了一遍(大约200条记录),有一个感受很直接:超过一半的案例根因并不在模型推理层。以Vol.111迭代里的统计为例,超时重试型约占35%,状态延迟型约占25%,幻觉编造型约占20%,并发冲突型约占20%。四类里有三类完全是工具调用和同步层面的问题,根本不是通过改prompt能解决的。

一个具体例子挺能说明问题。工单创建工具第一次请求超时,请求其实已经到达下游并且落库了。客户端触发重试,下游也许是幂等处理、也许是二次写入。而Agent框架拿到的是第一次超时的错误响应,于是走到兜底逻辑,最终给用户返回了一个“提交成功”的模板话术。上下游各说一套。

状态延迟型的案例也一样:写操作API返回200,只代表请求被接收。下游真正落库往往是之后的异步行为。此时Agent立刻发起读操作做交叉核对,查不到,顺手把状态标成“失败”。几秒之后数据出现了,可这一轮会话里Agent已经沿着错误状态继续往下执行了。不少团队这时候才开始改prompt,希望能约束住模型,实际这一步该排到后面去。

分三档描述数据新鲜度,比二元的对错更好用

我们最后把工具的每一次返回按数据可以承担的用途分成三档。这和结果可信度是两件不同的事:一份数值完全可以精确,但如果它是24小时前的快照,就不适合拿来支持高风险决策。

  • 强时效:分钟级窗口,通常用于库存扣减、审批状态、余额、物流节点等高频变动事实。响应里要带上采集时间戳和来源系统,跨过窗口就必须重新确认。
  • 会话时效:在本次会话内可以作为事实使用,一旦会话结束,或者“后续另一类写操作必然改变它”的动作发生,就要重新核验。把最近一次工具结果当输入传给写工具时,这件事尤其重要。
  • 弱时效:来自知识库或有明确发布周期的资料,可以为它写上“适用期”。引用时要带着更新时间和出处一起走,否则只能当参考草稿,不应当写进客户记录里。区别在于:旧数据不一定是“错的”,可能只是在悄悄失效之后,已经配不上新的决策场景了。

把这些分档写进工具的返回结构之后,很多判断都可以落到具体的时间戳和窗口上了。不会所有事情都得等调用框架的猜测和补全:强时效字段如果肉眼可见过了窗口,Agent可以先返回“该项数据已过时效,正在重新确认”,而不是把过期数字直接拼成一个笃信的答复。

结构化返回值是分级能落地的前提

面对只有文本形态的返回内容谈“分等级”没什么意义,因为每处区分都在推理层变成了模型的猜。我们的做法是让工具返回统一成结构化结果:状态字段(成功、失败、处理中、冲突等)、业务数据、可供引用的关键证据字段(预先抽取、可以拿去回复的字段)、幂等键、用于写操作确认的待处理凭证,以及错误码。再加两个时间字段:数据所代表的采集时间,和检索或查询发生的时刻。

证据字段的作用也值得提一句:业务数据里常常有原始对象的全量字段,模型直接读了容易误读或脑补;证据字段由工具开发者先提取好可引用的事实,模型只读证据部分,编造的空间自然小。时效性分级附着在证据字段和状态上,比附着在整段文本内容或data字段上灵活得多。

确认轮询是策略,不是原地多次重试

有节点会专门针对“写操作之后的读操作”设置状态确认流程:工具返回处理中状态时联动带一个确认凭证,Agent先给用户回“处理中”,等真实状态稳定后再告诉用户终态,不能凭空说出一个确定性结论。我们试过的配置有这几种:最大3次、间隔0.2s、0.5s、1.0s,平均1.7秒内外确认完成,成功率约92%;最大5次、间隔0.5s起逐步拉长到秒级,某个典型场景确认时长到了11.5秒,成功率约98%;以及最大2次配合“处理中”保底处理、适合对延迟苛刻的场景,但约85%的成功率这意味着会更多返回模糊的中间态。

这里关键不只是参数取值,更是把这个策略放在哪里。原则是把重试从工具内核上移到Agent框架层:工具自身不隐匿“内部已经自动重试过几次并最终成功”这一信息。这样一来,框架知道自己拿到了第一手的最终结果,还是收到了一个“中途可能发生过重试”的异常信号,两者在决策上要分开看。

要特别留意一种看起来可行的思路陷阱——将状态确认无限期延到“一定要问到最终结果”再过。这件事恰恰会给用户带来更长时间的不一致感。上线我们会显式说“处理中”,带上可追溯的确认凭证。普通操作3次以内停机的底线,多数情况够用;持续轮询虽然高可靠性,会拖垮交互时间预算,更多变成另一个工具体系里的超时。

慢工具在路由上就得打个标记

这是分级落地后最容易被忽视的一层:写入Agent进行下一轮调度的依据除了置信度和业务规则,还需要时间。有三点我们真实的经验。

能并行就先并行。串行到第4步才拿到一个1200ms检索工具的结果,已经难以阻止步数没批就能批量取得回报和立刻判断失败的差异扩大为延迟代价。在一个决策没有依赖某个慢结果的中间步骤,就不要再给自己找理由让整条链被迫等。

启动时验一点更小的拓扑来配确认策略。除了抽象地参数调优数量,按每个工具的下游依赖做出不同配置是更合理的工程落地。同步上游落库工具写成功的字段只做1–2次确认就能收尾;依赖另一个异步应用系统落库的,更多给时间做从容确认本身就是合理的做法。

熔断比坚持查更值。一时权限错误、一时超时、一度发现返回了重复内容,都属于不可再去的状态,不能被当作能推断下去的某条线索。连续异常数据不断产生时要整条链放弃,用能让本次会话保底的失败文本结束一次判断,而不是在过期或不完整的数据上试图坚持做完计划。

最后用户只在乎两件事

有了分级机制后,最直接的变化是它的效不用停留在内部:Agent的答复可以带有依据的时间描述。如果某一事实的依据刚好跨出了一开始允许的时效窗口,系统会选择把它降格到“建议先确认后再操作”而不是继续演绎。这也拉开了反馈环与最终用户之间真实可用的差距。

另外一件基础前提:所有高损动作在走到最后用户应答前,都需要确认结果落在正结果一侧时返回明确的检查限制、或者让用户补一句话完成追加确认。只在信息链范围内标风险、风险大小对具体业务系统而言依旧自己判断,不能替代负责审阅那个用户的个人判断,也不能机械绕过人对重要账单和条款的审核。上面那定档统计比较明确:发生工具问题的连锁后果成本高过只进行纯事实更正的回复代价。

总之,超时和延迟不可怕,用残缺快照来脑补成完成事实才会付出后续多余的处理成本。给每次结果写明它还有多久能信、不能用的部分由谁确认,这是一层越来越必须的代码结构,而非仅能装点可观测面板的元数据。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/agent-engineering/685.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图