loading

Loading

探索与发现

首页 Agent 工程

并行工具调用回来了,你按顺序取结果就错了

分类:Agent 工程
字数: (2271)
阅读: (4)
0
摘要:并行工具调用的结果按网络先后返回,不一定跟模型请求的次序一致。harness 里用位置配对是等待事故的设计。实践线要工具提交即绑定 tool_call_id、结果按 ID 映射回原调用、批尾做 ID 闭合校验,三步都能在线上快速看住。

模型一口气发三个工具调用,harness 以为它们会按顺序回来,于是拿到第一个结果就往第一条调用上拍。这个问题不会报错,程序继续跑,最终答案是错的。天气查的是东京却按匹兹堡报了温度,用户不会知道;多步 Agent 拿着错的结果继续调下一步,你等到最终答案离谱时才开始查。

乱序不是异常,是默认行为

要理解这件事,先看模型实际发出的内容。同一条 assistant 消息里三个调用:get_weather(city="Pittsburgh")、get_weather(city="Tokyo")、get_weather(city="Berlin")。harness 把它们并行发出去,哪只 HTTP 请求先回来完全不由调用顺序决定。东京网络最近,18°C 先到;匹兹堡第二;柏林最慢。三行结果加起来只有一秒多的差距,但在 Agent 眼里,这个顺序跟请求顺序毫无关系。

LangChain 教程里那个例子也说得很直白:模型同一轮请求 get_weather 和 get_time,两个工具执行后,结果不一定按照模型请求的顺序完成。这就带出一个更基础的现象:所谓“一批工具调用”,在底层根本不能保证是一致完成的。

一条稳妥的 harness 管道不会假定它同步完成。唯一敢依赖的锚点就是 tool_call_id。模型发出调用时带编号,结果回来也必须回填同一编号。渲染回模型的消息里,role=tool 对应 tool_call_id,正文才是内容。只要编号对得上,东京的结果就不可能配给匹兹堡。

协议里的那道“编号闭合”约束

显式协议就这样要求。Anthropic 和 OpenAI 两边,工具结果都按各自结构回填调用 ID;消息的先后顺序无关紧要,只要每个 ID 都被回应。很多教程直接按位置配对,在工具少、调用一两个的网络开销近可忽略时问题不大,但省掉 ID 配对的代码在第一次并发时埋下的隐患就是错的。

更隐蔽的是,结果的先后和结束顺序并不完全一回事。一次批内如果混了不同耗时工具:先地理编码查坐标,等结果回来再查另一批目标。等第二个工具也发出去并返回,物理时间已经把“原来这个结果配第二个调用”的关系打乱了。运行时里只有两个消息:一个模型带着批调用 ID 的状态,一个结果流的 ID。按顺序依赖是幻觉,闭包的 ID 形状才是事实。

协议还有一种极端情况没有处置——某个 ID 从未被应答,或同一个 ID 回两次调用。测试时我不需要把全部责任推给验证;harness 本身得有防御。批量结束时做一次记号校验,每个 ID 至少要被回应一次,缺的照样生成占位结果。缺一个结果去调用模型继续推理会偏。

看那个 fetch 过程谁犯错,都是错的。观察线上的判据并不需要贵:打日志看结果到达顺序跟工具栏发出的列表序是否一致;如果 50% 以上乱序,程序逻辑里的索引就是隐患。

结果与思考交错时最容易踩坑

这里有一层架构限制值得说清楚。有一部分协议的顺序要求比 tool_call_id 更细,比如一些供应商要求模型先输出了一条像 thinking 的说明风格,再拿到批调用工具。思考块和结果数组的时序更难保持,即使 ID 匹配完整,通篇相对结构也不能随便来。因为看到这些结果之后的生成模型,预期的角色安排就是这出戏已经演出完了:每个调用都得和其相应内容同时被回复。

思路再近一步:先写 `tool_call_id` 的位置给按顺序检查的调用配对理论,规则根本不硬。模型有的倾向稳定不可取,因为训练中的模式在退化。可以用离线回调,但那需要绕过 harness,更根本的还是一个任务上下文关系,避免它们生成扁平无序结果的模板再乱指。

最小落地的三道东西

按这个方向做,至少要有三层。

第一,发出时就携带 request_id 和 tool_call_id,强绑定。消息丢一个就错不了。按 ID; 如果应用有用到编程序就不用自己的身份。返回结果永远按工具消息里的 ID 现场建立匹配表,填完才允许继续运行。

第二,批量完毕做闭合检查——n 个请求,要收 n 个有效应答;少回来了就保留占位标记,等接下来调模型时再决断是否重试。这里强调一点:不要自动补空字符串去调模型,因为模型会把空结果当成真实结果继续推理产错。例如天气工具没拿到结果,绝不能让它生成“25°C 晴”编出来;要么明确宣布这次调用失败,要么返回不完整状态留给上层。

第三,记录乱序。每条批日志写上返回顺序,从运行层到应用层都读它。这不是必须给用户展示的业务表,旨在诊断事故时可回溯:打开一个失败样本,调用的顺序和结果顺序清清楚楚。

“结果乱序”与工具选择互为放大

很多人把工具排错和选择直接决策搞混了,事故真正放大时就那两种情况一起出事。批中每个结果内容的意外偏移,会把模型注意到的状态锚错;对上一批结果已做了差缓打印,就可能给了它来自另一个工具误的提示幻觉。要保证错位不在短隙时间预算的上下游方向发生放大,强制编号闭合是成本最低的早期手段。

多轮分步式暂态就无需再看结果顺序吗

大多数步骤式 Agent 会在一轮里等所有工具完再发下一个,等于同步退化,这种情况下还坚持装配 ID 更显别扭。这没用——直到第三方侧懒加载、部分预消费等,或者你开始收异步 socket 响应,就崩了。

顺序不是自然礼物。工具调用协议在模型侧做了一件事:让调用 ID 随调用请求诞生、跟结果返回绑定,随后归并出一致的记录。人类习惯按位置读文本,但网络让接口层唯一稳定不能作假的是那个 ID 字符串。

多做一步常规化验证的成本很小,一旦漏掉可排查错误就昂贵。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/agent-engineering/697.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图