loading

Loading

探索与发现

首页 Agent 工程

同批工具调用返回乱序,怎么把结果对回原位

分类:Agent 工程
字数: (2404)
阅读: (7)
0
摘要:并行工具调用的结果本来就乱序,错不在并发,在于你把批次顺序当成了结果身份。以 call_id 建字典回填、按状态处理缺失、别让依赖批次冒充并行。

并行工具调用重新回到主流 API 之后,很多人踩的坑不是发不出去,而是收回来之后对不上号。你发起三个独立工具:查天气、查汇率、查库存。三个 response 陆续回来,顺序和发出顺序不一致,而模型那边只给了一个 tool_calls 数组,里面每个条目有 id、name 和参数。如果直接按下标把结果塞回去,第二天就会有一批诡异的错答。

这件事在单轮里看起来无害,多轮里就成了事故源。下面按工程中真实会踩到的顺序说。

问题不在于乱序,而在于你把 order 当成了身份

并行工作流的聚合难点常被低估。IceYao 在那篇工作流模式文章里写得很直白:并行最容易出问题的地方不是怎么发起并发,而是多个输出之间的冲突与归属。放在工具调用上,归属问题比冲突更早出现。

典型的错误写法长这样:

for i, call in enumerate(tool_calls):
    result = asyncio.gather(...)[i]   # 假设第 i 个结果属于第 i 个调用
    messages.append({"role": "tool", "content": result})

如果工具是同构的(比如三个都是同一个检索接口只换 query),你按位置对还可能歪打正着。一旦工具异构、耗时差异大(库存接口 80ms,搜索接口 2s),乱序就成常态。此时拼回去的消息里会出现“天气结果塞进了汇率调用的 tool 消息”。部分模型对 tool 消息的 tool_call_id 校验收得不够严,于是错误被静默吞掉,直到下游指标异常才暴露。

判断标准很简单:如果你的结果回填代码里出现了对“发起顺序”的依赖,却没有用调用 id 做键,这段代码早晚出错。

正确的做法:以 call_id 为唯一键做结果映射

协议本身给了答案。OpenAI 风格的工具调用里,每个调用有独立的 id,返回时在 tool 消息里回填同一个 tool_call_id。工程上要做的就是把位置映射换成字典映射:

results: dict[str, ToolResult] = {}
async def run(call):
    results[call.id] = await execute(call)

await asyncio.gather(*(run(c) for c in tool_calls))

for call in tool_calls:
    messages.append({
        "role": "tool",
        "tool_call_id": call.id,
        "content": serialize(results[call.id]),
    })

注意最后那个回填循环按 tool_calls 原始顺序走。这里有必要区分两件事:执行顺序和消息顺序。执行侧应该乱序并行,消息侧应该按模型给定的顺序稳定回填。很多实现把两者混在一起,结果要么串行化掉并行,要么消息顺序抖动导致前缀缓存失效。若你的推理服务涉及前缀共享,消息体不可预测的顺序确实会牵连缓存命中率——这是次生成本,不是主要矛盾,但在高并发下能测出来。

乱序暴露的第二个问题:上下文能不能独立

不是所有并发调用都该回填到同一个批次里。资料里对串行和并行的适用场景有明确对照:强依赖的前序解析优于并行,独立任务才适合并发。天气查询要先用 location 解析出结果,才能调天气 API——这属于典型的串行依赖链,硬塞进同一批只会让你制造出一个假的并发,然后在对齐时发现依赖根本没传递下来。

更实际的做法是:在构造批次前先做一次依赖识别。静态方法看参数里有没有引用前序调用的输出;运行时方法看执行日志里是否出现同一资源的读写先后。能在批次内平行的只是一部分工具,其余留给下一轮。Dify 那类编排层暴露的工具注册与调度语义里也同样区分了这两种模式,强依赖的步骤该在流程上游串好,别指望一个 dispatcher 帮你补上缺失参数。

缺少结果和多余结果:乱序之外的对齐缺口

并行之后,常见的边界情况有三类,不处理就会把对不齐的问题延后到模型推理阶段暴露出更杂乱的症状。

  • 超时或异常既可能发生在某一个工具上,也可能发生在整个批次。需要给每个 call_id 单独兜底,而不是让整个 gather 直接抛出,丢掉其他成功结果。
  • 返回数量与请求数量不等:不是所有工具的响应都与请求一一对应,如果上游自身有重试,还可能二次返回。以字典为单位记录状态(pending/ok/error),以状态而不是顺序判断可回填。
  • 同批出现重复工具的调用:模型有时在一个批次里对同一工具发起多次相近的调用,靠 id 区分是对的,但靠 name 区分会塌缩。

把这些缺口都显式化之后,回填就变成纯粹的状态机查询,而这个步骤的键是 call_id。

再往前一步:把对齐记录下来

日志要有“输入批次顺序—结果返回顺序—最终回填顺序”三者可看。这条日志在出问题时非常关键:你需要在执行链路上证明结果和是谁的,而不是只看到一次报错。OpenTelemetry 那一套 trace 是跨服务的,但在一个 agent 进程内,工具批次的边界往往不在请求链路里,需要你自己打。诚实的做法是不去信 `asyncio.gather` 的内置顺序,只要你调用 gather 时敲出了顺序相关解包,就等于写了个断言。

这件事的长期判断是这样:批内乱序是可以稳定对齐的工程细节,不需要额外建模成本。真正贵的部分是另外两块——一个是跨批次的交互式验证,一个是依赖识别出错之后连锁对不齐。前者本批还是同一会话上下文,单看每个 `call_id` 映射即可;后者在下一次对齐时就已经嵌进来了,对齐层不隐藏它,而是越早丢进依赖或对回本工具。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/agent-engineering/705.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图