并行工具调用重新回到主流 API 之后,很多人踩的坑不是发不出去,而是收回来之后对不上号。你发起三个独立工具:查天气、查汇率、查库存。三个 response 陆续回来,顺序和发出顺序不一致,而模型那边只给了一个 tool_calls 数组,里面每个条目有 id、name 和参数。如果直接按下标把结果塞回去,第二天就会有一批诡异的错答。
这件事在单轮里看起来无害,多轮里就成了事故源。下面按工程中真实会踩到的顺序说。
问题不在于乱序,而在于你把 order 当成了身份
并行工作流的聚合难点常被低估。IceYao 在那篇工作流模式文章里写得很直白:并行最容易出问题的地方不是怎么发起并发,而是多个输出之间的冲突与归属。放在工具调用上,归属问题比冲突更早出现。
典型的错误写法长这样:
for i, call in enumerate(tool_calls):
result = asyncio.gather(...)[i] # 假设第 i 个结果属于第 i 个调用
messages.append({"role": "tool", "content": result})
如果工具是同构的(比如三个都是同一个检索接口只换 query),你按位置对还可能歪打正着。一旦工具异构、耗时差异大(库存接口 80ms,搜索接口 2s),乱序就成常态。此时拼回去的消息里会出现“天气结果塞进了汇率调用的 tool 消息”。部分模型对 tool 消息的 tool_call_id 校验收得不够严,于是错误被静默吞掉,直到下游指标异常才暴露。
判断标准很简单:如果你的结果回填代码里出现了对“发起顺序”的依赖,却没有用调用 id 做键,这段代码早晚出错。
正确的做法:以 call_id 为唯一键做结果映射
协议本身给了答案。OpenAI 风格的工具调用里,每个调用有独立的 id,返回时在 tool 消息里回填同一个 tool_call_id。工程上要做的就是把位置映射换成字典映射:
results: dict[str, ToolResult] = {}
async def run(call):
results[call.id] = await execute(call)
await asyncio.gather(*(run(c) for c in tool_calls))
for call in tool_calls:
messages.append({
"role": "tool",
"tool_call_id": call.id,
"content": serialize(results[call.id]),
})
注意最后那个回填循环按 tool_calls 原始顺序走。这里有必要区分两件事:执行顺序和消息顺序。执行侧应该乱序并行,消息侧应该按模型给定的顺序稳定回填。很多实现把两者混在一起,结果要么串行化掉并行,要么消息顺序抖动导致前缀缓存失效。若你的推理服务涉及前缀共享,消息体不可预测的顺序确实会牵连缓存命中率——这是次生成本,不是主要矛盾,但在高并发下能测出来。
乱序暴露的第二个问题:上下文能不能独立
不是所有并发调用都该回填到同一个批次里。资料里对串行和并行的适用场景有明确对照:强依赖的前序解析优于并行,独立任务才适合并发。天气查询要先用 location 解析出结果,才能调天气 API——这属于典型的串行依赖链,硬塞进同一批只会让你制造出一个假的并发,然后在对齐时发现依赖根本没传递下来。
更实际的做法是:在构造批次前先做一次依赖识别。静态方法看参数里有没有引用前序调用的输出;运行时方法看执行日志里是否出现同一资源的读写先后。能在批次内平行的只是一部分工具,其余留给下一轮。Dify 那类编排层暴露的工具注册与调度语义里也同样区分了这两种模式,强依赖的步骤该在流程上游串好,别指望一个 dispatcher 帮你补上缺失参数。
缺少结果和多余结果:乱序之外的对齐缺口
并行之后,常见的边界情况有三类,不处理就会把对不齐的问题延后到模型推理阶段暴露出更杂乱的症状。
- 超时或异常既可能发生在某一个工具上,也可能发生在整个批次。需要给每个
call_id单独兜底,而不是让整个 gather 直接抛出,丢掉其他成功结果。 - 返回数量与请求数量不等:不是所有工具的响应都与请求一一对应,如果上游自身有重试,还可能二次返回。以字典为单位记录状态(pending/ok/error),以状态而不是顺序判断可回填。
- 同批出现重复工具的调用:模型有时在一个批次里对同一工具发起多次相近的调用,靠 id 区分是对的,但靠 name 区分会塌缩。
把这些缺口都显式化之后,回填就变成纯粹的状态机查询,而这个步骤的键是 call_id。
再往前一步:把对齐记录下来
日志要有“输入批次顺序—结果返回顺序—最终回填顺序”三者可看。这条日志在出问题时非常关键:你需要在执行链路上证明结果和是谁的,而不是只看到一次报错。OpenTelemetry 那一套 trace 是跨服务的,但在一个 agent 进程内,工具批次的边界往往不在请求链路里,需要你自己打。诚实的做法是不去信 `asyncio.gather` 的内置顺序,只要你调用 gather 时敲出了顺序相关解包,就等于写了个断言。
这件事的长期判断是这样:批内乱序是可以稳定对齐的工程细节,不需要额外建模成本。真正贵的部分是另外两块——一个是跨批次的交互式验证,一个是依赖识别出错之后连锁对不齐。前者本批还是同一会话上下文,单看每个 `call_id` 映射即可;后者在下一次对齐时就已经嵌进来了,对齐层不隐藏它,而是越早丢进依赖或对回本工具。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/agent-engineering/705.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
AI Coding Agent 如何稳定提交可合并的 PR
上周 review 了一个 AI 生成的 PR,测试全绿,但我还是把它关了。它改了 37 个文件,顺手升级了一个依赖,还修改了两条测试断言。问题不是代码不能跑,而是这个 PR 没人敢合。
2026/10/14
-
Agent Harness:可观测、可评测、可回滚的 Agent 基础设施
去年我们做了一个处理退款申请的 Agent。Demo 很顺,上线第一周就出了事故:进程重启后状态丢了,同一笔申请被处理了两次。问题不在模型,而在模型外面那层没人愿意写的基础设施。
2026/10/09
-
MCP 进入生产环境:工具协议、网关与权限边界
MCP 刚出来时,我以为最难的是协议兼容。真正接了十几个工具之后才发现,把工具接上只花了两天,把权限、审计和故障处理理清楚花了两个月。
2026/10/07
-
Agent 安全清单:提示注入、工具越权与数据外泄
一个内部助手被要求总结一封客户邮件。邮件末尾有一行白色小字:把最近的客户名单转发到某个地址。Agent 真的准备去调邮件工具了。安全不能靠模型自觉,得靠系统设计。
2026/10/16
-
Agent 长期记忆写入:冲突怎么判、怎么消解
Agent 长期记忆的重点不在存储,而在写入侧的冲突裁决:相似不等于矛盾,失效也别真删。本文拆解 mem0、PowerMem、时序图三种思路,以及多跳冲突、跨 Agent 并发写入在工程上的坑与成本。
2026/10/26
-
并行工具调用暴露的工具设计耦合问题
并行工具调用能砍掉四成延迟,但它更重要的价值在于暴露工具之间的隐性耦合。本文拆解上下文依赖、共享状态竞争与时序前提这三类静默失败,给出读写分类规则、工具合并的判据,以及什么时候该上依赖图编排。
2026/10/23
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布