把一套 Agent 的模型或提示词换掉,风险不在最终那句回答写得好不好,而在它调了什么工具、传了什么参数、调了几次。文本还能用语义相似度糊过去,工具调用不行:参数错一个类型,后端就是 500;该调用没调用,用户等到超时;不该调用乱调,用户的预算原地蒸发。
文本层面的影子流量做法已经比较成熟:网关复制请求,原件走生产,副本异步打给候选部署,两边的输出连同请求上下文一起落进比较层,分析层跑批算指标。【1】里描述的三层结构是这个思路的标准写法,GoReplay、Istio/Envoy、SageMaker 原生影子部署都能在基础设施层接住流量捕获。但把同样的架子搬到工具调用上,比较对象变了,采样成本变了,失败模式也变了。下面是我认为真正要重新设计的几处。
影子副本不能把工具真的执行一遍
文本影子里,副本模型的输出只是存下来比对,副作用是零。工具调用的副本如果照常执行,等于把每个用户的操作做了两遍:重复下单、重复发信、重复扣费。真实生产流量全量复制,这个代价没人付得起。
一种做法是在工具网关层加影子标记,副本链路的外呼改写成对 mock 或 record/replay 上游的调用,返回生产当时拿到的同一份结果。这样候选模型看到的是真实工具返回,但不产生真实副作用。代价是这层改写必须覆盖所有外呼路径,任何一条漏改的旁路都是生产事故。这和【2】里 AWS 强调的出站访问受控是一个逻辑:只允许受控 API,并记录全部外呼。影子期把这套控制用在副本上,顺带能验证清单完不完整。
另一种做法弱一些:不执行工具,只比对模型发出的调用请求。抓到候选模型产出的函数名、参数 JSON、调用次数,与生产同一请求的这一段并排存起来。这只能回答“它想调什么”,回答不了“调完还能不能收敛”。对于多步 Agent,第二步的正确性依赖第一步的真实返回,纯静态比对会把一串连锁错误漏掉。我的取舍是:单轮工具调用用静态比对够用,多步链路必须上 mock 执行,且 mock 里要有失败注入。
比对要从结局提前到每一跳
文本影子的指标是成对的:有黄金答案就跑 ROUGE、BERTScore、格式合规;没有就跑嵌入相似度和 LLM-as-judge,温度为零也不保证确定性,内核批处理效应会让同一请求在不同批大小下吐出不同结果。【1】里给的分层采样——100% 跑廉价确定性检查、10–20% 跑嵌入相似度、1–2% 跑 judge——直接搬过来会错位,因为工具调用真正的信息量在动作序列里,不在最后那段话里。
我倾向把比较层拆成三段落账。第一段是决策层:该调没调、不该调乱调,落到一个 F1。EvalScope 集成的 general_fc 评测流就是按这个拆的,样本必须带 should_call_tool 标签,负样本还得占一定比例,否则无法测出模型在闲聊时会不会误触发。【4】里提到的两个缺陷——决策边界模糊和参数幻觉——恰好对应这一层和下一层。第二段是参数层:schema 校验、必填字段、类型、枚举,这一项几乎是零成本的确定性检查,可以全量跑,能拦下“JSON 缺胳膊少腿”那类专业上最不该漏的错误。第三段是轨迹层:工具名序列是否与生产一致,调用次数是否膨胀,用序列编辑距离或干脆做精确对齐;多出来的那次重试往往才是成本暴涨和延迟失控的源头。
三段各自的方差完全不同:schema 校验是确定的,决策 F1 受采样影响,轨迹比对在非确定性模型上会出现合法分叉。放进一张报表算总分,等于把测量噪声和真实回归混成同一根线。
LLM-as-judge 在工具影子里要降权。它对“这段话是否等价”有用,对“这次调用是否该发生”并不可靠:判断依据在 schema 和用户意图里,在输出的文字表面看不到。真要使用,也应该让它评判参数语义是否等价,而不是给整条链路打分,并且采样比例压在个位数。
会话上下文和成本这两笔账
【1】点出过依赖上下文的查询是最常见的坑:只回放最后一条消息会把多轮语义拆散。Agent 更严重,影子链路需要完整的工具返回历史才能让候选模型走到同一位置,存储量不是翻倍,而是一条会话乘以其中每一次工具往返。实际落地时我的做法是只对会话尾部若干轮做回放,同时记录被截断的轮次,把它作为分层维度而不是当作真实数据扔掉——回放端点附近的回归和会话早段的问题本来就该区别对待。
成本也很直接。跑到 mock 上的副本不生产真实开销,但那段模型的推理照跑;加上多个评估层,单条请求的比对成本可以到生产推理的同一量级。【1】给的缓解是短窗口运行而非长期挂着,这个我认同,Agent 场景尤其如此:选一个业务流量分布有代表性的窗口,比如两到三个工作日,样本攒够就关,不要把影子做成常驻服务。延迟方面,异步影子不污染用户感知的 P99,但慢三倍的候选模型会在容量上暴露问题,这个数要单独落一张表,不能因为用户看不到就不记。
把闸门位置定清楚
影子流量在 Agent 生命周期里的正确位置是“A/B 之前的那道门”,这也是【1】推荐的心智模型。完整发布序列大致是:CI 里跑 fast 级的离线工具调用回归,结果要是秒到分钟级;通过后进入短窗口影子,对着真实流量验证决策、参数、轨迹和延迟;过了影子才进场小流量灰度;最后才用 A/B 去量业务影响。
CI(工具回归) -> 影子(真实流量, 零用户暴露) -> 金丝雀/AB -> 全量\n |\n 失败回退: 保留提示词历史版本 + 自动回滚
回滚这块,AWS 那篇博客里提的两点可以直接借:提示词变更要可审计、保留历史版本,以便快速恢复;释放决策要由可观测指标和用户反馈驱动,指标恶化自动回滚。【2】把影子也列为部署期的一种验证方式,和 A/B、金丝雀并排,但我更愿意把它当前置闸门——它是唯一能在不暴露任何用户的情况下拿真实工具调用数据的方法。
它拦不住的那部分
影子流量只验证“同一输入下行为是否一致”,不验证“改变是否带来收益”。候选模型如果和生产一样保守,影子会很干净,业务上却什么都没改善,那要靠金丝雀和 A/B。它也不适合承担安全追责,影子期产生的工具调用请求本身就是敏感资产,会带用户内容和内网端点,得按【2】里那条来管:凭证走运行时注入,限定生命周期,副本链路只允许受控外部调用,并全部留审计。
工程开销是真实的,但边界清楚。真正踩坑最多的是两个无形成本:副本打到了真实下游,以及把 LLM-judge 的评分当成工具调用回归的唯一标准。挡住第一条要靠工具网关的强制影子标记,挡住第二条要靠三段指标拆开落账和低成本检查占比在 90% 以上。这两条守住,剩下的是参数怎么调的本分活。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/agent-engineering/701.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
Agent Harness:可观测、可评测、可回滚的 Agent 基础设施
去年我们做了一个处理退款申请的 Agent。Demo 很顺,上线第一周就出了事故:进程重启后状态丢了,同一笔申请被处理了两次。问题不在模型,而在模型外面那层没人愿意写的基础设施。
2026/10/09
-
AI Coding Agent 如何稳定提交可合并的 PR
上周 review 了一个 AI 生成的 PR,测试全绿,但我还是把它关了。它改了 37 个文件,顺手升级了一个依赖,还修改了两条测试断言。问题不是代码不能跑,而是这个 PR 没人敢合。
2026/10/14
-
MCP 进入生产环境:工具协议、网关与权限边界
MCP 刚出来时,我以为最难的是协议兼容。真正接了十几个工具之后才发现,把工具接上只花了两天,把权限、审计和故障处理理清楚花了两个月。
2026/10/07
-
Agent 安全清单:提示注入、工具越权与数据外泄
一个内部助手被要求总结一封客户邮件。邮件末尾有一行白色小字:把最近的客户名单转发到某个地址。Agent 真的准备去调邮件工具了。安全不能靠模型自觉,得靠系统设计。
2026/10/16
-
Agent 长期记忆写入:冲突怎么判、怎么消解
Agent 长期记忆的重点不在存储,而在写入侧的冲突裁决:相似不等于矛盾,失效也别真删。本文拆解 mem0、PowerMem、时序图三种思路,以及多跳冲突、跨 Agent 并发写入在工程上的坑与成本。
2026/10/26
-
并行工具调用暴露的工具设计耦合问题
并行工具调用能砍掉四成延迟,但它更重要的价值在于暴露工具之间的隐性耦合。本文拆解上下文依赖、共享状态竞争与时序前提这三类静默失败,给出读写分类规则、工具合并的判据,以及什么时候该上依赖图编排。
2026/10/23
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布