loading

Loading

探索与发现

首页 Agent 工程

给 Agent 的上线闸门:影子流量里比对工具调用

分类:Agent 工程
字数: (2769)
阅读: (10)
0
摘要:把影子流量从文本比对搬到 Agent 工具调用上,比较对象、采样成本和副作用都会变。这篇梳理副本如何不重放工具、比对为何要拆成决策/参数/轨迹三层,以及上下文回放和真跑半份推理的成本账。

把一套 Agent 的模型或提示词换掉,风险不在最终那句回答写得好不好,而在它调了什么工具、传了什么参数、调了几次。文本还能用语义相似度糊过去,工具调用不行:参数错一个类型,后端就是 500;该调用没调用,用户等到超时;不该调用乱调,用户的预算原地蒸发。

文本层面的影子流量做法已经比较成熟:网关复制请求,原件走生产,副本异步打给候选部署,两边的输出连同请求上下文一起落进比较层,分析层跑批算指标。【1】里描述的三层结构是这个思路的标准写法,GoReplay、Istio/Envoy、SageMaker 原生影子部署都能在基础设施层接住流量捕获。但把同样的架子搬到工具调用上,比较对象变了,采样成本变了,失败模式也变了。下面是我认为真正要重新设计的几处。

影子副本不能把工具真的执行一遍

文本影子里,副本模型的输出只是存下来比对,副作用是零。工具调用的副本如果照常执行,等于把每个用户的操作做了两遍:重复下单、重复发信、重复扣费。真实生产流量全量复制,这个代价没人付得起。

一种做法是在工具网关层加影子标记,副本链路的外呼改写成对 mock 或 record/replay 上游的调用,返回生产当时拿到的同一份结果。这样候选模型看到的是真实工具返回,但不产生真实副作用。代价是这层改写必须覆盖所有外呼路径,任何一条漏改的旁路都是生产事故。这和【2】里 AWS 强调的出站访问受控是一个逻辑:只允许受控 API,并记录全部外呼。影子期把这套控制用在副本上,顺带能验证清单完不完整。

另一种做法弱一些:不执行工具,只比对模型发出的调用请求。抓到候选模型产出的函数名、参数 JSON、调用次数,与生产同一请求的这一段并排存起来。这只能回答“它想调什么”,回答不了“调完还能不能收敛”。对于多步 Agent,第二步的正确性依赖第一步的真实返回,纯静态比对会把一串连锁错误漏掉。我的取舍是:单轮工具调用用静态比对够用,多步链路必须上 mock 执行,且 mock 里要有失败注入。

比对要从结局提前到每一跳

文本影子的指标是成对的:有黄金答案就跑 ROUGE、BERTScore、格式合规;没有就跑嵌入相似度和 LLM-as-judge,温度为零也不保证确定性,内核批处理效应会让同一请求在不同批大小下吐出不同结果。【1】里给的分层采样——100% 跑廉价确定性检查、10–20% 跑嵌入相似度、1–2% 跑 judge——直接搬过来会错位,因为工具调用真正的信息量在动作序列里,不在最后那段话里。

我倾向把比较层拆成三段落账。第一段是决策层:该调没调、不该调乱调,落到一个 F1。EvalScope 集成的 general_fc 评测流就是按这个拆的,样本必须带 should_call_tool 标签,负样本还得占一定比例,否则无法测出模型在闲聊时会不会误触发。【4】里提到的两个缺陷——决策边界模糊和参数幻觉——恰好对应这一层和下一层。第二段是参数层:schema 校验、必填字段、类型、枚举,这一项几乎是零成本的确定性检查,可以全量跑,能拦下“JSON 缺胳膊少腿”那类专业上最不该漏的错误。第三段是轨迹层:工具名序列是否与生产一致,调用次数是否膨胀,用序列编辑距离或干脆做精确对齐;多出来的那次重试往往才是成本暴涨和延迟失控的源头。

三段各自的方差完全不同:schema 校验是确定的,决策 F1 受采样影响,轨迹比对在非确定性模型上会出现合法分叉。放进一张报表算总分,等于把测量噪声和真实回归混成同一根线。

LLM-as-judge 在工具影子里要降权。它对“这段话是否等价”有用,对“这次调用是否该发生”并不可靠:判断依据在 schema 和用户意图里,在输出的文字表面看不到。真要使用,也应该让它评判参数语义是否等价,而不是给整条链路打分,并且采样比例压在个位数。

会话上下文和成本这两笔账

【1】点出过依赖上下文的查询是最常见的坑:只回放最后一条消息会把多轮语义拆散。Agent 更严重,影子链路需要完整的工具返回历史才能让候选模型走到同一位置,存储量不是翻倍,而是一条会话乘以其中每一次工具往返。实际落地时我的做法是只对会话尾部若干轮做回放,同时记录被截断的轮次,把它作为分层维度而不是当作真实数据扔掉——回放端点附近的回归和会话早段的问题本来就该区别对待。

成本也很直接。跑到 mock 上的副本不生产真实开销,但那段模型的推理照跑;加上多个评估层,单条请求的比对成本可以到生产推理的同一量级。【1】给的缓解是短窗口运行而非长期挂着,这个我认同,Agent 场景尤其如此:选一个业务流量分布有代表性的窗口,比如两到三个工作日,样本攒够就关,不要把影子做成常驻服务。延迟方面,异步影子不污染用户感知的 P99,但慢三倍的候选模型会在容量上暴露问题,这个数要单独落一张表,不能因为用户看不到就不记。

把闸门位置定清楚

影子流量在 Agent 生命周期里的正确位置是“A/B 之前的那道门”,这也是【1】推荐的心智模型。完整发布序列大致是:CI 里跑 fast 级的离线工具调用回归,结果要是秒到分钟级;通过后进入短窗口影子,对着真实流量验证决策、参数、轨迹和延迟;过了影子才进场小流量灰度;最后才用 A/B 去量业务影响。

CI(工具回归) -> 影子(真实流量, 零用户暴露) -> 金丝雀/AB -> 全量\n                                   |\n                    失败回退: 保留提示词历史版本 + 自动回滚

回滚这块,AWS 那篇博客里提的两点可以直接借:提示词变更要可审计、保留历史版本,以便快速恢复;释放决策要由可观测指标和用户反馈驱动,指标恶化自动回滚。【2】把影子也列为部署期的一种验证方式,和 A/B、金丝雀并排,但我更愿意把它当前置闸门——它是唯一能在不暴露任何用户的情况下拿真实工具调用数据的方法。

它拦不住的那部分

影子流量只验证“同一输入下行为是否一致”,不验证“改变是否带来收益”。候选模型如果和生产一样保守,影子会很干净,业务上却什么都没改善,那要靠金丝雀和 A/B。它也不适合承担安全追责,影子期产生的工具调用请求本身就是敏感资产,会带用户内容和内网端点,得按【2】里那条来管:凭证走运行时注入,限定生命周期,副本链路只允许受控外部调用,并全部留审计。

工程开销是真实的,但边界清楚。真正踩坑最多的是两个无形成本:副本打到了真实下游,以及把 LLM-judge 的评分当成工具调用回归的唯一标准。挡住第一条要靠工具网关的强制影子标记,挡住第二条要靠三段指标拆开落账和低成本检查占比在 90% 以上。这两条守住,剩下的是参数怎么调的本分活。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/agent-engineering/701.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图