loading

Loading

探索与发现

首页 AI 工程化

Agent 工具太多时,把工具描述做向量召回的实际做法

分类:AI 工程化
字数: (2499)
阅读: (9)
0
摘要:工具数量上百之后,全量塞进上下文既贵又容易出错。把工具描述做成向量索引、运行时召回 Top-K 子集,是一条务实的路径。这篇文章拆解召回对象怎么拼、两阶段检索怎么取舍、索引如何与工具元数据同步,以及哪些场景不必急着上工具召回。

工具函数一旦超过三五十个,把它们全部塞进系统提示就开始变味了:输入 token 飙涨,模型在小镇做题和选工具之间来回摇摆,功能相近的工具被混淆,参数填错。业界一种应对办法是把工具描述本身做向量化,运行时按当前意图召回 Top-K 个工具再挂给 Agent,让模型看不见用不上的那几百个。

这件事听起来像把 RAG 从知识库挪到工具列表,做起来却走的是另一套账。下面按工程顺序拆开讲:召回源是什么、检索走几阶段、动态工具集会带出哪些新问题,以及哪些场景不该这么做。

召回对象是一张张工具的 Schema,不是正文

知识库做向量化时,单个 chunk 可能是几百字。工具元数据不是。一个 MCP 工具在模型侧看到的通常只有 name、description 和参数 Schema,description 往往是一两句话,参数描述更短。做成索引时,主流做法是把这几部分拼成一段检索文本再送进 embedding 模型。

拼接方式会影响召回效果。名字单拎出来不带上下文,容易撞词;只放 description 而丢掉参数名,模型拿到工具后一样会填错参数。阿里云的 AI 网关做法是先通过 Qwen Embedding 做工具向量召回,再可选对候选做 Qwen Rerank 精排,检索文本的组装留给服务端统一处理。AgentScope Java 这边给出的是客户端侧调用方式,在创建 Higress MCP 客户端时传入当前 Agent 的描述和一个整数 K:

HigressMcpClientWrapper higressClient = HigressMcpClientBuilder.create("higress")
    .streamableHttpEndpoint(HIGRESS_ENDPOINT)
    .toolSearch("your agent description", 5)
    .buildAsync()
    .block();

这里的 K 是每次拿到的工具上限,不是最终调用工具的次数上限。这两个数要分开配,后面会说到。

工具检索的预算和时间账

把搜索做进网关,多出来的是一跳网络延迟。按公开数据,Higress AI Gateway 的工具语义检索使用 Weight 混合算法,搜索耗时控制在 350 毫秒以内,相比纯向量检索只增加约 30 毫秒;按对方的实验口径,准确性上也比纯向量略带优势。

这个数放在端到端里要摊稳。多轮 Agent 每一步都可能换一个新的任务语义,如果每步都重新检索,350 毫秒乘以步数会变成不可忽略的尾延迟。比较省成本的切入点是在决策点只做一次检索,或者按语义变化幅度决定是否重检索。在窗口受限模型上报出过:工具数量到百级、甚至进入千级的复杂负载下,MCP 调用的 token 消耗降低约 70%。这两个方向本身对得上:延迟加一点,上下文省一大截。

判断要不要上整套方案,最直接的方式是构造一批真实流程任务,把“全量工具”与“召回 Top-K 工具”放在同一条轨道上跑,对比任务完成率、平均步数、端到端时延与每任务 token 花费,再看失败原因是选错工具还是参数填错。

改了工具描述,索引就得重建

向量索引拿到工程上最大的成本,从来是维护。工具库不像静态知识库:别人改错两个字注释不动向量,工具那一套不会演进。工具新增、下线、换个语义描述、参数改个名,都会直接摇到召回结果。所以工具向量化必须配套一套元数据同步机制,比如 MCP Server 的增删改自动触发工具元信息采集与向量化更新,让检索结果和线上真实工具保持一致。

反过来想还有一类失败模式值得注意:工具名改得不打紧,但描述和原来差很远,语义上从“查订单状态”偏到了“查物流轨迹”,模型按旧描述检索出来又发现它对不上返回值,通常一整个多步规划都蹦了,而且从调用日志里很难直接看出是索引过期还是模型理解偏差。所以用于检索的文本需要做版本标记:每批工具元数据入库同时留一个过期的索引版本号,回放排障时可以分开看。

Rerank 补后者间缝隙

两阶段检索能有多大收益,看的是工具集差多少。只有十几个工具且语义分得开时,向量召回本来就不会失手。麻烦主要出在大量工具互为别子或者边界相近,比如十几个查询比那类只换名词的工具,向量的语义空间里它们很靠近。此时 Qwen Rerank 精排可以做两步:向量召回一坨二十个候选,精排后取几个挂给模型。

但精排也要排进去,会线性增加每次显式检索的延迟,而且又拿走一些模型侧的容错性:模型还是接受不相关工具的能力其实不错,排得太狠有时挂掉了关键工具,模型连尝试机会都没有。所以排完依然应保留两三个阶段候选给 Agent,而不是只给一个。工业界可以看一下 AgentScope 那套的“如果召回 5 个但下游只消费 3 个”,代价在召回时并行算,用多少留给运行时,这一点对提高召回质量有用。

召回工具与可观测性冲突?

固定管线里哪个工具出错、错在参数还是选的、很直白;改成工具动态注入后,是服务端那一次 toolsearch 的调用才能解释“这个工具为什么出现在上下文窗口里”。日志链路需要额外记录:这一次请求命中的命中列表、每个工具命中和未被命中的分数、检索用的是哪个版本的文本和描述。否则线上用户问一句“为什么模型报了这么一个查不到的信息”,回溯时只看到一段 prompt,看不到它是怎么来的。

哪些场景不适合先做工具召回

Google Cloud 文档对向量搜索给过一个召回度算例:返回 20 个候选中 19 个真的属于答案,唤回度是 95%。道理在工具场景一样成立:按当前语义召回的工具并不保证是最优选择,它是一种概率性剔除。只要对某个工具类别的需求一直过于分散,“漏召回”就会形成固定模式的偶发失败。

当工具有内聚体系、语义边界清晰、调用频次高且工具少时,全量暴露其实是最简单也最稳的做法。真正值得先测工具召回的场景通常是:工具数达到几十上百、单次会话内只需其中一小部分、描述本身能区分意图,并且这条链路已经有调用级日志可供对比验证。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-engineering/698.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图