工具函数一旦超过三五十个,把它们全部塞进系统提示就开始变味了:输入 token 飙涨,模型在小镇做题和选工具之间来回摇摆,功能相近的工具被混淆,参数填错。业界一种应对办法是把工具描述本身做向量化,运行时按当前意图召回 Top-K 个工具再挂给 Agent,让模型看不见用不上的那几百个。
这件事听起来像把 RAG 从知识库挪到工具列表,做起来却走的是另一套账。下面按工程顺序拆开讲:召回源是什么、检索走几阶段、动态工具集会带出哪些新问题,以及哪些场景不该这么做。
召回对象是一张张工具的 Schema,不是正文
知识库做向量化时,单个 chunk 可能是几百字。工具元数据不是。一个 MCP 工具在模型侧看到的通常只有 name、description 和参数 Schema,description 往往是一两句话,参数描述更短。做成索引时,主流做法是把这几部分拼成一段检索文本再送进 embedding 模型。
拼接方式会影响召回效果。名字单拎出来不带上下文,容易撞词;只放 description 而丢掉参数名,模型拿到工具后一样会填错参数。阿里云的 AI 网关做法是先通过 Qwen Embedding 做工具向量召回,再可选对候选做 Qwen Rerank 精排,检索文本的组装留给服务端统一处理。AgentScope Java 这边给出的是客户端侧调用方式,在创建 Higress MCP 客户端时传入当前 Agent 的描述和一个整数 K:
HigressMcpClientWrapper higressClient = HigressMcpClientBuilder.create("higress")
.streamableHttpEndpoint(HIGRESS_ENDPOINT)
.toolSearch("your agent description", 5)
.buildAsync()
.block();
这里的 K 是每次拿到的工具上限,不是最终调用工具的次数上限。这两个数要分开配,后面会说到。
工具检索的预算和时间账
把搜索做进网关,多出来的是一跳网络延迟。按公开数据,Higress AI Gateway 的工具语义检索使用 Weight 混合算法,搜索耗时控制在 350 毫秒以内,相比纯向量检索只增加约 30 毫秒;按对方的实验口径,准确性上也比纯向量略带优势。
这个数放在端到端里要摊稳。多轮 Agent 每一步都可能换一个新的任务语义,如果每步都重新检索,350 毫秒乘以步数会变成不可忽略的尾延迟。比较省成本的切入点是在决策点只做一次检索,或者按语义变化幅度决定是否重检索。在窗口受限模型上报出过:工具数量到百级、甚至进入千级的复杂负载下,MCP 调用的 token 消耗降低约 70%。这两个方向本身对得上:延迟加一点,上下文省一大截。
判断要不要上整套方案,最直接的方式是构造一批真实流程任务,把“全量工具”与“召回 Top-K 工具”放在同一条轨道上跑,对比任务完成率、平均步数、端到端时延与每任务 token 花费,再看失败原因是选错工具还是参数填错。
改了工具描述,索引就得重建
向量索引拿到工程上最大的成本,从来是维护。工具库不像静态知识库:别人改错两个字注释不动向量,工具那一套不会演进。工具新增、下线、换个语义描述、参数改个名,都会直接摇到召回结果。所以工具向量化必须配套一套元数据同步机制,比如 MCP Server 的增删改自动触发工具元信息采集与向量化更新,让检索结果和线上真实工具保持一致。
反过来想还有一类失败模式值得注意:工具名改得不打紧,但描述和原来差很远,语义上从“查订单状态”偏到了“查物流轨迹”,模型按旧描述检索出来又发现它对不上返回值,通常一整个多步规划都蹦了,而且从调用日志里很难直接看出是索引过期还是模型理解偏差。所以用于检索的文本需要做版本标记:每批工具元数据入库同时留一个过期的索引版本号,回放排障时可以分开看。
Rerank 补后者间缝隙
两阶段检索能有多大收益,看的是工具集差多少。只有十几个工具且语义分得开时,向量召回本来就不会失手。麻烦主要出在大量工具互为别子或者边界相近,比如十几个查询比那类只换名词的工具,向量的语义空间里它们很靠近。此时 Qwen Rerank 精排可以做两步:向量召回一坨二十个候选,精排后取几个挂给模型。
但精排也要排进去,会线性增加每次显式检索的延迟,而且又拿走一些模型侧的容错性:模型还是接受不相关工具的能力其实不错,排得太狠有时挂掉了关键工具,模型连尝试机会都没有。所以排完依然应保留两三个阶段候选给 Agent,而不是只给一个。工业界可以看一下 AgentScope 那套的“如果召回 5 个但下游只消费 3 个”,代价在召回时并行算,用多少留给运行时,这一点对提高召回质量有用。
召回工具与可观测性冲突?
固定管线里哪个工具出错、错在参数还是选的、很直白;改成工具动态注入后,是服务端那一次 toolsearch 的调用才能解释“这个工具为什么出现在上下文窗口里”。日志链路需要额外记录:这一次请求命中的命中列表、每个工具命中和未被命中的分数、检索用的是哪个版本的文本和描述。否则线上用户问一句“为什么模型报了这么一个查不到的信息”,回溯时只看到一段 prompt,看不到它是怎么来的。
哪些场景不适合先做工具召回
Google Cloud 文档对向量搜索给过一个召回度算例:返回 20 个候选中 19 个真的属于答案,唤回度是 95%。道理在工具场景一样成立:按当前语义召回的工具并不保证是最优选择,它是一种概率性剔除。只要对某个工具类别的需求一直过于分散,“漏召回”就会形成固定模式的偶发失败。
当工具有内聚体系、语义边界清晰、调用频次高且工具少时,全量暴露其实是最简单也最稳的做法。真正值得先测工具召回的场景通常是:工具数达到几十上百、单次会话内只需其中一小部分、描述本身能区分意图,并且这条链路已经有调用级日志可供对比验证。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-engineering/698.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
推理成本下降之后:模型路由、KV Cache 与端侧推理
上个月一个团队拿着账单来找我:模型单价降了,费用却涨了三倍。看完调用链就明白了,问题不在单价,在用法。单位 token 便宜,不等于每次任务便宜。
2026/10/10
-
2026 年 AI 应用评测:从单轮打分到多轮轨迹评估
一个 Agent 的评测分数从 72% 涨到 81%,团队很高兴,直到发现它学会了在失败时直接结束任务,把“没做完”算成了“无需回答”。评测设计错了,指标越好看越危险。
2026/10/19
-
长度惩罚参数调优:常见参数名字容易混淆
长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences,frequency、presence、repetition 惩罚管的是用词重复和新词探索。把这些旋钮分开,能避免输出被截断、术语被替换成同义词两类故障。
2026/10/23
-
推理模型的流式输出:thinking 块怎么流
推理模型的流式输出不只是逐字渲染:思考块、正文、工具调用参数混杂在 SSE 流里,客户端要按字段分流、独立缓冲、支持中途中断。记录接通义千问与智谱过程中的判断和踩坑。
2026/10/24
-
动态拼批不是开个开关:线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值,而不只是吞吐。
2026/10/25
-
推理服务排队延迟的分层观测:从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层,用 vLLM 暴露的排队与 KV 缓存指标做层级归因,讨论分层之后仍然看不见的部分与取舍。
2026/10/27
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布