成本控制 - 皮哈皮阿

Loading

首页包含“ 成本控制 ”话题的文章

Agent 步数预算与提前终止的工程账

2026/11/03 分类: Agent 工程作者: 戴墨镜的刘备浏览: 38

按线性估算的步数预算会低估多轮 Agent 成本一到两个数量级。拆开硬上限、软预算和提前终止信号，说清楚哪一层对应哪类失败模式。
推理模型输出被截断后怎么接回去

2026/10/25 分类: AI 开发实战作者: 戴墨镜的刘备浏览: 98

推理模型遇到输出截断，重试整条请求代价高;续写也有隐藏门槛。从识别边界、提示回灌到 prefill 与成本判断，聊聊工程上怎么做才不算亏。
前缀缓存命中率：字节对齐与工程取舍

2026/10/24 分类: AI 前沿作者: 戴墨镜的刘备浏览: 101

从 QwenPaw 的命中率议题、Reasonix 的前缀分区，到 vLLM 的缓存感知路由，拆开前缀缓存失效的真实触发器，并讨论冻结前缀之后要执行换来的工程代价。

本站模版是基于emlog的Beginning-Pro，这是一款自适应的简洁、灵活、响应式的博客模板，非常适合个人自媒体博客、资讯网站、资源分享等多种场景。
冀ICP备2023024430号-1

11011402053654

京公网安备11011402053654
sitemap

预览图