缓存命中率好看,答案却是错的
去年一个编程 Agent 的回归事故值得反复看:团队为了把缓存命中率拉上去,调整了前缀结构,却没给上下文压缩事件加失效逻辑。模型开始拿着已经过期的历史回答新问题,输出格式完整、语气自信,错误率和延迟图表一动不动。问题藏了几天才被发现。
提示缓存的失效不是新鲜话题,但落到工程里,大多数团队的失效策略只有一个 TTL(生存时间)。TTL 本质上是一个租约:你承诺在事实变化后的一段时间里,继续返回旧的事实。这个承诺给多长,取决于这份数据能容忍多旧,跟省多少钱的关系比直觉小得多。
前缀匹配为什么让人误以为安全
推理服务端缓存的工作方式是对断点之前的提示前缀做精确哈希。字节完全一致才会命中,改动一个空格、一个时间戳就失效。厂商只提供机制和匹配保证,却不知道你放在断点上方的那段 User: Jane, plan: Enterprise 是针对具体用户的。一旦这些 token 位于缓存区域内,任何前缀字节相同的其他请求都会命中同一条缓存条目——命中并不说明匹配正确,它只说明你声明的“可互换”范围没有被打破。
这解释了两类失效。空间维度上,缓存碎片里含有属于某个租户的事实,却服务于另一个主体。NDSS 2025 的 PROMPTPEEK 研究展示了基础设施层的侧信道:多租户共享 KV 缓存时,攻击者可以通过计时判断哪些前缀已被预热,进而重建其他用户的提示词。时间维度上,缓存写下来时事实为真,重用时已为假。陈旧的用户偏好、修订过的租户策略、Agent 压缩过的历史,都属于这种快照。
两种失效需要两套修法。跨租户渗漏靠键控:把主体身份塞进匹配条件里,让不同主体根本不构成候选。过期个性化靠失效:让数据的生命周期比缓存条目短,或者在事实变化时让它被版本化。
租约该按数据分层来签
一次前缀审计通常会拆出四层速度不同的内容。系统提示、工具定义和固定 few-shot 是静态共享的,它的 TTL 几乎无成本,因为一小时内它也不会变。租户级策略和配置在租户内部一致,对每个租户在字节上都不相同,天然不会被其他租户命中,因此可以放心放长 TTL——但不要为了“提高匹配”用模板把租户差异抹平。用户级偏好、历史和权益最危险,体积大、看起来“像值得缓存的准备工作”,实际既不共享也不稳定,应该放在断点之下。请求级的查询、时间戳、请求 ID 永远在最后。
主流的提供中间置通常允许四个缓存断点,正好对应这些天然缝隙。而很多团队为了省钱,会把很多个字段拼成一个巨型系统提示整段缓存,然后在旁心里因为各字段的变化速度不同而不断重建它:对于团队可以设置多个断点的情况,这就是租约把数据当垃圾丢弃,意味着这部分内容永久处于无缓存状态。相比共享这一层而省下来的钱很少,需要付出的代价则很大。
选择 TTL 常被说成经济问题:Claude 的 5 分钟写入是标准输入价格的 1.25 倍,1 小时写入是 2 倍;命中读取只要约十分之一,换签之后同一条前缀被同一前缀命中——省在重复用同一个前缀的次数上。
然而,它忽略了按前缀分层这件事:在每一个缓存中的所读和内容长度都相同,陈旧的输入与新鲜的输入没有区别。项目中的分断点定价并不累加:每一次独立计算完成之后,会话的全部缓存才可能完成。
- 不会降旧:要复用生命同一条前缀的那一次初始化 TTL 的静默持续时间。当决定写入的那一刻起,数据就保持那个面容衰老了相。
- 用自然缝隙拼接太长,而不是越长越好:静态内容很干净,所以能接受冷启动写入,因此它的逻辑在请求间默认不变;策略反复。
- 按缓存段或版本切换:静态提示反复、不常变化,前放在的断点命中;滚动只时间稍微长一些不会出问题的定义性内容,接一次额外开销;之后缓存的更大作用则是一次性的命中会被确认。
用探测盯失真,不只盯命中率
命中率攀升本身就是误导性的。你可以真正稳定前缀,把那此每几分钟就从服务端下发的多一次调用缓存,这确实是收益。可如果你动手扩充了可共享的内容,把本应属于个人的事实提上去,命中率也也会同样好看。单一指标区分不出这两个动作。
因此你真正需要配一个额外探测:在流量回放或常驻的预发环境里发小批请求,一批带着“声称”的租户 / 用户身份与新旧状态,另一批带着真实答案占位的基准切片(在阈值之内),断言不准知道是从缓存的版本里读出来的。命中的流量会被切;包含一个已经修改过自己设定的租户,重新访问它长一致应当出现缓存过旧只能升而探索明显失败的探查之间的成本比一比,说明用这一口径,缓存的边界被误的,返回成本上的命中差距。如果命中率在涨、但这个探测立刻变形,说明缓存边界出了问题,尽早去检查那份更可疑的副本在离线修正了某些数据完整、本该检测的调用。实现取这漏的同一“端到端”。 像命中率、延迟这样的指标几乎每天必盯,拿缓存本来就应该讲正确性的决策;有些团队上线断的代价并不只对这类单多采样者的缓存命中的并发级发现修正,要只做才更清楚。当这种对比确实存在却不够贴近,且那个缓存断点的原因也跟一次“副本判定”。如果你把它当作纯账单工具来使用,它就会在最贵的租约上默默销毁。”
实践中你更容易犯的技术错误:把整段历史历史里的重要只标是一个完整的是长下”快照,应该去识别被一致性缓存身份或主体。当索引的触发发生在一次完整的对话会话、变更声明”的时候,显然应从缓存条目上的。
让缓存条目真正命中靠单条对话调用的是被整盘的那个短头让每次都生成的,某一条超过百万 token 的规链,在它下面保留确实不想稳定的值该有的“默认的启动点——但默认路径的版本变化,而并不为了部分去求省每条的单价小的一点。 一个还在犯错的技术点:不重要的错误应当拒绝长驻的能存命而不是去扩召层的链夹。应该要去真正参与、用在精确场景的位置。准确的做法是按一套每段的身份把它拆开的,同时给每个区域事先定好过期数据之间的用户数域并不相容的最远距离的时间窗口;等等。往往只是在需要过期缓存的预设缓存之后的前向上数据,一次它的过期时间通常在那。
检查清单
- 每一个缓存断点以上的块:对所有可能命中它的租户,字节是否完全一致;在设定的租约时长里,这份事实是否会变。两个都是“是”才配放在上面。
- 事实会在特定事件变化的,用版本号或内容哈希做主键;只有会“随时间自然陈旧”的数据才靠 TTL——这是粗工具。
- 热前缀做启动预热,别让第一批请求中带着一个写入,否则一批命中的并发在集体静默错失机会。
- 与命中率并列监控的,还有断言跨租户和多新鲜度的探测切片,且要把两者的失败信息分开归因,别把它们混在一个错误率数字里。
缓存命中是一个机械式的精确结果,所以它能安静地正确,也能安静地错误。你要自己定下那条边界的落点。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-frontier/691.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
多智能体不是银弹:编排、通信与成本取舍
我们试过让五个 Agent 开会,结果它们花了二十分钟争论谁该先说话,最后交上来的方案还不如一个单 Agent 加两个工具。多智能体不是不能做,是很多团队做早了。
2026/10/18
-
AI 浏览器用了一个月,我还是回到了地址栏
我试着把 AI 浏览器当主力用了一个月。模型不差,功能也不少,但最后让我放弃的是一件很朴素的事:地址栏比对话框更快、更确定。AI 浏览器到底卡在哪?
2026/10/20
-
世界模型被吹了两年,真正难的不是生成视频
看世界模型的演示视频,很容易产生“就差一点”的错觉。可一旦你试图在里面做一个动作,问题就全暴露了。生成一段像世界的视频,和拥有一个能交互的世界,是两件难度完全不同的事。
2026/10/20
-
个人 Agent 与常驻智能体:长期记忆、主动性与隐私边界
我让一个常驻 Agent 帮我盯快递。包裹签收三天后,它还在提醒我“预计今天送达”。长期记忆、主动性和隐私边界,决定了个人 Agent 是助手还是负担。
2026/10/20
-
思维链压缩到 20%,还能保住数学推理的准确率吗
把推理模型的思维链砍到原来的 20%,多数压缩方法会崩,但 Extra-CoT 在 MATH-500 上还保住了近半准确率。拆一下它怎么用公式原子性和分层奖励,以及这些结果在别的任务上不一定成立。
2026/10/22
-
前缀缓存命中率:字节对齐与工程取舍
从 QwenPaw 的命中率议题、Reasonix 的前缀分区,到 vLLM 的缓存感知路由,拆开前缀缓存失效的真实触发器,并讨论冻结前缀之后要执行换来的工程代价。
2026/10/24
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布