把请求路由到“已经缓存了这段前缀”的实例上,这件事听上去是纯赚。但真正落地之后会发现,亲和性是一笔双向账:粘对了省一次 prefill,粘错了就把负载均衡的摊子一起砸了。这篇想梳理的是几种做法之间的差别,以及各自会踩的坑。
三种粘连的粒度,本质是三种信息来源
SageMaker 的做法叫 Sticky Session,靠一个 Session ID 把同一会话的所有请求定向到同一台实例上。它的隐含假设是:同一会话的后续请求带有大量重叠前缀,而且这台实例上还留着对应的 KV Cache。特点是实现简单,网关层看一个标识就够,不需要推理引擎配合。代价是粒度粗——只有会话边界,没有前缀边界。两个不同会话共享同一段 system prompt,粘性会话完全不会帮你把它们靠到一起。
阿里云 ACK 的那套前缀缓存感知路由给出的是细得多的做法。vLLM v0.10.0 起可以在启动参数里配 --kv-events-config,把缓存的 KV Cache 块信息以事件消息发布到网关侧,网关在请求到来时按具体块命中情况选命中率最高的实例。文档里把这个叫精准模式,前提条件挺硬:vLLM 版本要对,--prefix-caching-hash-algo 必须指定 sha256_cbor_64bit,--block-size 要和路由策略里的 blockSize 一致,PYTHONHASHSEED 要和 hashSeed 一致——这四个参数任何一处对不上,块哈希就对不上,路由就会误判成没命中。这套方案的收益上限高,但把推理引擎和网关绑成了一对必须同步升级、同步配置的组件。
MiMo 在 router 侧做的是另一种:把已经分发过的请求维护在 Radix 前缀树里,选 prefill 实例时优先挑已经缓存了当前请求前缀的节点,同时兼顾负载均衡避免热点。他们给出的数字是 L2 缓存命中率提升约 25%,单机输入吞吐提升约 30%。这种方式和引擎解耦程度介于前两者之间,前棵树在路由侧独立维护,但要保证树里的信息和实例上的实际缓存状态能收敛。
亲和性和负载均衡天生在打架
最直接的风险是热点倾斜。一段被高频访问的共同前缀会形成一个很热的节点,路由按缓存亲和去选,就把大部分流量堆到同一台机器上。MiMo 的做法里专门写了“兼顾负载均衡以避免热点倾斜”,这句话不是客套——任何以缓存命中为唯一目标的选点函数,在真实流量下都会长成一个偏斜的分布。
常见的处理是加权:命中的 token 数折算成收益,再减去队列等待的估计损耗,让缓存收益可以和负载压力直接比大小。资料里那篇推理服务架构文档把 KV Cache 亲和列为长文本场景“极高”适用,同时保留了 Queue Depth Awareness 这类纯负载指标。这套做法的问题在于权重怎么定——命中 2000 个 token 相对于多等 50ms,哪个更贵,取决于你的模型、硬件和 SLO 等级。
更麻烦的是,亲和性会让弹性伸缩变得难看。扩出来一台新实例的缓存是冷的,在亲和策略下它会一直拿不到流量,反过来又永远热不起来。这个是亲和路由的结构性问题,不是参数没调好。
缓存状态和路由视图对不齐的时候
MiMo 那篇里记录的不一致场景挺有代表性:
- Device 端的状态完备,host 端却空缺。L3 到 L2 预取因为带宽和延迟的权衡只拉了序列尾段,或者 L1 前缀树重组后没同步到下游,这时如果路由按 host 侧的信息判断命中,就会给出一个假命中,实际还得去 L3 拉 KVCache 再等一遍同步。他们的处理是在前缀树节点合并、prefill 完成这几个时间点主动比对两套占用差集,把 device 的 SWA KV 异步写回 host。
- Load 均衡造成的第二个问题是高频序列的 L3 前缀被过期掉。长序列头部因为持续被访问,常驻 L1/L2,加上缓存亲和又把相同前缀的请求都路由到同一节点,L3 那份拷贝长期没人真访问,就被淘汰策略清掉了,跨机复用直接归零。他们的做法是访问到 L1/L2 的 Cache 时周期性 query 一下 L3,把它保住。
这两类问题在纯内存前缀缓存上会轻一些,一旦上了多级缓存,路由视图和存储视图就是对不齐的。请求被路由过去,再从远端拉一次 KVCache 才开算,这个开销可能比就地重新 prefill 还高。
粘连持有的是显存,不是一句话
这里有笔容易算漏的账。路由希望相邻请求能重复命中,就意味着实例上得留着那些缓存;留住一份冷掉的前缀,占的是同一份显存。多租户场景下,亲和路由和“谁有权占住这段 KV Cache”是同一件事的两种说法。资料里那份架构文档也提到了多租户下 KV Cache 配额回收。
实操里通常得给亲和加上时间约束:带着 session 标识来的是粘性请求,但粘性到期、或者实例显存太紧,还是得释放。问题是这会让命中率数据变得不确定——压测里漂亮的高命中,可能只是因为压测流量够均匀、够收敛,到了生产上用户来了又走,分布并不能保证这一点。
一些可以落地的判断
如果请求主要共享一段很长的 system prompt、活跃会话数不大,会话级 Sticky 的收益是明显的,实现便宜,也不需要改动引擎;如果流量形态是很多短会话共享同一份提示词模板,会话级粘性基本帮不上忙,要上细粒度的块级感知,对应的是在网关上维护前缀索引、补上 vLLM 的事件链路、确保那几处哈希参数对齐。
无论选哪种方式,有两个上线前会答的问题绕着走不过去:一是缓存命中率的账该怎么量,得区分“真命中——KV 直接就位”和“假命中——还得去下一级取”两种;二是扩出来的实例怎么从冷缓存启动起来,否则你写的这个亲和策略会在负载高的时段里给出最糟的行为。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-frontier/695.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
多智能体不是银弹:编排、通信与成本取舍
我们试过让五个 Agent 开会,结果它们花了二十分钟争论谁该先说话,最后交上来的方案还不如一个单 Agent 加两个工具。多智能体不是不能做,是很多团队做早了。
2026/10/18
-
AI 浏览器用了一个月,我还是回到了地址栏
我试着把 AI 浏览器当主力用了一个月。模型不差,功能也不少,但最后让我放弃的是一件很朴素的事:地址栏比对话框更快、更确定。AI 浏览器到底卡在哪?
2026/10/20
-
世界模型被吹了两年,真正难的不是生成视频
看世界模型的演示视频,很容易产生“就差一点”的错觉。可一旦你试图在里面做一个动作,问题就全暴露了。生成一段像世界的视频,和拥有一个能交互的世界,是两件难度完全不同的事。
2026/10/20
-
个人 Agent 与常驻智能体:长期记忆、主动性与隐私边界
我让一个常驻 Agent 帮我盯快递。包裹签收三天后,它还在提醒我“预计今天送达”。长期记忆、主动性和隐私边界,决定了个人 Agent 是助手还是负担。
2026/10/20
-
前缀缓存命中率:字节对齐与工程取舍
从 QwenPaw 的命中率议题、Reasonix 的前缀分区,到 vLLM 的缓存感知路由,拆开前缀缓存失效的真实触发器,并讨论冻结前缀之后要执行换来的工程代价。
2026/10/24
-
思维链压缩到 20%,还能保住数学推理的准确率吗
把推理模型的思维链砍到原来的 20%,多数压缩方法会崩,但 Extra-CoT 在 MATH-500 上还保住了近半准确率。拆一下它怎么用公式原子性和分层奖励,以及这些结果在别的任务上不一定成立。
2026/10/22
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布