loading

Loading

探索与发现

首页 AI 前沿

推理路由的亲和性:缓存粘连做得不好,比不做还糟

分类:AI 前沿
字数: (2368)
阅读: (0)
0
摘要:会话级粘性、块级感知和路由端前缀树是三种不同的缓存亲和做法,前提条件和失败模式各不相同。热点倾斜、冷启动、多级缓存视图不一致和显存占用是上线前必须算清的四笔账。

把请求路由到“已经缓存了这段前缀”的实例上,这件事听上去是纯赚。但真正落地之后会发现,亲和性是一笔双向账:粘对了省一次 prefill,粘错了就把负载均衡的摊子一起砸了。这篇想梳理的是几种做法之间的差别,以及各自会踩的坑。

三种粘连的粒度,本质是三种信息来源

SageMaker 的做法叫 Sticky Session,靠一个 Session ID 把同一会话的所有请求定向到同一台实例上。它的隐含假设是:同一会话的后续请求带有大量重叠前缀,而且这台实例上还留着对应的 KV Cache。特点是实现简单,网关层看一个标识就够,不需要推理引擎配合。代价是粒度粗——只有会话边界,没有前缀边界。两个不同会话共享同一段 system prompt,粘性会话完全不会帮你把它们靠到一起。

阿里云 ACK 的那套前缀缓存感知路由给出的是细得多的做法。vLLM v0.10.0 起可以在启动参数里配 --kv-events-config,把缓存的 KV Cache 块信息以事件消息发布到网关侧,网关在请求到来时按具体块命中情况选命中率最高的实例。文档里把这个叫精准模式,前提条件挺硬:vLLM 版本要对,--prefix-caching-hash-algo 必须指定 sha256_cbor_64bit,--block-size 要和路由策略里的 blockSize 一致,PYTHONHASHSEED 要和 hashSeed 一致——这四个参数任何一处对不上,块哈希就对不上,路由就会误判成没命中。这套方案的收益上限高,但把推理引擎和网关绑成了一对必须同步升级、同步配置的组件。

MiMo 在 router 侧做的是另一种:把已经分发过的请求维护在 Radix 前缀树里,选 prefill 实例时优先挑已经缓存了当前请求前缀的节点,同时兼顾负载均衡避免热点。他们给出的数字是 L2 缓存命中率提升约 25%,单机输入吞吐提升约 30%。这种方式和引擎解耦程度介于前两者之间,前棵树在路由侧独立维护,但要保证树里的信息和实例上的实际缓存状态能收敛。

亲和性和负载均衡天生在打架

最直接的风险是热点倾斜。一段被高频访问的共同前缀会形成一个很热的节点,路由按缓存亲和去选,就把大部分流量堆到同一台机器上。MiMo 的做法里专门写了“兼顾负载均衡以避免热点倾斜”,这句话不是客套——任何以缓存命中为唯一目标的选点函数,在真实流量下都会长成一个偏斜的分布。

常见的处理是加权:命中的 token 数折算成收益,再减去队列等待的估计损耗,让缓存收益可以和负载压力直接比大小。资料里那篇推理服务架构文档把 KV Cache 亲和列为长文本场景“极高”适用,同时保留了 Queue Depth Awareness 这类纯负载指标。这套做法的问题在于权重怎么定——命中 2000 个 token 相对于多等 50ms,哪个更贵,取决于你的模型、硬件和 SLO 等级。

更麻烦的是,亲和性会让弹性伸缩变得难看。扩出来一台新实例的缓存是冷的,在亲和策略下它会一直拿不到流量,反过来又永远热不起来。这个是亲和路由的结构性问题,不是参数没调好。

缓存状态和路由视图对不齐的时候

MiMo 那篇里记录的不一致场景挺有代表性:

  • Device 端的状态完备,host 端却空缺。L3 到 L2 预取因为带宽和延迟的权衡只拉了序列尾段,或者 L1 前缀树重组后没同步到下游,这时如果路由按 host 侧的信息判断命中,就会给出一个假命中,实际还得去 L3 拉 KVCache 再等一遍同步。他们的处理是在前缀树节点合并、prefill 完成这几个时间点主动比对两套占用差集,把 device 的 SWA KV 异步写回 host。
  • Load 均衡造成的第二个问题是高频序列的 L3 前缀被过期掉。长序列头部因为持续被访问,常驻 L1/L2,加上缓存亲和又把相同前缀的请求都路由到同一节点,L3 那份拷贝长期没人真访问,就被淘汰策略清掉了,跨机复用直接归零。他们的做法是访问到 L1/L2 的 Cache 时周期性 query 一下 L3,把它保住。

这两类问题在纯内存前缀缓存上会轻一些,一旦上了多级缓存,路由视图和存储视图就是对不齐的。请求被路由过去,再从远端拉一次 KVCache 才开算,这个开销可能比就地重新 prefill 还高。

粘连持有的是显存,不是一句话

这里有笔容易算漏的账。路由希望相邻请求能重复命中,就意味着实例上得留着那些缓存;留住一份冷掉的前缀,占的是同一份显存。多租户场景下,亲和路由和“谁有权占住这段 KV Cache”是同一件事的两种说法。资料里那份架构文档也提到了多租户下 KV Cache 配额回收。

实操里通常得给亲和加上时间约束:带着 session 标识来的是粘性请求,但粘性到期、或者实例显存太紧,还是得释放。问题是这会让命中率数据变得不确定——压测里漂亮的高命中,可能只是因为压测流量够均匀、够收敛,到了生产上用户来了又走,分布并不能保证这一点。

一些可以落地的判断

如果请求主要共享一段很长的 system prompt、活跃会话数不大,会话级 Sticky 的收益是明显的,实现便宜,也不需要改动引擎;如果流量形态是很多短会话共享同一份提示词模板,会话级粘性基本帮不上忙,要上细粒度的块级感知,对应的是在网关上维护前缀索引、补上 vLLM 的事件链路、确保那几处哈希参数对齐。

无论选哪种方式,有两个上线前会答的问题绕着走不过去:一是缓存命中率的账该怎么量,得区分“真命中——KV 直接就位”和“假命中——还得去下一级取”两种;二是扩出来的实例怎么从冷缓存启动起来,否则你写的这个亲和策略会在负载高的时段里给出最糟的行为。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-frontier/695.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图