-
批内请求抢占式取消:显存回收的时机与代价
从连续批处理和 PagedAttention 的 block 管理出发,拆解客户端取消请求在调度器里是否真正释放了 KV cache block,以及引用计数、前缀共享和抢占优先级带来的几条实现限制。 -
批内前缀共享度分桶:同一批次里谁跟谁绑在一起
批内前缀共享能不能真正吃到复用收益,取决于调度器把哪些请求绑进同一个批次。从 vLLM 的 rolling block hash 时机说起,讨论前缀共享度分桶怎么切、桶太细的失败长什么样,以及高负载下... -
批内长度分桶:把长请求单独排队之后
批处理一直跑得快,但长度差异会让填充和收尾彼此拖。这篇拆解长度分桶的三层做法:Dynamic SplitFuse 的批内切分、MiMo 三级输入端分桶以及按桶路由的实例调度,并核算切点、输出预估与桶间... -
推测解码的树形验证:剪枝做错,加速比全吐回去
树形验证把推测解码从一条链变成了一棵树,SpecInfer、EAGLE-2 的加速比背后是树注意力、剪枝和 KV Cache 回退的工程账。剪在草拟阶段还是验证阶段,决定了收益是否真实。 -
多租户下 KV Cache 显存配额如何回收
多租户推理服务里回收 KV Cache 配额,真正难的是别把还活着的 decode 挖空,分清四种回收手段的代价,再把配额账本从请求计数迁到分页表上。 -
推理服务队列里的优先级反转:调度器先动手
当 KV Cache 和 batch 槽位取代了锁成为共享资源,经典优先级反转就在推理服务队列里换了副面孔:高优请求没被决,权作等不来能将它拼进去的 KV 空间,中优先级短请求反而抢走了 host 本... -
KV 驱逐算法很漂亮,为什么线上没人敢开
KV 驱逐的论文从 StreamingLLM 排到 CAKE,数字一直在涨,线上却基本只敢开滑动窗口。把技术演进、注意力稀疏性的假设、以及和 PagedAttention、动态批处理的冲突拆开看,再回...
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布