前缀缓存 - 皮哈皮阿

Loading

首页包含“ 前缀缓存 ”话题的文章

批内前缀共享度分桶：同一批次里谁跟谁绑在一起

16小时前分类: AI 前沿作者: 戴墨镜的刘备浏览: 7

批内前缀共享能不能真正吃到复用收益，取决于调度器把哪些请求绑进同一个批次。从 vLLM 的 rolling block hash 时机说起，讨论前缀共享度分桶怎么切、桶太细的失败长什么样，以及高负载下...
前缀缓存命中率：字节对齐与工程取舍

2026/10/24 分类: AI 前沿作者: 戴墨镜的刘备浏览: 101

从 QwenPaw 的命中率议题、Reasonix 的前缀分区，到 vLLM 的缓存感知路由，拆开前缀缓存失效的真实触发器，并讨论冻结前缀之后要执行换来的工程代价。

本站模版是基于emlog的Beginning-Pro，这是一款自适应的简洁、灵活、响应式的博客模板，非常适合个人自媒体博客、资讯网站、资源分享等多种场景。
冀ICP备2023024430号-1

11011402053654

京公网安备11011402053654
sitemap

预览图