皮哈皮阿 -
批内前缀共享度分桶：同一批次里谁跟谁绑在一起
批内前缀共享能不能真正吃到复用收益，取决于调度器把哪些请求绑进同一个批次。从 vLLM 的 rolling block hash 时机说起，讨论前缀共享度分桶怎么切、桶太细的失败长什么样，以及高负载下... -
推理服务压测：流量回放的保真度账本
推理服务压测与 Web 接口压测不同，输出 token 数是生成出来的，没法从请求里读到。录制流量回放时会因为输入长度分布、多轮会话聚合、到达过程被固定 TPS 平滑三处失真，测出偏乐观的延迟和吞吐。... -
推理服务扩缩容：GPU 利用率为什么不能当主指标
HPA 照抄 CPU/GPU 利用率阈值，在推理服务上基本会失灵。本文拆开说明为什么排队深度才是可靠信号，以及 vLLM、SGLang、Dynamo 各自动哪个指标、adapter 怎么接、阈值和预热... -
连续批处理上线后，吞吐涨了但延迟更抖
连续批处理提高了 GPU 利用率，代价是尾延迟更难预测。长 prefill 抢占 decode、每批 token 预算、调度器在填满时的稀释效应。写清 Orca、vLLM、Sarathi-Serve ... -
投机解码接受率好看，加速比为什么对不上
投机解码的接受率乘步长推算出的加速比，经常比线上实测高出三成以上。本文拆开性能模型里的三个偏差来源：ρ 随部署形态漂移、回退与验证的隐性成本、采样参数导致 α 失真，并给出落地前的观测方案与步长扫描方... -
GPU显存碎片率：那个不爆显存也会挂的指标
显存没用满却 OOM，多半不是容量问题。从单卡分配器的碎片率计算和 memory snapshot 定位，到集群调度层的 bin-packing，记录其中的实践与取舍边界。 -
模型加载慢在哪：推理冷启动预热的工程账
拆解推理服务冷启动的时间线：权重加载、存储吞吐、编译缓存与预铺实例各自的边界和代价，并标出哪些公开数据需要警惕口径。 -
推理服务排队延迟的分层观测：从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层，用 vLLM 暴露的排队与 KV 缓存指标做层级归因，讨论分层之后仍然看不见的部分与取舍。 -
前缀缓存命中率：字节对齐与工程取舍
从 QwenPaw 的命中率议题、Reasonix 的前缀分区，到 vLLM 的缓存感知路由，拆开前缀缓存失效的真实触发器，并讨论冻结前缀之后要执行换来的工程代价。
Loading
京公网安备11011402053654 
@muffin：链接已更新，分类图像功能...
AI网址导航模版图标库更换指南
作者大大，图标库邀请链接失效了，麻烦更新...
AI网址导航模版图标库更换指南
太好看了，快点更新！
友情链接
@戴墨镜的刘备：哈喽，路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了，快点更新！太棒了！👍真的很赞！
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了，让我很容易理解你的观...
Emlog插件RSS订阅器发布