-
TTFT 方差来源:排队、预填充和缓存命中
TTFT 的 P99 不是单一原因造成的。把排队、预填充、缓存命中三段延迟分开统计方差份额,才知道该扩容量、该限流还是该冻结前缀结构。 -
推理服务批内超时淘汰:一次省下 25% 吞吐的事
推理服务过载时,排队最久的请求早已被客户端放弃,服务端却还在拿 GPU 算。主动在队列里淘汰超时请求,单这层就能把过载期有效吞吐拉高约四分之一,但淘汰线怎么定、分桶怎么切、恢复怎么收,才是真正花功夫的... -
推理服务排队延迟的分层观测:从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层,用 vLLM 暴露的排队与 KV 缓存指标做层级归因,讨论分层之后仍然看不见的部分与取舍。
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布