-
流式输出接了安全审核,先想清楚谁在等谁
流式输出加安全审核,真正的难点不是选哪个护栏模型,而是缓冲窗口、首字延迟和跨块违规之间怎么谈判。从 NeMo Guardrails 的 stream_first 到 Higress 网关侧审查,算清楚... -
推理服务请求级重放:幂等键到底该落在哪一层
推理服务的幂等键大多放在 HTTP 入口,只能防住同一次 POST 打两次。真正多烧钱的是同一 Agent 意图走了不同推理路径。这篇把幂等键该落在哪一层拆开,并逐条核对状态 TTL、采样重试派生键、... -
批内前缀共享度分桶:同一批次里谁跟谁绑在一起
批内前缀共享能不能真正吃到复用收益,取决于调度器把哪些请求绑进同一个批次。从 vLLM 的 rolling block hash 时机说起,讨论前缀共享度分桶怎么切、桶太细的失败长什么样,以及高负载下... -
TTFT 方差来源:排队、预填充和缓存命中
TTFT 的 P99 不是单一原因造成的。把排队、预填充、缓存命中三段延迟分开统计方差份额,才知道该扩容量、该限流还是该冻结前缀结构。 -
推理服务压测:流量回放的保真度账本
推理服务压测与 Web 接口压测不同,输出 token 数是生成出来的,没法从请求里读到。录制流量回放时会因为输入长度分布、多轮会话聚合、到达过程被固定 TPS 平滑三处失真,测出偏乐观的延迟和吞吐。... -
批内长度分桶:把长请求单独排队之后
批处理一直跑得快,但长度差异会让填充和收尾彼此拖。这篇拆解长度分桶的三层做法:Dynamic SplitFuse 的批内切分、MiMo 三级输入端分桶以及按桶路由的实例调度,并核算切点、输出预估与桶间... -
请求合并与去重:省算力与抖延迟之间的账
从批量推理的吞吐收益曲线写到幂等键去重,讨论合批与去重在延迟、显存和重试幂等上的取舍,并给出只有部分前提下的工程判断门槛。 -
推理服务P99拆账:TTFT与ITL分开看才有的救
LLM 的 P99 不是监控伪影,是输出长度重尾分布加批处理放大的结构性问题。端到端 P99 至少要拆成 TTFT 和 ITL 两段,前者看上下文异质性与 KV 缓存,后者看预填充对解码的打扰。分块预... -
对话模板拼接漏洞:推理服务的隐形入口
对话模板拼接漏洞不只是消息派发上的一个瑕疵,它发生在历史、重试、工具结果和预填充被各种工程细节层层拼到一个上下文的时候。这篇文章从组装责任、缓存复用与角色边界三个取舍展开,说明为什么一个拼接输入最终会... -
推理服务扩缩容:GPU 利用率为什么不能当主指标
HPA 照抄 CPU/GPU 利用率阈值,在推理服务上基本会失灵。本文拆开说明为什么排队深度才是可靠信号,以及 vLLM、SGLang、Dynamo 各自动哪个指标、adapter 怎么接、阈值和预热... -
推理服务优雅降级:L1 到 L3 的分级门禁怎么划
推理服务的降级不是一道开关。从显存与队列指标出发,讨论 L0- L3 分级门禁、缓存兜底的真实命中率,以及模型动态切换吃掉的那部分输出质量。 -
多租户下 KV Cache 显存配额如何回收
多租户推理服务里回收 KV Cache 配额,真正难的是别把还活着的 decode 挖空,分清四种回收手段的代价,再把配额账本从请求计数迁到分页表上。 -
推理服务队列里的优先级反转:调度器先动手
当 KV Cache 和 batch 槽位取代了锁成为共享资源,经典优先级反转就在推理服务队列里换了副面孔:高优请求没被决,权作等不来能将它拼进去的 KV 空间,中优先级短请求反而抢走了 host 本... -
连续批处理上线后,吞吐涨了但延迟更抖
连续批处理提高了 GPU 利用率,代价是尾延迟更难预测。长 prefill 抢占 decode、每批 token 预算、调度器在填满时的稀释效应。写清 Orca、vLLM、Sarathi-Serve ... -
推理服务多租户配额:抢占落地时的取舍
从核算口径到抢占的停止条件,拆解多租户推理服务里配额该怎么落,哪些抢占行为可控、哪些会让客户账单先出问题。 -
推理服务 SLA 分级:队列隔离要落在调度器里
为推理服务做 SLA 分级,光有 QPS 限流和看板不够。文章讨论队列隔离该在调度的哪一层做、座位和配额按什么度量、抢占该从哪一步开始试,以及日常需要留下哪些按等级拆开的数据,才能事后把一次违约说清楚... -
推理服务批内超时淘汰:一次省下 25% 吞吐的事
推理服务过载时,排队最久的请求早已被客户端放弃,服务端却还在拿 GPU 算。主动在队列里淘汰超时请求,单这层就能把过载期有效吞吐拉高约四分之一,但淘汰线怎么定、分桶怎么切、恢复怎么收,才是真正花功夫的... -
推理服务排队延迟的分层观测:从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层,用 vLLM 暴露的排队与 KV 缓存指标做层级归因,讨论分层之后仍然看不见的部分与取舍。 -
动态拼批不是开个开关:线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值,而不只是吞吐。
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布