-
推理服务优雅降级:L1 到 L3 的分级门禁怎么划
推理服务的降级不是一道开关。从显存与队列指标出发,讨论 L0- L3 分级门禁、缓存兜底的真实命中率,以及模型动态切换吃掉的那部分输出质量。 -
多租户下 KV Cache 显存配额如何回收
多租户推理服务里回收 KV Cache 配额,真正难的是别把还活着的 decode 挖空,分清四种回收手段的代价,再把配额账本从请求计数迁到分页表上。 -
Agent 多轮重试的预算怎么分才不崩
多轮重试的时候,token 预算最容易先被前面步骤和规划回环磨光。整理一套分阶段预算、单独立项重试配额和高低水位降级层级的工程做法,以及会踩的坑。 -
推理模型拒绝采样微调:K 值、奖励与代价
推理模型的拒绝采样微调看着简单:采 K 条、挑最高分、回炉 SFT。但 K 值不是越大越好,奖励模型的度量会被反复挑漏洞,COT 路径还会把过程可靠性问题带进数据。这篇记录几个实际会撞上的取舍。 -
推理服务队列里的优先级反转:调度器先动手
当 KV Cache 和 batch 槽位取代了锁成为共享资源,经典优先级反转就在推理服务队列里换了副面孔:高优请求没被决,权作等不来能将它拼进去的 KV 空间,中优先级短请求反而抢走了 host 本... -
连续批处理上线后,吞吐涨了但延迟更抖
连续批处理提高了 GPU 利用率,代价是尾延迟更难预测。长 prefill 抢占 decode、每批 token 预算、调度器在填满时的稀释效应。写清 Orca、vLLM、Sarathi-Serve ... -
Agent 步数预算与提前终止的工程账
按线性估算的步数预算会低估多轮 Agent 成本一到两个数量级。拆开硬上限、软预算和提前终止信号,说清楚哪一层对应哪类失败模式。 -
推理服务多租户配额:抢占落地时的取舍
从核算口径到抢占的停止条件,拆解多租户推理服务里配额该怎么落,哪些抢占行为可控、哪些会让客户账单先出问题。 -
请求级 Token 预算熔断:超限后拒绝哪一段
账户级预算超限就拒,拦不住一次死循环请求把白天额度提前烧光。把预算做到请求粒度,就需要在入口预检、解码步进、工具回合三个检查点做扣减,并想清楚熔断后返回什么、和模型分层路由怎么对接。 -
推理服务 SLA 分级:队列隔离要落在调度器里
为推理服务做 SLA 分级,光有 QPS 限流和看板不够。文章讨论队列隔离该在调度的哪一层做、座位和配额按什么度量、抢占该从哪一步开始试,以及日常需要留下哪些按等级拆开的数据,才能事后把一次违约说清楚... -
Agent 工具返回值的分页游标怎么设计才不坑
Agent 调分页取数据的坑,多半不在接口本身,而在游标语义、字段互斥和上下文压缩三处。 -
投机解码接受率好看,加速比为什么对不上
投机解码的接受率乘步长推算出的加速比,经常比线上实测高出三成以上。本文拆开性能模型里的三个偏差来源:ρ 随部署形态漂移、回退与验证的隐性成本、采样参数导致 α 失真,并给出落地前的观测方案与步长扫描方... -
Agent 工具调用权限分级:写在代码里才作数
提示词里写“请先确认”不叫权限控制。从工具级、数据级到参数级三层拦截,forbid 优先加默认拒绝,人工确认要让人看得懂,再把步数和预算固化到代码里,这些合起来才是 Agent 权限分级的可执行版本。 -
GPU显存碎片率:那个不爆显存也会挂的指标
显存没用满却 OOM,多半不是容量问题。从单卡分配器的碎片率计算和 memory snapshot 定位,到集群调度层的 bin-packing,记录其中的实践与取舍边界。 -
工具返回结果被截断之后,Agent 为什么还在找
工具返回超长结果时,问题不在截断本身,而在 Agent 不知道眼前是残片。结合 QwenPaw 反复调用 recall_history 的案例,拆解四类截断点、三条压缩路径的代价,以及截断提示该给出哪...
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布