皮哈皮阿 
-
Agent 工具描述 token 膨胀：几百个 schema 先吃掉上下文
工具一多，光 JSON schema 就能吃掉半个上下文。这篇讲工具定义膨胀与结果污染的两笔账、按需检索与网关语义路由两条路的代价，以及为什么该先摸清固定成本再动手。 -
Agent 记忆衰减：遗忘曲线落到代码里的几个坑
给记忆加条遗忘曲线谁都会，落到线上就是另一回事：分数在哪里算、什么时候算，粗筛和精排为什么不该混在一起乘，沉默死亡和旧偏好并行检索各自怎么破。记几组现成的失败数字，再做衰减上线前的开关对比。 -
推理服务扩缩容：GPU 利用率为什么不能当主指标
HPA 照抄 CPU/GPU 利用率阈值，在推理服务上基本会失灵。本文拆开说明为什么排队深度才是可靠信号，以及 vLLM、SGLang、Dynamo 各自动哪个指标、adapter 怎么接、阈值和预热... -
推理服务优雅降级：L1 到 L3 的分级门禁怎么划
推理服务的降级不是一道开关。从显存与队列指标出发，讨论 L0- L3 分级门禁、缓存兜底的真实命中率，以及模型动态切换吃掉的那部分输出质量。 -
多租户下 KV Cache 显存配额如何回收
多租户推理服务里回收 KV Cache 配额，真正难的是别把还活着的 decode 挖空，分清四种回收手段的代价，再把配额账本从请求计数迁到分页表上。 -
Agent 多轮重试的预算怎么分才不崩
多轮重试的时候，token 预算最容易先被前面步骤和规划回环磨光。整理一套分阶段预算、单独立项重试配额和高低水位降级层级的工程做法，以及会踩的坑。 -
推理模型拒绝采样微调：K 值、奖励与代价
推理模型的拒绝采样微调看着简单：采 K 条、挑最高分、回炉 SFT。但 K 值不是越大越好，奖励模型的度量会被反复挑漏洞，COT 路径还会把过程可靠性问题带进数据。这篇记录几个实际会撞上的取舍。 -
推理服务队列里的优先级反转：调度器先动手
当 KV Cache 和 batch 槽位取代了锁成为共享资源，经典优先级反转就在推理服务队列里换了副面孔：高优请求没被决，权作等不来能将它拼进去的 KV 空间，中优先级短请求反而抢走了 host 本... -
连续批处理上线后，吞吐涨了但延迟更抖
连续批处理提高了 GPU 利用率，代价是尾延迟更难预测。长 prefill 抢占 decode、每批 token 预算、调度器在填满时的稀释效应。写清 Orca、vLLM、Sarathi-Serve ... -
Agent 步数预算与提前终止的工程账
按线性估算的步数预算会低估多轮 Agent 成本一到两个数量级。拆开硬上限、软预算和提前终止信号，说清楚哪一层对应哪类失败模式。 -
推理服务多租户配额：抢占落地时的取舍
从核算口径到抢占的停止条件，拆解多租户推理服务里配额该怎么落，哪些抢占行为可控、哪些会让客户账单先出问题。 -
请求级 Token 预算熔断：超限后拒绝哪一段
账户级预算超限就拒，拦不住一次死循环请求把白天额度提前烧光。把预算做到请求粒度，就需要在入口预检、解码步进、工具回合三个检查点做扣减，并想清楚熔断后返回什么、和模型分层路由怎么对接。 -
推理服务 SLA 分级：队列隔离要落在调度器里
为推理服务做 SLA 分级，光有 QPS 限流和看板不够。文章讨论队列隔离该在调度的哪一层做、座位和配额按什么度量、抢占该从哪一步开始试，以及日常需要留下哪些按等级拆开的数据，才能事后把一次违约说清楚... -
Agent 工具返回值的分页游标怎么设计才不坑
Agent 调分页取数据的坑，多半不在接口本身，而在游标语义、字段互斥和上下文压缩三处。 -
投机解码接受率好看，加速比为什么对不上
投机解码的接受率乘步长推算出的加速比，经常比线上实测高出三成以上。本文拆开性能模型里的三个偏差来源：ρ 随部署形态漂移、回退与验证的隐性成本、采样参数导致 α 失真，并给出落地前的观测方案与步长扫描方... -
Agent 工具调用权限分级：写在代码里才作数
提示词里写“请先确认”不叫权限控制。从工具级、数据级到参数级三层拦截，forbid 优先加默认拒绝，人工确认要让人看得懂，再把步数和预算固化到代码里，这些合起来才是 Agent 权限分级的可执行版本。 -
GPU显存碎片率：那个不爆显存也会挂的指标
显存没用满却 OOM，多半不是容量问题。从单卡分配器的碎片率计算和 memory snapshot 定位，到集群调度层的 bin-packing，记录其中的实践与取舍边界。 -
工具返回结果被截断之后，Agent 为什么还在找
工具返回超长结果时，问题不在截断本身，而在 Agent 不知道眼前是残片。结合 QwenPaw 反复调用 recall_history 的案例，拆解四类截断点、三条压缩路径的代价，以及截断提示该给出哪... -
推理服务批内超时淘汰：一次省下 25% 吞吐的事
推理服务过载时，排队最久的请求早已被客户端放弃，服务端却还在拿 GPU 算。主动在队列里淘汰超时请求，单这层就能把过载期有效吞吐拉高约四分之一，但淘汰线怎么定、分桶怎么切、恢复怎么收，才是真正花功夫的... -
端侧小模型量化：QAT 该在什么时候开
端侧量化先用 PTQ 还是直接 QAT？这篇拆开讲判断标准、校准集选择、伪量化节点的代价，以及 INT8 在 CPU 上反量化导致提速归零的坑。 -
流式工具调用的增量参数校验怎么做
流式工具调用中，参数增量大多不是合法 JSON，逐片完整解析必然失败。本文讲清楚如何用缓冲累积、词法完成度判断和有界解析门禁，把参数校验从“完整文档”改成“增长中的流”，并指出转义断裂、提前触发幂等破... -
工具选择歧义消解：先把描述写清楚再谈路由
工具选择歧义多数不是模型不够聪明，而是描述重叠、边界不清、检索召回不配套。先把消歧字段补上，再谈分层路由和重排序，顺序很重要。 -
推理模型的温度调度：核采样的几个工程取舍
温度改的是 softmax 之前的 logits，top-p 改的是候选集合，二者顺序和叠加方式在推理模型上容易踩坑。按阶段调度温度比全局设值更可控，但需要付出请求拆分和缓存的代价。 -
跨模态注意力对齐：软分配之外还有哪些选择
从交叉注意力的软分配问题出发，拆解多头塌缩、语言侧先验过强与长序列成本，再对比硬对齐、双向注意力和生成式对齐几条路线，以及 VITA、BLIP-2 在工程成本上的实际边界。
Loading
京公网安备11011402053654 
@muffin：链接已更新，分类图像功能...
AI网址导航模版图标库更换指南
作者大大，图标库邀请链接失效了，麻烦更新...
AI网址导航模版图标库更换指南
太好看了，快点更新！
友情链接
@戴墨镜的刘备：哈喽，路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了，快点更新！太棒了！👍真的很赞！
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了，让我很容易理解你的观...
Emlog插件RSS订阅器发布