-
推理模型的早停判据:从置信度到采样器
推理模型的过思考是吞吐和延迟的成本账。DEER 做推理时剪断,ThinkPrune 做训练侧压短,也有人确认模型本身就带“该收手”的信号,卡在 Pass@1 采样里没放出来。讲三种做法落到服务里的取舍... -
批内 token 级抢占之后,恢复才是难的那一半
vLLM 的抢占动作很干净,麻烦在恢复。本文拆解 token 级抢占后恢复点定位、重算成本、恢复优先级与时序指标,以及 chunked prefill 让检查粒度必须回到 chunk 的原因。 -
给 Agent 的上线闸门:影子流量里比对工具调用
把影子流量从文本比对搬到 Agent 工具调用上,比较对象、采样成本和副作用都会变。这篇梳理副本如何不重放工具、比对为何要拆成决策/参数/轨迹三层,以及上下文回放和真跑半份推理的成本账。 -
Agent 工具调用链的因果追踪:找到那个不可修复的步骤
从步骤级归一化到证据日志,再到区分“最早出错”和“最先报错”,拆解工厂级的 Agent 工具调用链追踪怎么做、贵在哪、哪些只能人工补。 -
批内前缀缓存:同批请求还没算完,复用从哪来
同一批次里两个请求从不相同的公共前缀入场,跨批次缓存还没命中过这段内容,批内复用补的就是这个缺口。SGLang 拆批让第一个请求先写 KV 到 radix tree,之后批次才能命中;vLLM 把块哈... -
Agent 工具太多时,把工具描述做向量召回的实际做法
工具数量上百之后,全量塞进上下文既贵又容易出错。把工具描述做成向量索引、运行时召回 Top-K 子集,是一条务实的路径。这篇文章拆解召回对象怎么拼、两阶段检索怎么取舍、索引如何与工具元数据同步,以及哪... -
并行工具调用回来了,你按顺序取结果就错了
并行工具调用的结果按网络先后返回,不一定跟模型请求的次序一致。harness 里用位置配对是等待事故的设计。实践线要工具提交即绑定 tool_call_id、结果按 ID 映射回原调用、批尾做 ID ... -
工具返回空结果,Agent 该被告知什么
工具执行成功但返回空列表时,直接把空 JSON 回填给模型,等于让模型替你猜。区分空结果和失败、回填实际生效的参数、给参数泛化留一次预算,以及把空结果比例纳入监控,都是很划算的投入。 -
推理路由的亲和性:缓存粘连做得不好,比不做还糟
会话级粘性、块级感知和路由端前缀树是三种不同的缓存亲和做法,前提条件和失败模式各不相同。热点倾斜、冷启动、多级缓存视图不一致和显存占用是上线前必须算清的四笔账。 -
批内阶段错配:Prefill 挤进 Decode 批次的代价
Prefill 和 Decode 混在同一批次能提升 GPU 利用率,但长 Prefill 窗口会把在途 Decode 全部挡住,均值不动而 P99 被拉长。从 chunk 粒度、批内 token 预... -
Agent工具参数模式的兼容包袱怎么背
参数字段改名或拆层级,别当纯代码 review。MCP 只要更新 Server 就以为跟进了模型侧,实际它看到的仍是旧结构。加上 Client 缓存截断变化,参数形态校验更靠结构输入。经验是加法优先共... -
批内请求抢占式取消:显存回收的时机与代价
从连续批处理和 PagedAttention 的 block 管理出发,拆解客户端取消请求在调度器里是否真正释放了 KV cache block,以及引用计数、前缀共享和抢占优先级带来的几条实现限制。 -
提示缓存租约失效:TTL 不是成本旋钮,是数据鲜活度承诺
提示缓存把 TTL 当成成本参数是常见误用。TTL 本质是数据租约,承诺了在事实变化后继续返回旧值多久;本文按静态、租户、用户、请求四层拆解断点,并说明空间渗漏与时间过期需要不同修法。 -
推理服务的批内请求重排序:收益与延迟的取舍
连续批处理让吞吐上去了,但批内长短请求混跑,短请求陪跑拉坏 P95。重排序并不能凭直觉塞——要和 prefill、decode 的窗口、GPU-hour 成本与 KV Cache 引用一起核算;多数情... -
Plan-and-Execute 里那个环:LLM 规划出的依赖图要怎么验
LLM 规划出的依赖图不一定是无环的。在调度之前先用 Kahn 检测一遍,配合去重、大小写归一和反边增量检查,比等依赖超时更能省钱。 -
批大小自适应:Triton 的静态上界与 AIMD 回退
批大小自适应在 Triton 的静态上界、AIMD 的加退节奏和显存档位之间怎么取。三种配置参数各自的代价和通常写得起来的初始收敛策略。 -
思维链token预算的动态回收怎么做
长思维链最贵的部分常常出现在答案已经得出之后。用 EvalScope 的 token 效率与反思 token 指标定标,把回收动作分层落到推理服务的预算模型里,并记下误判和开销的真实代价。 -
推理服务批内Token预算分配:谁超标谁先停
连续批处理把吞吐拉上来以后,批内 token 怎么分就成了延迟分配的核心。从谁占了预填充算力到被截断的究竟是哪一段上下文,谈准入申报、配额加共享池的混排做法,以及为什么最后一定要把用量记录到调度器里而... -
Agent工具返回时效性分级的落地账本
工具返回不仅要成功,还得说清数据多新、能干什么。我们按强时效、会话时效、弱时效分级,配上确认轮询和状态字段,把“看起来没问题”的一致性事故压低。 -
Agent 拿着昨天的工具结果回答今天的问题
工具调用失败好修,工具结果没失效难查。Agent 把上一轮返回当成本轮事实,给出的答案完整自信却已经过期。可以从决策分层、结果 TTL、错误分类和系统提示上的失败指令四处下手,但最先该做的还是把「这次... -
流式输出接了安全审核,先想清楚谁在等谁
流式输出加安全审核,真正的难点不是选哪个护栏模型,而是缓冲窗口、首字延迟和跨块违规之间怎么谈判。从 NeMo Guardrails 的 stream_first 到 Higress 网关侧审查,算清楚... -
长请求切片抢占:切多细、抢谁的、怎么收尾
长请求切片不是只要开个开关。弄明白为什么切、切多细、抢占谁才成立,可能同时赔上每次预填充块插入的延迟预算,以及还没拿到 token 的超长输出来收场时的问题。 -
工具调用预算和上下文压缩得一起算账
工具响应吃掉大量预算,压缩器却在另一套阈值里单机运作。本文梳理 Hermes、Claude Code、Suna 等系统的压缩与预算实现,讨论两者联动时尾部预算、摘要开销和恢复锚点该怎么留。 -
推理服务请求级重放:幂等键到底该落在哪一层
推理服务的幂等键大多放在 HTTP 入口,只能防住同一次 POST 打两次。真正多烧钱的是同一 Agent 意图走了不同推理路径。这篇把幂等键该落在哪一层拆开,并逐条核对状态 TTL、采样重试派生键、...
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布