皮哈皮阿 
-
长请求切片抢占：切多细、抢谁的、怎么收尾
长请求切片不是只要开个开关。弄明白为什么切、切多细、抢占谁才成立，可能同时赔上每次预填充块插入的延迟预算，以及还没拿到 token 的超长输出来收场时的问题。 -
工具调用预算和上下文压缩得一起算账
工具响应吃掉大量预算，压缩器却在另一套阈值里单机运作。本文梳理 Hermes、Claude Code、Suna 等系统的压缩与预算实现，讨论两者联动时尾部预算、摘要开销和恢复锚点该怎么留。 -
推理服务请求级重放：幂等键到底该落在哪一层
推理服务的幂等键大多放在 HTTP 入口，只能防住同一次 POST 打两次。真正多烧钱的是同一 Agent 意图走了不同推理路径。这篇把幂等键该落在哪一层拆开，并逐条核对状态 TTL、采样重试派生键、... -
批内前缀共享度分桶：同一批次里谁跟谁绑在一起
批内前缀共享能不能真正吃到复用收益，取决于调度器把哪些请求绑进同一个批次。从 vLLM 的 rolling block hash 时机说起，讨论前缀共享度分桶怎么切、桶太细的失败长什么样，以及高负载下... -
TTFT 方差来源：排队、预填充和缓存命中
TTFT 的 P99 不是单一原因造成的。把排队、预填充、缓存命中三段延迟分开统计方差份额，才知道该扩容量、该限流还是该冻结前缀结构。 -
-
推理服务压测：流量回放的保真度账本
推理服务压测与 Web 接口压测不同，输出 token 数是生成出来的，没法从请求里读到。录制流量回放时会因为输入长度分布、多轮会话聚合、到达过程被固定 TPS 平滑三处失真，测出偏乐观的延迟和吞吐。... -
多模态推理分段预取：图像 token 洪峰怎么削
多模态请求让推理的 Prefill 阶段多了图像编码源。如果还按一个队列、一次性交接 KVCache，窗口里扩散放大的突发流量会打穿网络和 Decode 侧。文章绕开“要不要分段”的立场，落到了预取单... -
批内长度分桶：把长请求单独排队之后
批处理一直跑得快，但长度差异会让填充和收尾彼此拖。这篇拆解长度分桶的三层做法：Dynamic SplitFuse 的批内切分、MiMo 三级输入端分桶以及按桶路由的实例调度，并核算切点、输出预估与桶间... -
工具返回值类型推断校验：别让好数据混进坏数据
Agent 调用工具后，返回值不是结构合规就能直接用。本文从来源追溯、字段级异常、枚举边界、缓存代价几个角度，讲工具返回值类型推断校验的工程做法与代价。 -
请求合并与去重：省算力与抖延迟之间的账
从批量推理的吞吐收益曲线写到幂等键去重，讨论合批与去重在延迟、显存和重试幂等上的取舍，并给出只有部分前提下的工程判断门槛。 -
数学题换个说法就错：推理模型的等价改写鲁棒性
多数推理模型的数学分数，测的可能是对表述模板的拟合。以MATH-Perturb的困难扰动为例，讲清楚等价改写该怎么做、哪里最容易断，以及自动形式化校验目前的能力边界在哪里。 -
用依赖图替掉手写 if-else：Agent 工具串行的工程做法
把手写 if-else 的工具调用换成有向无环图：节点声明产出与消费字段，执行器按拓扑序推进。解释了改动带来的局部化变更、少一轮依赖推导和并行机会，也说了写不清依赖时这套做法会失效。 -
Agent并发工具签名校验：批量校验的工程账
并行工具调用让签名校验的时间基准变得模糊：批边界、聚合条目和补书重试各自都会把校验做错。本文拆开三处冲突——时间眼、聚合改签名、补书引退避，并给出可落地且务实的校验拆表与重试边界。 -
批量结构化输出失败：推理模型出错先别急着重试
批量任务里重试率从 1% 涨到 8%，不一定是模型变差了。截断、严格模式覆盖不到、Schema 编译退回非受限，三类失败的病因不同，混在一起调重试参数只会把问题推向模型偏移。 -
弃答阈值怎么定：推理模型置信度校准的工程账
幻觉检测器拦不住过度自信。本文从 RLHF 导致的校准退化讲起，聊无 Log Prob 时的自一致性采样、温度缩放的适用边界，以及弃答阈值为什么应设计成分层门禁。 -
推理服务P99拆账：TTFT与ITL分开看才有的救
LLM 的 P99 不是监控伪影，是输出长度重尾分布加批处理放大的结构性问题。端到端 P99 至少要拆成 TTFT 和 ITL 两段，前者看上下文异质性与 KV 缓存，后者看预填充对解码的打扰。分块预... -
Agent 重试时，幂等键为什么会在继承中丢失
Agent 的重试路径有四层，每层都可能重新生成幂等键，去重因此形同虚设。文章分三种身份混用、键生成位置、持久化与失效窗口讲清怎么把键从上游继承到副作用发生的那一次调用。 -
Agent 工具输出语义去重：重复结果有多贵
Agent 工具输出出花在重复值上的成本比只出现在版本上更贵。分清算术题里的幂等读、列表、副作用三类结果，决定答案在哪处理。 -
对话模板拼接漏洞：推理服务的隐形入口
对话模板拼接漏洞不只是消息派发上的一个瑕疵，它发生在历史、重试、工具结果和预填充被各种工程细节层层拼到一个上下文的时候。这篇文章从组装责任、缓存复用与角色边界三个取舍展开，说明为什么一个拼接输入最终会... -
上下文分段回收：Agent 长跑不掉线的工程做法
Agent 长任务在十几轮后崩掉，多因为上下文组织和回收没做好。本文聊分段的切法、触发点、不要回收的三类信息，以及卸载、隔离、压缩怎么配平，中间穿插 Shannon 三段式压缩、LangChain 四... -
工具网关限流漂移：Agent 被卡住时怎么安抚
网关限流漂移常常是从配额窗口、Agent 的步计数对不齐开始，加上错误分类和 retry-after 消息丢失，问题被成倍放大；可完成一次任务在从入口退避、对 Agent 可见的合作信号、结构化降速、... -
Agent工具结果缓存：三处缓存键设计让复用变废纸
贴代码级复盘工具结果缓存的三个真正痛点：稳定序列化、分类 TTL 和写后失效。分享键中塞时间戳导致命中、长内容不再复用、以及给无状态模型补命中说明的具体工程取舍。 -
推测解码的树形验证：剪枝做错，加速比全吐回去
树形验证把推测解码从一条链变成了一棵树，SpecInfer、EAGLE-2 的加速比背后是树注意力、剪枝和 KV Cache 回退的工程账。剪在草拟阶段还是验证阶段，决定了收益是否真实。
Loading
京公网安备11011402053654 
@muffin：链接已更新，分类图像功能...
AI网址导航模版图标库更换指南
作者大大，图标库邀请链接失效了，麻烦更新...
AI网址导航模版图标库更换指南
太好看了，快点更新！
友情链接
@戴墨镜的刘备：哈喽，路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了，快点更新！太棒了！👍真的很赞！
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了，让我很容易理解你的观...
Emlog插件RSS订阅器发布