皮哈皮阿 -
Agent 工具输出语义去重：重复结果有多贵
Agent 工具输出出花在重复值上的成本比只出现在版本上更贵。分清算术题里的幂等读、列表、副作用三类结果，决定答案在哪处理。 -
Agent工具结果缓存：三处缓存键设计让复用变废纸
贴代码级复盘工具结果缓存的三个真正痛点：稳定序列化、分类 TTL 和写后失效。分享键中塞时间戳导致命中、长内容不再复用、以及给无状态模型补命中说明的具体工程取舍。 -
推理服务扩缩容：GPU 利用率为什么不能当主指标
HPA 照抄 CPU/GPU 利用率阈值，在推理服务上基本会失灵。本文拆开说明为什么排队深度才是可靠信号，以及 vLLM、SGLang、Dynamo 各自动哪个指标、adapter 怎么接、阈值和预热... -
推理模型拒绝采样微调：K 值、奖励与代价
推理模型的拒绝采样微调看着简单：采 K 条、挑最高分、回炉 SFT。但 K 值不是越大越好，奖励模型的度量会被反复挑漏洞，COT 路径还会把过程可靠性问题带进数据。这篇记录几个实际会撞上的取舍。 -
推理服务多租户配额：抢占落地时的取舍
从核算口径到抢占的停止条件，拆解多租户推理服务里配额该怎么落，哪些抢占行为可控、哪些会让客户账单先出问题。 -
投机解码接受率好看，加速比为什么对不上
投机解码的接受率乘步长推算出的加速比，经常比线上实测高出三成以上。本文拆开性能模型里的三个偏差来源：ρ 随部署形态漂移、回退与验证的隐性成本、采样参数导致 α 失真，并给出落地前的观测方案与步长扫描方... -
推理服务批内超时淘汰：一次省下 25% 吞吐的事
推理服务过载时，排队最久的请求早已被客户端放弃，服务端却还在拿 GPU 算。主动在队列里淘汰超时请求，单这层就能把过载期有效吞吐拉高约四分之一，但淘汰线怎么定、分桶怎么切、恢复怎么收，才是真正花功夫的... -
推理模型的温度调度：核采样的几个工程取舍
温度改的是 softmax 之前的 logits，top-p 改的是候选集合，二者顺序和叠加方式在推理模型上容易踩坑。按阶段调度温度比全局设值更可控，但需要付出请求拆分和缓存的代价。 -
Agent 沙箱逃逸：隔离级别与真实事故的缝隙
从容器共享内核到 Firecracker 微虚拟机，Agent 沙箱的隔离强度是一档刻度盘。更要命的是那些和隔离级别无关的逃逸路径：挂载 docker.sock、符号链接绕过路径检查、配置文件投毒，以... -
工具结果稀疏化回填：先抽骨架再补细节
统计说会话膨胀八成来自没压缩的工具输出。三种注入方式各有清晰的成本边界；稀疏骨架加按字段回填是一手资料能支撑的部分，压缩层该放在哪、哪些字段要读数，决定这套方案会不会让结构本身丢字段。 -
推理模型的并行思维链采样怎么用才不亏
并行思维链采样的成本不是白花的。结合推理模型测试时计算的几条实证结论，梳理best-of-N、束搜索、自洽性投票和自我修订在什么场景下划算、什么场景下只是在烧钱。 -
推理模型输出被截断后怎么接回去
推理模型遇到输出截断，重试整条请求代价高;续写也有隐藏门槛。从识别边界、提示回灌到 prefill 与成本判断，聊聊工程上怎么做才不算亏。 -
Agent 上下文压缩：四层策略与失败代价
把 Claude Code 的四段分层与 Hermes Agent 的双阈值压缩系统并排看重：200K 窗口下的 50%/85%、legacy 与 lean 尾部的实测差池、未处理到的摘要模型窗口溢出... -
约束解码让 JSON 不再崩，但它会改坏推理
约束解码让 JSON 解析失败率归零，工程师可以删掉一堆重试和修复代码。但它会挤占模型的推理预算：强制格式在部分任务上带来10%以上的准确率下降。文章梳理 OpenAI、Anthropic、Gemin... -
RAG 的下一站：Agentic Retrieval
用户问“我们去年买的套餐现在还能退吗”，经典 RAG 检索出一段通用退款政策就结束了。可这个问题至少要拆成订单时间、地区、套餐版本三件事。Agentic Retrieval 要解决的，就是这种“一次检... -
上下文工程：从 Prompt 到 Context 的工程化实践
客服 Agent 答错时，团队第一反应是换模型。把那次请求的上下文打印出来才发现，模型看到的是一份过期政策、两份互相矛盾的条款，还有一长串无关日志。上下文工程要解决的，就是这类问题。
Loading
京公网安备11011402053654 
@muffin：链接已更新，分类图像功能...
AI网址导航模版图标库更换指南
作者大大，图标库邀请链接失效了，麻烦更新...
AI网址导航模版图标库更换指南
太好看了，快点更新！
友情链接
@戴墨镜的刘备：哈喽，路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了，快点更新！太棒了！👍真的很赞！
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了，让我很容易理解你的观...
Emlog插件RSS订阅器发布