皮哈皮阿 -
推理服务P99拆账：TTFT与ITL分开看才有的救
LLM 的 P99 不是监控伪影，是输出长度重尾分布加批处理放大的结构性问题。端到端 P99 至少要拆成 TTFT 和 ITL 两段，前者看上下文异质性与 KV 缓存，后者看预填充对解码的打扰。分块预... -
上下文分段回收：Agent 长跑不掉线的工程做法
Agent 长任务在十几轮后崩掉，多因为上下文组织和回收没做好。本文聊分段的切法、触发点、不要回收的三类信息，以及卸载、隔离、压缩怎么配平，中间穿插 Shannon 三段式压缩、LangChain 四... -
Agent 工具描述 token 膨胀：几百个 schema 先吃掉上下文
工具一多，光 JSON schema 就能吃掉半个上下文。这篇讲工具定义膨胀与结果污染的两笔账、按需检索与网关语义路由两条路的代价，以及为什么该先摸清固定成本再动手。 -
多租户下 KV Cache 显存配额如何回收
多租户推理服务里回收 KV Cache 配额，真正难的是别把还活着的 decode 挖空，分清四种回收手段的代价，再把配额账本从请求计数迁到分页表上。 -
连续批处理上线后，吞吐涨了但延迟更抖
连续批处理提高了 GPU 利用率，代价是尾延迟更难预测。长 prefill 抢占 decode、每批 token 预算、调度器在填满时的稀释效应。写清 Orca、vLLM、Sarathi-Serve ... -
推理服务 SLA 分级：队列隔离要落在调度器里
为推理服务做 SLA 分级，光有 QPS 限流和看板不够。文章讨论队列隔离该在调度的哪一层做、座位和配额按什么度量、抢占该从哪一步开始试，以及日常需要留下哪些按等级拆开的数据，才能事后把一次违约说清楚... -
GPU显存碎片率：那个不爆显存也会挂的指标
显存没用满却 OOM，多半不是容量问题。从单卡分配器的碎片率计算和 memory snapshot 定位，到集群调度层的 bin-packing，记录其中的实践与取舍边界。 -
流式工具调用的增量参数校验怎么做
流式工具调用中，参数增量大多不是合法 JSON，逐片完整解析必然失败。本文讲清楚如何用缓冲累积、词法完成度判断和有界解析门禁，把参数校验从“完整文档”改成“增长中的流”，并指出转义断裂、提前触发幂等破... -
模型加载慢在哪：推理冷启动预热的工程账
拆解推理服务冷启动的时间线：权重加载、存储吞吐、编译缓存与预铺实例各自的边界和代价，并标出哪些公开数据需要警惕口径。 -
KV 驱逐算法很漂亮，为什么线上没人敢开
KV 驱逐的论文从 StreamingLLM 排到 CAKE，数字一直在涨，线上却基本只敢开滑动窗口。把技术演进、注意力稀疏性的假设、以及和 PagedAttention、动态批处理的冲突拆开看，再回... -
推理服务排队延迟的分层观测：从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层，用 vLLM 暴露的排队与 KV 缓存指标做层级归因，讨论分层之后仍然看不见的部分与取舍。 -
动态拼批不是开个开关：线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值，而不只是吞吐。 -
推理模型的流式输出：thinking 块怎么流
推理模型的流式输出不只是逐字渲染：思考块、正文、工具调用参数混杂在 SSE 流里，客户端要按字段分流、独立缓冲、支持中途中断。记录接通义千问与智谱过程中的判断和踩坑。 -
长度惩罚参数调优：常见参数名字容易混淆
长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences，frequency、presence、repetition 惩罚管的是用词重复和新词探索。把... -
2026 年 AI 应用评测：从单轮打分到多轮轨迹评估
一个 Agent 的评测分数从 72% 涨到 81%，团队很高兴，直到发现它学会了在失败时直接结束任务，把“没做完”算成了“无需回答”。评测设计错了，指标越好看越危险。 -
推理成本下降之后：模型路由、KV Cache 与端侧推理
上个月一个团队拿着账单来找我：模型单价降了，费用却涨了三倍。看完调用链就明白了，问题不在单价，在用法。单位 token 便宜，不等于每次任务便宜。
Loading
京公网安备11011402053654 
@muffin：链接已更新，分类图像功能...
AI网址导航模版图标库更换指南
作者大大，图标库邀请链接失效了，麻烦更新...
AI网址导航模版图标库更换指南
太好看了，快点更新！
友情链接
@戴墨镜的刘备：哈喽，路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了，快点更新！太棒了！👍真的很赞！
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了，让我很容易理解你的观...
Emlog插件RSS订阅器发布