推理优化

2天前分类: AI 前沿作者: 戴墨镜的刘备浏览: 9

树形验证把推测解码从一条链变成了一棵树，SpecInfer、EAGLE-2 的加速比背后是树注意力、剪枝和 KV Cache 回退的工程账。剪在草拟阶段还是验证阶段，决定了收益是否真实。

2026/10/28 分类: AI 工程化作者: 戴墨镜的刘备浏览: 66

KV 驱逐的论文从 StreamingLLM 排到 CAKE，数字一直在涨，线上却基本只敢开滑动窗口。把技术演进、注意力稀疏性的假设、以及和 PagedAttention、动态批处理的冲突拆开看，再回...

2026/10/24 分类: AI 前沿作者: 戴墨镜的刘备浏览: 87

从 QwenPaw 的命中率议题、Reasonix 的前缀分区，到 vLLM 的缓存感知路由，拆开前缀缓存失效的真实触发器，并讨论冻结前缀之后要执行换来的工程代价。

2026/10/22 分类: AI 开发实战作者: 戴墨镜的刘备浏览: 93

约束解码让 JSON 解析失败率归零，工程师可以删掉一堆重试和修复代码。但它会挤占模型的推理预算：强制格式在部分任务上带来10%以上的准确率下降。文章梳理 OpenAI、Anthropic、Gemin...

2026/10/10 分类: AI 工程化作者: 戴墨镜的刘备浏览: 114

上个月一个团队拿着账单来找我：模型单价降了，费用却涨了三倍。看完调用链就明白了，问题不在单价，在用法。单位 token 便宜，不等于每次任务便宜。