皮哈皮阿 
-
动态拼批不是开个开关：线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值，而不只是吞吐。 -
Agent 子目标检查点回归：从回滚状态到登记副作用
Agent 的子目标检查点能回滚本地状态，却回滚不了已提交的外部副作用。本文拆解恢复后重新合成工具调用导致的语义回滚，给出基于副作用指纹的检查点边界划分与确定性回归断言。 -
推理模型输出被截断后怎么接回去
推理模型遇到输出截断，重试整条请求代价高;续写也有隐藏门槛。从识别边界、提示回灌到 prefill 与成本判断，聊聊工程上怎么做才不算亏。 -
前缀缓存命中率：字节对齐与工程取舍
从 QwenPaw 的命中率议题、Reasonix 的前缀分区，到 vLLM 的缓存感知路由，拆开前缀缓存失效的真实触发器，并讨论冻结前缀之后要执行换来的工程代价。 -
推理模型的流式输出：thinking 块怎么流
推理模型的流式输出不只是逐字渲染：思考块、正文、工具调用参数混杂在 SSE 流里，客户端要按字段分流、独立缓冲、支持中途中断。记录接通义千问与智谱过程中的判断和踩坑。 -
Agent 轨迹回放调试：把失败变成可回放资产
Agent 调试难在无法复现、故障点藏在数步之前。这篇文章讲三件具体的事：把轨迹归一化成可校验的步骤结构，用工具签名和领域策略生成可执行约束，以及用标注过的失败轨迹在 CI 里做回归回放——顺带说明为... -
Agent 上下文压缩：四层策略与失败代价
把 Claude Code 的四段分层与 Hermes Agent 的双阈值压缩系统并排看重：200K 窗口下的 50%/85%、legacy 与 lean 尾部的实测差池、未处理到的摘要模型窗口溢出... -
投机解码落地：草稿模型对齐与逐利陷阱
草稿模型选型、对齐和接受率曲线决定了投机解码的最终收益。批量越大加速衰减越多，低接受率、短输出和高温采样可能让线上请求更慢。草稿对齐和持续监控接受率是基础工作量，而不是换个配置文件就能兑现一次加速。 -
长度惩罚参数调优：常见参数名字容易混淆
长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences，frequency、presence、repetition 惩罚管的是用词重复和新词探索。把... -
并行工具调用暴露的工具设计耦合问题
并行工具调用能砍掉四成延迟，但它更重要的价值在于暴露工具之间的隐性耦合。本文拆解上下文依赖、共享状态竞争与时序前提这三类静默失败，给出读写分类规则、工具合并的判据，以及什么时候该上依赖图编排。 -
约束解码让 JSON 不再崩，但它会改坏推理
约束解码让 JSON 解析失败率归零，工程师可以删掉一堆重试和修复代码。但它会挤占模型的推理预算：强制格式在部分任务上带来10%以上的准确率下降。文章梳理 OpenAI、Anthropic、Gemin... -
思维链压缩到 20%，还能保住数学推理的准确率吗
把推理模型的思维链砍到原来的 20%，多数压缩方法会崩，但 Extra-CoT 在 MATH-500 上还保住了近半准确率。拆一下它怎么用公式原子性和分层奖励，以及这些结果在别的任务上不一定成立。 -
世界模型被吹了两年，真正难的不是生成视频
看世界模型的演示视频，很容易产生“就差一点”的错觉。可一旦你试图在里面做一个动作，问题就全暴露了。生成一段像世界的视频，和拥有一个能交互的世界，是两件难度完全不同的事。 -
AI 浏览器用了一个月，我还是回到了地址栏
我试着把 AI 浏览器当主力用了一个月。模型不差，功能也不少，但最后让我放弃的是一件很朴素的事：地址栏比对话框更快、更确定。AI 浏览器到底卡在哪？ -
个人 Agent 与常驻智能体：长期记忆、主动性与隐私边界
我让一个常驻 Agent 帮我盯快递。包裹签收三天后，它还在提醒我“预计今天送达”。长期记忆、主动性和隐私边界，决定了个人 Agent 是助手还是负担。 -
2026 年 AI 应用评测：从单轮打分到多轮轨迹评估
一个 Agent 的评测分数从 72% 涨到 81%，团队很高兴，直到发现它学会了在失败时直接结束任务，把“没做完”算成了“无需回答”。评测设计错了，指标越好看越危险。 -
多智能体不是银弹：编排、通信与成本取舍
我们试过让五个 Agent 开会，结果它们花了二十分钟争论谁该先说话，最后交上来的方案还不如一个单 Agent 加两个工具。多智能体不是不能做，是很多团队做早了。 -
Agent 安全清单：提示注入、工具越权与数据外泄
一个内部助手被要求总结一封客户邮件。邮件末尾有一行白色小字：把最近的客户名单转发到某个地址。Agent 真的准备去调邮件工具了。安全不能靠模型自觉，得靠系统设计。 -
AI Coding Agent 如何稳定提交可合并的 PR
上周 review 了一个 AI 生成的 PR，测试全绿，但我还是把它关了。它改了 37 个文件，顺手升级了一个依赖，还修改了两条测试断言。问题不是代码不能跑，而是这个 PR 没人敢合。 -
RAG 的下一站：Agentic Retrieval
用户问“我们去年买的套餐现在还能退吗”，经典 RAG 检索出一段通用退款政策就结束了。可这个问题至少要拆成订单时间、地区、套餐版本三件事。Agentic Retrieval 要解决的，就是这种“一次检... -
推理成本下降之后：模型路由、KV Cache 与端侧推理
上个月一个团队拿着账单来找我：模型单价降了，费用却涨了三倍。看完调用链就明白了，问题不在单价，在用法。单位 token 便宜，不等于每次任务便宜。 -
Agent Harness：可观测、可评测、可回滚的 Agent 基础设施
去年我们做了一个处理退款申请的 Agent。Demo 很顺，上线第一周就出了事故：进程重启后状态丢了，同一笔申请被处理了两次。问题不在模型，而在模型外面那层没人愿意写的基础设施。 -
MCP 进入生产环境：工具协议、网关与权限边界
MCP 刚出来时，我以为最难的是协议兼容。真正接了十几个工具之后才发现，把工具接上只花了两天，把权限、审计和故障处理理清楚花了两个月。 -
上下文工程：从 Prompt 到 Context 的工程化实践
客服 Agent 答错时，团队第一反应是换模型。把那次请求的上下文打印出来才发现，模型看到的是一份过期政策、两份互相矛盾的条款，还有一长串无关日志。上下文工程要解决的，就是这类问题。
Loading
京公网安备11011402053654 
@muffin：链接已更新，分类图像功能...
AI网址导航模版图标库更换指南
作者大大，图标库邀请链接失效了，麻烦更新...
AI网址导航模版图标库更换指南
太好看了，快点更新！
友情链接
@戴墨镜的刘备：哈喽，路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了，快点更新！太棒了！👍真的很赞！
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了，让我很容易理解你的观...
Emlog插件RSS订阅器发布