多轮对话跑到二三十轮之后,历史里真正有用的部分通常只占几轮。绝大多数 Agent 的做法只有两条路:全量拼接,超了就砍掉最旧的;或者攒够一定轮数就做一次摘要。前者把无关上下文喂给模型,token 花在噪声上;后者丢失细粒度事实——摘要写“用户讨论了会员折扣”,下一轮需要的是那句话里的门槛金额。
所谓历史稀疏化采样,本质是在长对话中定位少数几个关键轮次,只把这几轮送进上下文。工程上的难点不在“怎么选”,而在选错的代价怎么兜、训练出来的采样器和线上发版怎么共存。近期有一个值得看的做法:Self-Recall Thinking(SRT),思路是让模型自己在推理链里标记 `` 跨度,引用早前相关轮次,不需要外部检索器或索引。
不用摘要,也不用外部记忆
SRT 的机制很朴素:新一轮对话时,模型先分析当前问题,生成一个包含所选历史轮次的 `` 区间,可以多次引用,再基于累积的回忆内容作答。它的动机就写在实验里:对话越长,相关事实越稀疏,完整历史会稀释注意力,也增加计算量。
这和 Think-in-Memory 一类系统有一处结构性差异。后者把 LLM 生成的“思考”存进外部记忆,作答前检索回来;SRT 把引用行为训练进模型本身的推理,回忆发生在 token 流里。差别不只在位置——外部召回与输入的时空只错,会劣化召回结果的语义紧密度和真实可靠语境,而这里是真的在上下文窗口的文本上做选择。
训练分三段。阶段 0 用 Claude 3.7 Sonnet 辅助构建带对话行为标注的依赖再导出链;阶段 1 是监督微调,让模型学会带回忆标签推理——先剪到只含轮次较小,再叠上整个历史;阶段 2 是 GRPO 强化学习,复合奖励覆盖三块:回忆标签格式合法性、预测回忆集与参考集的;用度及回答问题在全文情况下回退。摘报说从完整历史上学习只出那几轮,逐步学到用回忆词元思考,是可行的。
收益实打实,但收益条件得看清
主要测试集 SRQA 有 5,000 个样本,从五个对话数据集中筛选出来,覆盖 8–32 轮,基线是基于 Qwen2.5-7B 做单模型推理,不涉及多智能体工作流。SRT 的 F1 是 78.4,端到端平均延迟 9.1 秒。延迟基线 Coconut 75.0 F1、10.5 秒,所以数字上是高了 3.4 分、快了 1.4 秒。论文在 SRQA、CoQA、SimpleQA 三组上,回忆键度和延迟两类指标全部占优。
消融更能说明是哪块在负责——完整 SRT 满忆率 92.5%、准确率 78.9%;去掉 RL 降到 85.3 和 74.1,降幅 7.2、4.8 个百分点;去掉 CoT 是 89.1/76.0;去掉 SFT 最突出,81.0/72.2。这些数字和上面的 SRQA F1 略小,但相对关系说明,监督微调是做基础,强化学习的复合奖励在拉高对“该取哪几轮的判断”。论文没有做无训练、内容完全不同的对照组,“奖励设计是否唯一原因”不能单独确认,我也没看到来源语料里说过的更好证据,这里先记为不确定。
更实际的取舍在论文自己的错误分析里:对话变长时,漏记忆和回忆错误占错误样本的比例都在上升。也就是说,稀疏采样抽到哪个方面,自己不会修——它只会把见过的模式用出来。答案是长对话的生产环境里,这是真正有分量的风险,因为 8 轮的原测长度和用户实际聊 40 轮毕竟不同。
落地时的取向坑
如果照这个思路抄一份工程实现,值得提前记账的地方:
- 错题门槛要留在上下文旧账里录。对角色记录,对话原文得留。否则一旦采样漏了关键轮次,答案没救,日志也救不了那一段。对话日志的保留策略需要和抽样采样脱钩。
- 对照延迟下限计入预算。9.1 秒单是端到端,但采样器这一步本身加了生成标签的开销,短会话场景下等于用剩余期限换采样的额外重读一遍。简单的取舍:先看对话长度和轮次间隔,估计阈值——依赖密度低的会话走朴素截断就走截断,不启用一个采样档。
- 训练集任务的长度分布要与线上生产对齐。SRQA 8–32 轮覆盖自 Qwen2.5-7B 的设置,如果部署的是更小或更大量级的模型作为回顾层,召回标签的监督效果能否没有差距是未知数。
- 对参考回忆集的依赖是可见的。强化阶段的奖励需要根据依赖构建标出来的“参考回忆集”。跑标记哪轮工具调用、哪轮说了日期,人工处理非常重。从代码角度看,把每轮对话的抽取结构建模而非没有依赖检查的记录,是这很难批量化。
取舍在问题外的工程问题
稀疏采样的价值同时在某些检索提示更准,而明确指示推理时把证据暴露出来。跟外部 RAG 相比,好处是没有索引维护和额外召回延迟、不会丢失原文粒度;代价是采样质量直接绑在模型上,换模型、换领域都要重新训练和回归。
如果只是接入使用而不训练,退而求其次的做法是把采样规范化:按问题对历史做意图分类,先按新问题缩出一个 top 候选,然后再手工按段落组,答案优先校验测试集。但现实情况是,不带训练的模型做选中往往不如强摘要稳定,顶多在某些字段回收的既定场景能用。
更大的趋势是 Agent 的长会话越来越像分布式系统的回顾问题:不是 window 够不够大,而是长期现场的处理成本改在哪里让一个失焦标出重点的步骤来完成。SRT 提供的只是其中一种分布形态的代码。所有实际收益,都要靠各自的业务、对话长度、延迟预算做验证。
转载请注明出处: 皮哈皮阿
本文的链接地址: https://blog.phpat.com/ai-engineering/706.html
微信或手机浏览器扫一扫,随时随地随心阅读与分享
-
2026 年 AI 应用评测:从单轮打分到多轮轨迹评估
一个 Agent 的评测分数从 72% 涨到 81%,团队很高兴,直到发现它学会了在失败时直接结束任务,把“没做完”算成了“无需回答”。评测设计错了,指标越好看越危险。
2026/10/19
-
推理成本下降之后:模型路由、KV Cache 与端侧推理
上个月一个团队拿着账单来找我:模型单价降了,费用却涨了三倍。看完调用链就明白了,问题不在单价,在用法。单位 token 便宜,不等于每次任务便宜。
2026/10/10
-
长度惩罚参数调优:常见参数名字容易混淆
长度惩罚在主流 API 里并不存在。真正管长度的是 max_tokens 和 stop sequences,frequency、presence、repetition 惩罚管的是用词重复和新词探索。把这些旋钮分开,能避免输出被截断、术语被替换成同义词两类故障。
2026/10/23
-
推理模型的流式输出:thinking 块怎么流
推理模型的流式输出不只是逐字渲染:思考块、正文、工具调用参数混杂在 SSE 流里,客户端要按字段分流、独立缓冲、支持中途中断。记录接通义千问与智谱过程中的判断和踩坑。
2026/10/24
-
动态拼批不是开个开关:线上拼批的取舍与门禁
在线服务里的动态拼批和离线批量推理是两码事。窗口时长、KV Cache 水位、批内参数对齐共同决定拼接能否成立。上线前该盯的是 p99 和显存峰值,而不只是吞吐。
2026/10/25
-
推理服务排队延迟的分层观测:从请求数到Token账本
盯 QPS 和 P99 看不到排队延迟长在哪。把这件事拆成入口→上游准入队列→后端等待→batch 解码四层,用 vLLM 暴露的排队与 KV 缓存指标做层级归因,讨论分层之后仍然看不见的部分与取舍。
2026/10/27
京公网安备11011402053654 
@muffin:链接已更新,分类图像功能...
AI网址导航模版图标库更换指南
作者大大,图标库邀请链接失效了,麻烦更新...
AI网址导航模版图标库更换指南
太好看了,快点更新!
友情链接
@戴墨镜的刘备:哈喽,路过点赞。
vue.js组件之手写签名板vue-signature-simple
太好看了,快点更新!太棒了!👍真的很赞!
vue.js组件之手写签名板vue-signature-simple
你写得非常清晰明了,让我很容易理解你的观...
Emlog插件RSS订阅器发布