loading

Loading

探索与发现

首页 AI 工程化

对话历史稀疏采样:别把裁剪当检索

分类:AI 工程化
字数: (2165)
阅读: (6)
0
摘要:长对话里有用的历史只占几轮。Self-Recall Thinking 让模型在推理中自标 跨度代替摘要与外部记忆,SRQA 上 F1 78.4、延迟 9.1 秒。这篇记一下它的收益条件、消融去掉 RL 掉多少,以及错误分析里漏记忆随轮次上升这件事——这正是落地上线要留的旧账。

多轮对话跑到二三十轮之后,历史里真正有用的部分通常只占几轮。绝大多数 Agent 的做法只有两条路:全量拼接,超了就砍掉最旧的;或者攒够一定轮数就做一次摘要。前者把无关上下文喂给模型,token 花在噪声上;后者丢失细粒度事实——摘要写“用户讨论了会员折扣”,下一轮需要的是那句话里的门槛金额。

所谓历史稀疏化采样,本质是在长对话中定位少数几个关键轮次,只把这几轮送进上下文。工程上的难点不在“怎么选”,而在选错的代价怎么兜、训练出来的采样器和线上发版怎么共存。近期有一个值得看的做法:Self-Recall Thinking(SRT),思路是让模型自己在推理链里标记 `` 跨度,引用早前相关轮次,不需要外部检索器或索引。

不用摘要,也不用外部记忆

SRT 的机制很朴素:新一轮对话时,模型先分析当前问题,生成一个包含所选历史轮次的 `` 区间,可以多次引用,再基于累积的回忆内容作答。它的动机就写在实验里:对话越长,相关事实越稀疏,完整历史会稀释注意力,也增加计算量。

这和 Think-in-Memory 一类系统有一处结构性差异。后者把 LLM 生成的“思考”存进外部记忆,作答前检索回来;SRT 把引用行为训练进模型本身的推理,回忆发生在 token 流里。差别不只在位置——外部召回与输入的时空只错,会劣化召回结果的语义紧密度和真实可靠语境,而这里是真的在上下文窗口的文本上做选择。

训练分三段。阶段 0 用 Claude 3.7 Sonnet 辅助构建带对话行为标注的依赖再导出链;阶段 1 是监督微调,让模型学会带回忆标签推理——先剪到只含轮次较小,再叠上整个历史;阶段 2 是 GRPO 强化学习,复合奖励覆盖三块:回忆标签格式合法性、预测回忆集与参考集的;用度及回答问题在全文情况下回退。摘报说从完整历史上学习只出那几轮,逐步学到用回忆词元思考,是可行的。

收益实打实,但收益条件得看清

主要测试集 SRQA 有 5,000 个样本,从五个对话数据集中筛选出来,覆盖 8–32 轮,基线是基于 Qwen2.5-7B 做单模型推理,不涉及多智能体工作流。SRT 的 F1 是 78.4,端到端平均延迟 9.1 秒。延迟基线 Coconut 75.0 F1、10.5 秒,所以数字上是高了 3.4 分、快了 1.4 秒。论文在 SRQA、CoQA、SimpleQA 三组上,回忆键度和延迟两类指标全部占优。

消融更能说明是哪块在负责——完整 SRT 满忆率 92.5%、准确率 78.9%;去掉 RL 降到 85.3 和 74.1,降幅 7.2、4.8 个百分点;去掉 CoT 是 89.1/76.0;去掉 SFT 最突出,81.0/72.2。这些数字和上面的 SRQA F1 略小,但相对关系说明,监督微调是做基础,强化学习的复合奖励在拉高对“该取哪几轮的判断”。论文没有做无训练、内容完全不同的对照组,“奖励设计是否唯一原因”不能单独确认,我也没看到来源语料里说过的更好证据,这里先记为不确定。

更实际的取舍在论文自己的错误分析里:对话变长时,漏记忆和回忆错误占错误样本的比例都在上升。也就是说,稀疏采样抽到哪个方面,自己不会修——它只会把见过的模式用出来。答案是长对话的生产环境里,这是真正有分量的风险,因为 8 轮的原测长度和用户实际聊 40 轮毕竟不同。

落地时的取向坑

如果照这个思路抄一份工程实现,值得提前记账的地方:

  • 错题门槛要留在上下文旧账里录。对角色记录,对话原文得留。否则一旦采样漏了关键轮次,答案没救,日志也救不了那一段。对话日志的保留策略需要和抽样采样脱钩。
  • 对照延迟下限计入预算。9.1 秒单是端到端,但采样器这一步本身加了生成标签的开销,短会话场景下等于用剩余期限换采样的额外重读一遍。简单的取舍:先看对话长度和轮次间隔,估计阈值——依赖密度低的会话走朴素截断就走截断,不启用一个采样档。
  • 训练集任务的长度分布要与线上生产对齐。SRQA 8–32 轮覆盖自 Qwen2.5-7B 的设置,如果部署的是更小或更大量级的模型作为回顾层,召回标签的监督效果能否没有差距是未知数。
  • 对参考回忆集的依赖是可见的。强化阶段的奖励需要根据依赖构建标出来的“参考回忆集”。跑标记哪轮工具调用、哪轮说了日期,人工处理非常重。从代码角度看,把每轮对话的抽取结构建模而非没有依赖检查的记录,是这很难批量化。

取舍在问题外的工程问题

稀疏采样的价值同时在某些检索提示更准,而明确指示推理时把证据暴露出来。跟外部 RAG 相比,好处是没有索引维护和额外召回延迟、不会丢失原文粒度;代价是采样质量直接绑在模型上,换模型、换领域都要重新训练和回归。

如果只是接入使用而不训练,退而求其次的做法是把采样规范化:按问题对历史做意图分类,先按新问题缩出一个 top 候选,然后再手工按段落组,答案优先校验测试集。但现实情况是,不带训练的模型做选中往往不如强摘要稳定,顶多在某些字段回收的既定场景能用。

更大的趋势是 Agent 的长会话越来越像分布式系统的回顾问题:不是 window 够不够大,而是长期现场的处理成本改在哪里让一个失焦标出重点的步骤来完成。SRT 提供的只是其中一种分布形态的代码。所有实际收益,都要靠各自的业务、对话长度、延迟预算做验证。

转载请注明出处: 皮哈皮阿

本文的链接地址: https://blog.phpat.com/ai-engineering/706.html

手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

您可能对以下文章感兴趣
1 / 1
预览图