该文章提出了一种名为 ProMem 的主动式记忆提取框架它模仿人类大脑的循环处理机制通过“自问自答”的方式迭代验证和补全记忆从根本上提升了 LLM Agent 长期记忆的完整性和准确性。摘要记忆管理对于大语言智能体实现长期交互与个性化至关重要。现有研究多聚焦于如何组织与利用记忆摘要却常忽视最初的记忆提取环节。本文基于“循环加工理论”指出基于摘要的方法存在两大局限其一摘要“提前生成”如同盲目的“前馈”过程因不知后续任务而遗漏关键细节其二提取往往“一次性”完成缺乏反馈验证导致信息损失不断累积。为此我们提出“主动记忆提取”框架ProMem)。与静态摘要不同ProMem 将提取视为迭代式认知过程通过自我提问的循环反馈机制智能体主动探查对话历史补全缺失信息并纠正错误。实验表明ProMem 显著提升了记忆完整度与问答准确率并在提取质量与 token 开销之间实现了更优权衡。论文标题: Beyond Static Summarization: Proactive Memory Extraction for LLM Agents作者: Chengyuan Yang, Zequn Sun, Wei Wei发表年份: 2026原文链接: https://www.arxiv.org/pdf/2601.04463代码链接: Not available in the paper关键词: [LLM Agent, Long-term Memory, Memory Extraction, Recurrent Processing Theory, Self-questioning]一、为什么需要更好的记忆机制现有方法的痛点LLM Agent 要想真正成为我们的智能助理就必须记住我们是谁、我们的偏好、以及我们之间发生过什么。这就是长期记忆的重要性。目前基于摘要的记忆管理是最常见的方案如下图所示它主要包含两个阶段记忆提取和记忆组织与利用。LLM Agent 基于摘要的记忆管理通用框架然而绝大多数研究都把精力放在了后一阶段怎么存、怎么取却忽略了最源头、也至关重要的一步——记忆提取。现有的提取方法普遍存在两大痛点盲目提取缺乏远见记忆是在不知道未来会用到哪些信息的情况下生成的。这就像让你在出发去一个未知目的地前收拾行李你很可能会丢下一些后来发现至关重要的物品。这种“前馈式” (feed-forward) 的处理方式很容易在压缩过程中丢失关键细节。一次性提取缺乏修正提取过程是一个“一锤子买卖”。如果初次提取就出现了幻觉无中生有或信息遗漏这个错误就会被永久记录下来并在后续的交互中不断累积最终导致“差之毫厘谬以千里”的后果。二、方法总览从认知神经科学中汲取灵感为了解决上述痛点研究者们从认知神经科学的循环处理理论 (Recurrent Processing Theory, RPT)中获得了灵感。RPT 认为我们的大脑在感知世界时并不仅仅是一个简单的“前馈”过程从眼睛到大脑还包含一个高级脑区向低级脑区发送反馈信号的“循环”过程。这个反馈过程正是我们产生“意识”、能够从模糊的局部信息中脑补出完整图像的关键。ProMem 方法与 RPT 理论的类比如上图 (a) 的卡尼萨错觉所示我们能“看”到一个不存在的白色三角形正是因为大脑在循环处理中补全了信息。ProMem 将这种机制引入了 LLM Agent如上图 (b) 所示它不再是被动地一次性总结而是通过一个验证 (verification)和补全 (completion)的反馈循环主动地去构建一份完整、准确的记忆。ProMem 的整体框架如下图所示它将记忆提取变成了一个三步走的动态认知过程ProMem 主动式记忆提取框架概览初始提取 (Initial Extraction)Agent 像一个信息提取员快速扫描一遍对话历史形成一个初步的、可能不完美的记忆版本。记忆补全 (Memory Completion)通过语义匹配找到那些被初步提取遗漏的对话片段并进行针对性的补充提取。记忆验证 (Memory Verification)这是 ProMem 的核心。Agent 切换角色成为一个“细致的记忆分析师”通过自问 (Self-questioning)的方式主动对每一条记忆进行“灵魂拷问”然后带着问题回到原始对话中寻找证据以验证事实、修正错误、补充细节。最终通过去重系统得到一份高质量、高保真的最终记忆。三、关键贡献总结一下ProMem 的核心贡献可以归纳为三点•提出了一个全新的主动式记忆提取框架将记忆管理从“一次性压缩”提升为“迭代式认知”从源头上解决了传统方法的两大痛点。•显著提升了记忆质量和下游任务性能通过引入“自问-验证”的循环反馈机制ProMem 大幅提升了记忆的完整性并在多个问答基准上取得了业界最佳 (SOTA) 的成绩。•揭示了“数据质量优于算法”的洞察研究证明通过提升存入记忆的质量即使只使用简单的检索算法也能超越那些仅优化检索算法的复杂系统。这为我们未来的研究提供了新的思路。四、深度拆解ProMem 是如何主动“思考”的让我们深入看看 ProMem 的每个步骤具体是怎么工作的。阶段一初始提取 (Feed-forward Phase)这个阶段非常直接。系统使用一个预设好的 Prompt让 LLM 扮演一个“个人信息提取器”对完整的对话历史进行一次快速扫描生成一份初步的记忆列表M_init。这份列表可以看作是记忆的“草稿”。阶段二记忆补全 (Context Alignment Phase)为了不遗漏信息这个阶段的目标是找出对话中被“草稿”忽略的部分。语义对齐首先系统将“草稿”中的每一条记忆与原始对话的每一轮进行语义相似度计算。发现“未覆盖”轮次如果某一轮对话与所有记忆草稿的相似度都低于一个设定的阈值它就被标记为“未覆盖轮次”。补充提取最后将所有这些“未覆盖”的对话轮次收集起来再次送入 LLM 进行补充提取生成补充记忆M_supp。这样我们就得到了一份更完整的候选记忆集M_cand M_init ∪ M_supp。阶段三记忆验证 (Recurrent Feedback Phase)这是 ProMem 最具创新性的部分也是它实现主动“反思”的关键。自问 (Self-questioning)针对候选内存集中的每一条记忆m系统让 LLM 生成一个用于验证其真实性的问题q_m。比如如果一条记忆是“用户喜欢喝咖啡”生成的验证问题可能是“用户为什么喜欢喝咖啡”或“用户在什么时候会喝咖啡”。寻找证据与验证LLM 带着这个问题q_m重新审视原始对话历史D并扮演“法官”的角色寻找答案。• 如果找不到任何相关信息来回答q_m那么原始记忆m就很可能是一个幻觉应该被丢弃。• 如果找到了答案系统会根据找到的证据提炼出一个更准确、更可靠的新内存条目m_new。去重与合并最后系统会比较新旧记忆条目 (m_new和m)如果它们非常相似就用更可靠的新版本替换旧版本如果它们差异较大说明新版本是一个有价值的补充就将其加入最终的记忆库。通过这样一轮轮的“自问-验证-更新”ProMem 仿佛在进行一场严谨的学术研究最终得到一份经过反复推敲和考证的高质量记忆M_final。五、实验结果效果好才是硬道理ProMem 究竟表现如何让我们直接看数据。在 HaluMem 基准上的惊人表现HaluMem 是一个专门用于评测记忆提取中幻觉问题的基准。在 HaluMem 基准上的性能对比从上表可以看出ProMem 的表现非常亮眼• 在记忆完整性 (Memory Integrity)指标上ProMem 达到了73.80%比当时的基线方法 Mem0 (42.91%)高出超过 30 个百分点。这说明 ProMem 的主动补全和验证机制确实能找回大量被传统方法忽略的关键信息。• 在最终的问答准确率 (QA Accuracy)上ProMem 达到了62.26%同样是所有对比方法中最高的证明了高质量的记忆对下游任务的直接助益。在长程问答任务上的 SOTA 性能LongMemEval 是一个评测长程问答能力的基准。在 LongMemEval 基准上的性能对比如上图所示ProMem 再次以69.57%的问答准确率登顶超越了包括专门为长上下文设计的 LightMem 在内的所有方法。这个结果传递了一个非常重要的信息好的数据比好的算法更重要。与其在“如何从一堆沙子里淘金”优化检索算法上死磕不如从源头把“沙子”变成“金子”提升记忆质量往往能事半功倍。关键模块的价值消融实验为了验证 ProMem 中每个模块的价值研究者们进行了消融实验。ProMem 关键模块的消融研究结果显示无论是去掉记忆补全 (w/o MC) 还是记忆验证 (w/o MV)模型的性能都有明显下降。特别是当两者同时被移除后 (w/o MC MV)记忆完整性暴跌近 20%问答准确率也下降了超过 11%。这有力地证明了 ProMem 设计的每一个环节都是不可或缺的。鲁棒性与适用性不同压缩比下的性能表现研究者还测试了在不同记忆压缩比下 ProMem 的鲁棒性。如上图所示即便在压缩比很高意味着信息丢失严重的情况下ProMem 在各项指标上依然全面优于基线方法 Mem0。使用小型语言模型 (SLM) 的结果更令人欣喜的是当使用计算成本更低的小型语言模型 (SLMs) 时ProMem 依然能在关键指标上取得显著优势这表明该方法具有很好的通用性和经济性。案例分析ProMem 好在哪里最后我们来看一个直观的案例。Mem0 与 ProMem 的案例对比对于同一个问题Mem0 提取的记忆非常笼统“对职业发展有积极影响”导致最终答案也很模糊。而 ProMem 通过主动验证提取到了更具体、更全面的信息“提供了多样的视角和情感支持”因此给出的答案也更贴近事实。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
ProMem：让大模型 Agent 学会主动“反思”，提升长期记忆完整和准确性！
发布时间：2026/7/17 16:55:19
该文章提出了一种名为 ProMem 的主动式记忆提取框架它模仿人类大脑的循环处理机制通过“自问自答”的方式迭代验证和补全记忆从根本上提升了 LLM Agent 长期记忆的完整性和准确性。摘要记忆管理对于大语言智能体实现长期交互与个性化至关重要。现有研究多聚焦于如何组织与利用记忆摘要却常忽视最初的记忆提取环节。本文基于“循环加工理论”指出基于摘要的方法存在两大局限其一摘要“提前生成”如同盲目的“前馈”过程因不知后续任务而遗漏关键细节其二提取往往“一次性”完成缺乏反馈验证导致信息损失不断累积。为此我们提出“主动记忆提取”框架ProMem)。与静态摘要不同ProMem 将提取视为迭代式认知过程通过自我提问的循环反馈机制智能体主动探查对话历史补全缺失信息并纠正错误。实验表明ProMem 显著提升了记忆完整度与问答准确率并在提取质量与 token 开销之间实现了更优权衡。论文标题: Beyond Static Summarization: Proactive Memory Extraction for LLM Agents作者: Chengyuan Yang, Zequn Sun, Wei Wei发表年份: 2026原文链接: https://www.arxiv.org/pdf/2601.04463代码链接: Not available in the paper关键词: [LLM Agent, Long-term Memory, Memory Extraction, Recurrent Processing Theory, Self-questioning]一、为什么需要更好的记忆机制现有方法的痛点LLM Agent 要想真正成为我们的智能助理就必须记住我们是谁、我们的偏好、以及我们之间发生过什么。这就是长期记忆的重要性。目前基于摘要的记忆管理是最常见的方案如下图所示它主要包含两个阶段记忆提取和记忆组织与利用。LLM Agent 基于摘要的记忆管理通用框架然而绝大多数研究都把精力放在了后一阶段怎么存、怎么取却忽略了最源头、也至关重要的一步——记忆提取。现有的提取方法普遍存在两大痛点盲目提取缺乏远见记忆是在不知道未来会用到哪些信息的情况下生成的。这就像让你在出发去一个未知目的地前收拾行李你很可能会丢下一些后来发现至关重要的物品。这种“前馈式” (feed-forward) 的处理方式很容易在压缩过程中丢失关键细节。一次性提取缺乏修正提取过程是一个“一锤子买卖”。如果初次提取就出现了幻觉无中生有或信息遗漏这个错误就会被永久记录下来并在后续的交互中不断累积最终导致“差之毫厘谬以千里”的后果。二、方法总览从认知神经科学中汲取灵感为了解决上述痛点研究者们从认知神经科学的循环处理理论 (Recurrent Processing Theory, RPT)中获得了灵感。RPT 认为我们的大脑在感知世界时并不仅仅是一个简单的“前馈”过程从眼睛到大脑还包含一个高级脑区向低级脑区发送反馈信号的“循环”过程。这个反馈过程正是我们产生“意识”、能够从模糊的局部信息中脑补出完整图像的关键。ProMem 方法与 RPT 理论的类比如上图 (a) 的卡尼萨错觉所示我们能“看”到一个不存在的白色三角形正是因为大脑在循环处理中补全了信息。ProMem 将这种机制引入了 LLM Agent如上图 (b) 所示它不再是被动地一次性总结而是通过一个验证 (verification)和补全 (completion)的反馈循环主动地去构建一份完整、准确的记忆。ProMem 的整体框架如下图所示它将记忆提取变成了一个三步走的动态认知过程ProMem 主动式记忆提取框架概览初始提取 (Initial Extraction)Agent 像一个信息提取员快速扫描一遍对话历史形成一个初步的、可能不完美的记忆版本。记忆补全 (Memory Completion)通过语义匹配找到那些被初步提取遗漏的对话片段并进行针对性的补充提取。记忆验证 (Memory Verification)这是 ProMem 的核心。Agent 切换角色成为一个“细致的记忆分析师”通过自问 (Self-questioning)的方式主动对每一条记忆进行“灵魂拷问”然后带着问题回到原始对话中寻找证据以验证事实、修正错误、补充细节。最终通过去重系统得到一份高质量、高保真的最终记忆。三、关键贡献总结一下ProMem 的核心贡献可以归纳为三点•提出了一个全新的主动式记忆提取框架将记忆管理从“一次性压缩”提升为“迭代式认知”从源头上解决了传统方法的两大痛点。•显著提升了记忆质量和下游任务性能通过引入“自问-验证”的循环反馈机制ProMem 大幅提升了记忆的完整性并在多个问答基准上取得了业界最佳 (SOTA) 的成绩。•揭示了“数据质量优于算法”的洞察研究证明通过提升存入记忆的质量即使只使用简单的检索算法也能超越那些仅优化检索算法的复杂系统。这为我们未来的研究提供了新的思路。四、深度拆解ProMem 是如何主动“思考”的让我们深入看看 ProMem 的每个步骤具体是怎么工作的。阶段一初始提取 (Feed-forward Phase)这个阶段非常直接。系统使用一个预设好的 Prompt让 LLM 扮演一个“个人信息提取器”对完整的对话历史进行一次快速扫描生成一份初步的记忆列表M_init。这份列表可以看作是记忆的“草稿”。阶段二记忆补全 (Context Alignment Phase)为了不遗漏信息这个阶段的目标是找出对话中被“草稿”忽略的部分。语义对齐首先系统将“草稿”中的每一条记忆与原始对话的每一轮进行语义相似度计算。发现“未覆盖”轮次如果某一轮对话与所有记忆草稿的相似度都低于一个设定的阈值它就被标记为“未覆盖轮次”。补充提取最后将所有这些“未覆盖”的对话轮次收集起来再次送入 LLM 进行补充提取生成补充记忆M_supp。这样我们就得到了一份更完整的候选记忆集M_cand M_init ∪ M_supp。阶段三记忆验证 (Recurrent Feedback Phase)这是 ProMem 最具创新性的部分也是它实现主动“反思”的关键。自问 (Self-questioning)针对候选内存集中的每一条记忆m系统让 LLM 生成一个用于验证其真实性的问题q_m。比如如果一条记忆是“用户喜欢喝咖啡”生成的验证问题可能是“用户为什么喜欢喝咖啡”或“用户在什么时候会喝咖啡”。寻找证据与验证LLM 带着这个问题q_m重新审视原始对话历史D并扮演“法官”的角色寻找答案。• 如果找不到任何相关信息来回答q_m那么原始记忆m就很可能是一个幻觉应该被丢弃。• 如果找到了答案系统会根据找到的证据提炼出一个更准确、更可靠的新内存条目m_new。去重与合并最后系统会比较新旧记忆条目 (m_new和m)如果它们非常相似就用更可靠的新版本替换旧版本如果它们差异较大说明新版本是一个有价值的补充就将其加入最终的记忆库。通过这样一轮轮的“自问-验证-更新”ProMem 仿佛在进行一场严谨的学术研究最终得到一份经过反复推敲和考证的高质量记忆M_final。五、实验结果效果好才是硬道理ProMem 究竟表现如何让我们直接看数据。在 HaluMem 基准上的惊人表现HaluMem 是一个专门用于评测记忆提取中幻觉问题的基准。在 HaluMem 基准上的性能对比从上表可以看出ProMem 的表现非常亮眼• 在记忆完整性 (Memory Integrity)指标上ProMem 达到了73.80%比当时的基线方法 Mem0 (42.91%)高出超过 30 个百分点。这说明 ProMem 的主动补全和验证机制确实能找回大量被传统方法忽略的关键信息。• 在最终的问答准确率 (QA Accuracy)上ProMem 达到了62.26%同样是所有对比方法中最高的证明了高质量的记忆对下游任务的直接助益。在长程问答任务上的 SOTA 性能LongMemEval 是一个评测长程问答能力的基准。在 LongMemEval 基准上的性能对比如上图所示ProMem 再次以69.57%的问答准确率登顶超越了包括专门为长上下文设计的 LightMem 在内的所有方法。这个结果传递了一个非常重要的信息好的数据比好的算法更重要。与其在“如何从一堆沙子里淘金”优化检索算法上死磕不如从源头把“沙子”变成“金子”提升记忆质量往往能事半功倍。关键模块的价值消融实验为了验证 ProMem 中每个模块的价值研究者们进行了消融实验。ProMem 关键模块的消融研究结果显示无论是去掉记忆补全 (w/o MC) 还是记忆验证 (w/o MV)模型的性能都有明显下降。特别是当两者同时被移除后 (w/o MC MV)记忆完整性暴跌近 20%问答准确率也下降了超过 11%。这有力地证明了 ProMem 设计的每一个环节都是不可或缺的。鲁棒性与适用性不同压缩比下的性能表现研究者还测试了在不同记忆压缩比下 ProMem 的鲁棒性。如上图所示即便在压缩比很高意味着信息丢失严重的情况下ProMem 在各项指标上依然全面优于基线方法 Mem0。使用小型语言模型 (SLM) 的结果更令人欣喜的是当使用计算成本更低的小型语言模型 (SLMs) 时ProMem 依然能在关键指标上取得显著优势这表明该方法具有很好的通用性和经济性。案例分析ProMem 好在哪里最后我们来看一个直观的案例。Mem0 与 ProMem 的案例对比对于同一个问题Mem0 提取的记忆非常笼统“对职业发展有积极影响”导致最终答案也很模糊。而 ProMem 通过主动验证提取到了更具体、更全面的信息“提供了多样的视角和情感支持”因此给出的答案也更贴近事实。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
