δ - mem:提升大型语言模型内存效率,得分最高可达 1.31 倍!

发布时间:2026/5/17 9:28:45

δ - mem:提升大型语言模型内存效率,得分最高可达 1.31 倍! 快速通道可了解 arXiv 成为独立非营利组织的情况也能直达康奈尔大学官网。同时还能通过链接进行捐赠支持 arXiv 的发展。搜索与导航提供了多种搜索途径可在所有字段标题、作者、摘要等进行搜索。还有快速链接如登录、查看帮助页面和了解关于 arXiv 的信息。论文详情在计算机科学 - 人工智能领域有一篇名为 $δ$-mem大型语言模型的高效在线内存 的论文arXiv:2605.12357。该论文于 2026 年 5 月 12 日提交作者有雷景迪、张迪等 10 人。论文亮点在长期助手和智能体系统中大型语言模型积累和复用历史信息需求增大但单纯扩大上下文窗口成本高且效果不佳。$δ$-mem 作为轻量级内存机制通过紧凑的在线关联内存状态增强固定的全注意力主干网络。它将过去信息压缩成固定大小的状态矩阵并更新在生成过程中对主干网络的注意力计算进行低秩校正。仅用一个 $8×8$ 的在线内存状态$δ$-mem 就能将平均得分提高到固定主干网络的 1.10 倍非 $δ$-mem 最强内存基线的 1.15 倍。在对内存要求较高的基准测试中提升更大在 MemoryAgentBench 上达到 1.31 倍在 LoCoMo 上达到 1.20 倍还保留了通用能力。论文相关信息学科分类为人工智能 (cs.AI) 有具体的引用格式。提交历史显示来自雷景迪于 2026 年 5 月 12 日提交 v1 版本。可查看论文的 PDF 版本和 TeX 源代码还能了解论文的许可信息。浏览与参考当前浏览上下文为计算机科学 - 人工智能可进行上一篇、下一篇文章的切换也能查看最新、近期文章。还提供了多种参考文献与引用工具如 NASA ADS、谷歌学术等。其他相关资源涵盖代码、数据和媒体相关的切换选项如 alphaXiv、CatalyzeX 等。还有演示相关的切换如复制、空间等。此外有推荐器和搜索工具如影响力花、CORE 推荐器等。关于 arXivLabsarXivLabs 是允许合作伙伴在 arXiv 网站开发和共享新功能的框架。与 arXivLabs 合作的个人和组织需认同并接受开放、社区、卓越和用户数据隐私价值观。若有能为 arXiv 社区增值的项目想法可了解更多关于 arXivLabs 的信息。同时还提供了关于 arXiv 的多方面信息如联系 arXiv、订阅邮件列表等。

相关新闻