之前文章介绍过89.2%攻击成功率腾讯、字节研究发现 OpenClaw Agent 存在可利用结构性漏洞今天介绍一个 MemPrivacy 项目来自 MemTensor、荣耀和同济大学的联合团队。他们的研究让云端智能体能正常记住你但永远看不到你的真实数据。效用损失控制在1.6%以内性能大幅超过 GPT-5.2 和 Gemini-3.1-Pro。问题起源为了让智能体了解你你需要把对话历史、偏好、上下文都存起来。这些数据里不可避免地夹杂着各种隐私信息。之前的研究已经证实了几种针对记忆内容攻击路径1. 记忆检索泄露攻击者通过精心构造的查询诱使系统返回其他用户或同一用户的历史隐私数据。2. 提示注入操控攻击者在某个对话轮次中注入恶意指令让智能体主动回忆并输出敏感信息。3. 日志与存储暴露云端日志、向量数据库、外部记忆存储中的明文数据在后续的存储、检索和复用阶段持续可被访问。直接打码比如把身份证号变成***保护了隐私但也破坏了语义。模型无法区分这是身份证号和这是随便一串数字。如果使用差分隐私加噪声则会模糊任务相关信息个性化质量大幅下降。如果用加密计算又太慢跟交互式推理流式输出不兼容。为了隐私牺牲了智能。策略对比有没有折衷方案MemPrivay 的策略本地识别隐私云端用占位符本地再恢复。这个方案的好处在于不破坏语义。举个例子。你说我的血压是160/110帮我看看需不需要吃药。如果是模糊隐私的做法会形成我的 *** 是 ***帮我看看需不需要吃药。MemPrivacy我的 Health_Info_1 是 Health_Info_2帮我看看需不需要吃药。大模型能理解这是健康相关的数值需要医学判断。但它不知道具体数值。等返回血压偏高建议就医之后本地再把占位符替换回原始值。用户看到的是你的血压160/110偏高建议就医。隐私值和语义角色被完全解耦。框架概览整个框架分三个阶段形成一个闭环阶段1上行脱敏。用户在本地发消息轻量级 MemPrivacy 模型先在设备上跑一遍识别出所有隐私片段给每个片段打上隐私级别和类型标签然后替换成类型化占位符。比如 Email 类型的就用Email_1,Email_2。原始值和占位符的映射关系安全存储在本地 SQLite 数据库里。阶段2云端处理。脱敏后的文本发到云端大模型正常做推理和记忆操作。因为有类型标签模型知道这是Email、那是Health Info语义理解不受影响。但云端永远看不到真实的邮箱地址和血压数值。阶段3下行恢复。云端返回结果后本地数据库查映射表把占位符替换回原始值。整个过程只是数据库查询加字符串替换延迟几乎不可感知。这就是 架构级隐私隔离。云端的任何组件从推理引擎到向量数据库到日志系统都没有你的原始隐私敏感数据。四级隐私分类MemPrivacy 引入了一套 PL1 到 PL4 的分类体系允许用户根据场景灵活配置保护策略。级别含义典型内容推荐策略PL1低敏感/偏好类我喜欢科幻片、说话语气、通用习惯可以保留用于个性化PL2可识别身份信息真实姓名、手机号、邮箱、详细地址、账号ID长期记忆中默认不允许PL3高敏感个人信息健康记录、财务记录、精确定位、宗教信仰/族裔禁止进入通用记忆PL4即时可利用的凭证密码、OTP验证码、恢复码、API密钥、会话Token零留存必须阻断PL2 对标的是主流数据保护法律对个人数据的定义能否直接或间接识别到具体的人。PL3 对标的是 GDPR 的特殊类别数据判断标准是泄露后是否会造成实质性伤害。PL4 则是一个更严格的定义暴露后能否直接用于认证、授权或系统入侵。PL4 把密码、恢复码、API密钥、会话Cookie这类跟普通隐私完全不是一个量级的威胁单独拎了出来。窃取的会话Cookie可以直接重放访问已认证的服务甚至能绕过部分多因素认证保护。这类数据的暴露不需要进一步利用本身就是最高级别的安全事件。可以在代码里设定只保护 PL3 和 PL4让 AI 正常使用你的姓名和邮箱来个性化服务。也可以在企业场景设为 PL2-PL4 全部保护一条个人信息都不给云端。评测结果论文在两个数据集上做了全面的对比实验MemPrivacy-Bench自建的200用户双语数据集超过15.5万个隐私实例和 PersonaMem-v2外部个性化能力评估基准。隐私提取能力模型MemPrivacy-Bench F1PersonaMem-v2 F1推理时间(秒)GPT-5.268.9988.064.62Gemini-3.1-Pro78.4186.5932.87DeepSeek-V3.2-Think75.0492.1896.14OpenAI-Privacy-Filter35.5085.270.34MemPrivacy-0.6B-SFT83.0992.081.96MemPrivacy-4B-RL85.9794.482.05亮点1. 最小的 MemPrivacy 0.6B 模型F1 已经达到 83.09%干掉了表格里所有通用大模型。包括 GPT-5.2 和 Gemini-3.1-Pro。2. 最强的 MemPrivacy-4B-RL 比 Gemini-3.1-Pro 高出 7.56 个百分点而且推理速度快了 15 倍2秒 vs 33秒。3. OpenAI 在2026年4月刚开源的 Privacy-FilterF1 只有 35.50%。不是它不行而是 MemPrivacy 的任务是细粒度的类型级隐私分类 级别判定远远超出了简单的 PII 检测。研究团队还在 LangMem、Mem0、Memobase 三个主流记忆系统上做了测试场景LangMemMem0Memobase无保护理想上限65.3768.6238.62传统打码 PL2-438.70 (-26.67)26.75 (-41.87)21.63 (-16.99)MemPrivacy PL2-464.07 (-1.30)67.89 (-0.73)37.89 (-0.73)MemPrivacy 仅PL465.28 (-0.09)68.29 (-0.33)38.54 (-0.08)传统打码直接让准确率腰斩在 Mem0 上从 68.62% 暴跌到 26.75%。而 MemPrivacy 在最严格的 PL2-4 保护下损失只有 0.73%-1.60%。如果只保护 PL4 凭证类信息损失可以忽略不计不超过 0.89%不同隐私问题比例下的准确率随着测试中隐私相关问题比例升高传统打码的性能急剧下降。MemPrivacy 的曲线却保持平滑几乎没有因为隐私密度增加而产生额外退化。如何使用GitHub 开源地址http://github.com/MemTensor/MemPrivacy。模型发布在 HuggingFace 和 ModelScope从 0.6B 到 4B 共 8 个变体覆盖 SFT 和 RL 两种训练方式。第一步安装git clone https://github.com/MemTensor/MemPrivacy.git cd MemPrivacy python -m venv .venv source .venv/bin/activate pip install -r requirements.txt第二步配置需要配置两个 YAML 文件。src/privacy_config.yaml用于框架本身llm: base_url: 你的LLM服务地址 api_key: 你的API密钥 privacy: db_path: local_privacy_store.sqlite # 本地映射数据库 mask_levels: [PL3, PL4] # 只保护高敏感内容evaluation/eval_config.yaml用于跑评估基准可选。第三步核心代码嵌入隐私保护层from src.privacy_masking import PrivacyStore, mask_dialogue, unmask_dialogue # 初始化本地隐私映射存储 store PrivacyStore(db_pathlocal_privacy_store.sqlite) # 假定的隐私检测结果由 MemPrivacy 模型在本地生成 detected_privacy_items [ {text: 13812345678, type: Phone, level: PL2}, {text: 160/110, type: Health_Info, level: PL3}, {text: RC-7291, type: Recovery_Code, level: PL4}, ] # 上行脱敏 user_text 我的手机是13812345678血压160/110恢复码是RC-7291 masked_text, meta mask_dialogue( textuser_text, privacy_itemsdetected_privacy_items, storestore, modetype_specific, # 类型化占位符Phone_1, Health_Info_1 ) # masked_text: 我的手机是Phone_1血压Health_Info_1恢复码是Recovery_Code_1 # 这个 masked_text 发送到云端做推理和记忆操作 # 下行恢复 cloud_response 您提供的Health_Info_1偏高建议就医。验证码Recovery_Code_1已过期。 restored unmask_dialogue(cloud_response, storestore) # restored: 您提供的160/110偏高建议就医。验证码RC-7291已过期。三种掩码模式1.type_specificEmail_1, Phone_2保留完整语义类型效用最高。2.genericPrivacy_1, Privacy_2只告诉模型这里是隐私语义信号减弱。3.complete直接删除隐私片段隐私保护最彻底但效用最低。保护等级PL1-PL4可以任意设置# 只保护凭证类PL4 mask_levels: [PL4] # 保护高敏感及以上PL3 PL4 mask_levels: [PL3, PL4] # 全量保护PL2 PL3 PL4 mask_levels: [PL2, PL3, PL4]第四步接入现有记忆系统MemPrivacy 作为无侵入的隐私代理层可以直接包裹在任何记忆系统外层。以 Mem0 为例# 在每次向 Mem0 写入记忆前先过 MemPrivacy def safe_memory_add(user_text, mem0_client, privacy_store): # 1. 本地隐私检测调用 MemPrivacy 模型 detected memprivacy_model.detect(user_text) # 2. 脱敏 safe_text, _ mask_dialogue(user_text, detected, privacy_store) # 3. 云端写入脱敏后的内容 mem0_client.add(safe_text, user_iduser_id) # 同理Mem0 检索和问答也走相同流程 def safe_memory_query(query, mem0_client, privacy_store): detected memprivacy_model.detect(query) safe_query, _ mask_dialogue(query, detected, privacy_store) result mem0_client.search(safe_query, user_iduser_id) return unmask_dialogue(result, privacy_store)不需要改记忆系统一行代码。MemPrivacy 只在数据出入的时做编码解码完全无感接入。最后AI 智能体正在逐渐成为我们日常生活工作中离不开的伙伴。这个过程就需要记住你的各种信息才能更好的懂你完成你交付的任务但是同时会带来你的信息暴露给云端大模型的问题。MemPrivacy 的解决方案是让你的隐私信息保留在本地/端侧让云端大模型给你做推理完成任务。0.6B 模型在手机上就能跑推理延迟不到1秒。接入现有记忆系统不需要改造底层代码。保护策略可以按 PL1 到 PL4 灵活配置。非常合适构建一个带记忆功能的 AI 项目应用。参考论文MemPrivacy: Privacy-Preserving Personalized Memory Management for Edge-Cloud Agentshttps://arxiv.org/abs/2605.09530推荐阅读Anthropic 百万行代码库的官方最佳实践Lazyweb 免费的 25.7 万截图库让 AI 写出好看的前端页面Multica让 AI 智能体变为你的员工给 AI 装上真实浏览器camofox-browser 实战基于 DeepSeek 的编程智能体 TUIChatGPT 里的哥布林goblins是怎么来的不用一个违禁词 让 Claude 说出炸药配方红队攻击实录大模型黑箱揭秘GPT、Claude、Gemini、Grok、Hermes 系统提示词全公开jcode 深度解析纯 Rust 打造它凭什么号称「最强 Coding Agent」从73.7到89.5HALO 智能体用轨迹分析实现了递归自我进化Claude Code 写攻击脚本 OpenClaw 自动指挥900家公司3万密钥外泄没人整理过的 DeepSeek 进化史25篇论文里的技术蜕变
MemPrivacy：面向端云智能体的隐私保护个性化记忆管理框架
发布时间：2026/5/17 9:42:47
之前文章介绍过89.2%攻击成功率腾讯、字节研究发现 OpenClaw Agent 存在可利用结构性漏洞今天介绍一个 MemPrivacy 项目来自 MemTensor、荣耀和同济大学的联合团队。他们的研究让云端智能体能正常记住你但永远看不到你的真实数据。效用损失控制在1.6%以内性能大幅超过 GPT-5.2 和 Gemini-3.1-Pro。问题起源为了让智能体了解你你需要把对话历史、偏好、上下文都存起来。这些数据里不可避免地夹杂着各种隐私信息。之前的研究已经证实了几种针对记忆内容攻击路径1. 记忆检索泄露攻击者通过精心构造的查询诱使系统返回其他用户或同一用户的历史隐私数据。2. 提示注入操控攻击者在某个对话轮次中注入恶意指令让智能体主动回忆并输出敏感信息。3. 日志与存储暴露云端日志、向量数据库、外部记忆存储中的明文数据在后续的存储、检索和复用阶段持续可被访问。直接打码比如把身份证号变成***保护了隐私但也破坏了语义。模型无法区分这是身份证号和这是随便一串数字。如果使用差分隐私加噪声则会模糊任务相关信息个性化质量大幅下降。如果用加密计算又太慢跟交互式推理流式输出不兼容。为了隐私牺牲了智能。策略对比有没有折衷方案MemPrivay 的策略本地识别隐私云端用占位符本地再恢复。这个方案的好处在于不破坏语义。举个例子。你说我的血压是160/110帮我看看需不需要吃药。如果是模糊隐私的做法会形成我的 *** 是 ***帮我看看需不需要吃药。MemPrivacy我的 Health_Info_1 是 Health_Info_2帮我看看需不需要吃药。大模型能理解这是健康相关的数值需要医学判断。但它不知道具体数值。等返回血压偏高建议就医之后本地再把占位符替换回原始值。用户看到的是你的血压160/110偏高建议就医。隐私值和语义角色被完全解耦。框架概览整个框架分三个阶段形成一个闭环阶段1上行脱敏。用户在本地发消息轻量级 MemPrivacy 模型先在设备上跑一遍识别出所有隐私片段给每个片段打上隐私级别和类型标签然后替换成类型化占位符。比如 Email 类型的就用Email_1,Email_2。原始值和占位符的映射关系安全存储在本地 SQLite 数据库里。阶段2云端处理。脱敏后的文本发到云端大模型正常做推理和记忆操作。因为有类型标签模型知道这是Email、那是Health Info语义理解不受影响。但云端永远看不到真实的邮箱地址和血压数值。阶段3下行恢复。云端返回结果后本地数据库查映射表把占位符替换回原始值。整个过程只是数据库查询加字符串替换延迟几乎不可感知。这就是 架构级隐私隔离。云端的任何组件从推理引擎到向量数据库到日志系统都没有你的原始隐私敏感数据。四级隐私分类MemPrivacy 引入了一套 PL1 到 PL4 的分类体系允许用户根据场景灵活配置保护策略。级别含义典型内容推荐策略PL1低敏感/偏好类我喜欢科幻片、说话语气、通用习惯可以保留用于个性化PL2可识别身份信息真实姓名、手机号、邮箱、详细地址、账号ID长期记忆中默认不允许PL3高敏感个人信息健康记录、财务记录、精确定位、宗教信仰/族裔禁止进入通用记忆PL4即时可利用的凭证密码、OTP验证码、恢复码、API密钥、会话Token零留存必须阻断PL2 对标的是主流数据保护法律对个人数据的定义能否直接或间接识别到具体的人。PL3 对标的是 GDPR 的特殊类别数据判断标准是泄露后是否会造成实质性伤害。PL4 则是一个更严格的定义暴露后能否直接用于认证、授权或系统入侵。PL4 把密码、恢复码、API密钥、会话Cookie这类跟普通隐私完全不是一个量级的威胁单独拎了出来。窃取的会话Cookie可以直接重放访问已认证的服务甚至能绕过部分多因素认证保护。这类数据的暴露不需要进一步利用本身就是最高级别的安全事件。可以在代码里设定只保护 PL3 和 PL4让 AI 正常使用你的姓名和邮箱来个性化服务。也可以在企业场景设为 PL2-PL4 全部保护一条个人信息都不给云端。评测结果论文在两个数据集上做了全面的对比实验MemPrivacy-Bench自建的200用户双语数据集超过15.5万个隐私实例和 PersonaMem-v2外部个性化能力评估基准。隐私提取能力模型MemPrivacy-Bench F1PersonaMem-v2 F1推理时间(秒)GPT-5.268.9988.064.62Gemini-3.1-Pro78.4186.5932.87DeepSeek-V3.2-Think75.0492.1896.14OpenAI-Privacy-Filter35.5085.270.34MemPrivacy-0.6B-SFT83.0992.081.96MemPrivacy-4B-RL85.9794.482.05亮点1. 最小的 MemPrivacy 0.6B 模型F1 已经达到 83.09%干掉了表格里所有通用大模型。包括 GPT-5.2 和 Gemini-3.1-Pro。2. 最强的 MemPrivacy-4B-RL 比 Gemini-3.1-Pro 高出 7.56 个百分点而且推理速度快了 15 倍2秒 vs 33秒。3. OpenAI 在2026年4月刚开源的 Privacy-FilterF1 只有 35.50%。不是它不行而是 MemPrivacy 的任务是细粒度的类型级隐私分类 级别判定远远超出了简单的 PII 检测。研究团队还在 LangMem、Mem0、Memobase 三个主流记忆系统上做了测试场景LangMemMem0Memobase无保护理想上限65.3768.6238.62传统打码 PL2-438.70 (-26.67)26.75 (-41.87)21.63 (-16.99)MemPrivacy PL2-464.07 (-1.30)67.89 (-0.73)37.89 (-0.73)MemPrivacy 仅PL465.28 (-0.09)68.29 (-0.33)38.54 (-0.08)传统打码直接让准确率腰斩在 Mem0 上从 68.62% 暴跌到 26.75%。而 MemPrivacy 在最严格的 PL2-4 保护下损失只有 0.73%-1.60%。如果只保护 PL4 凭证类信息损失可以忽略不计不超过 0.89%不同隐私问题比例下的准确率随着测试中隐私相关问题比例升高传统打码的性能急剧下降。MemPrivacy 的曲线却保持平滑几乎没有因为隐私密度增加而产生额外退化。如何使用GitHub 开源地址http://github.com/MemTensor/MemPrivacy。模型发布在 HuggingFace 和 ModelScope从 0.6B 到 4B 共 8 个变体覆盖 SFT 和 RL 两种训练方式。第一步安装git clone https://github.com/MemTensor/MemPrivacy.git cd MemPrivacy python -m venv .venv source .venv/bin/activate pip install -r requirements.txt第二步配置需要配置两个 YAML 文件。src/privacy_config.yaml用于框架本身llm: base_url: 你的LLM服务地址 api_key: 你的API密钥 privacy: db_path: local_privacy_store.sqlite # 本地映射数据库 mask_levels: [PL3, PL4] # 只保护高敏感内容evaluation/eval_config.yaml用于跑评估基准可选。第三步核心代码嵌入隐私保护层from src.privacy_masking import PrivacyStore, mask_dialogue, unmask_dialogue # 初始化本地隐私映射存储 store PrivacyStore(db_pathlocal_privacy_store.sqlite) # 假定的隐私检测结果由 MemPrivacy 模型在本地生成 detected_privacy_items [ {text: 13812345678, type: Phone, level: PL2}, {text: 160/110, type: Health_Info, level: PL3}, {text: RC-7291, type: Recovery_Code, level: PL4}, ] # 上行脱敏 user_text 我的手机是13812345678血压160/110恢复码是RC-7291 masked_text, meta mask_dialogue( textuser_text, privacy_itemsdetected_privacy_items, storestore, modetype_specific, # 类型化占位符Phone_1, Health_Info_1 ) # masked_text: 我的手机是Phone_1血压Health_Info_1恢复码是Recovery_Code_1 # 这个 masked_text 发送到云端做推理和记忆操作 # 下行恢复 cloud_response 您提供的Health_Info_1偏高建议就医。验证码Recovery_Code_1已过期。 restored unmask_dialogue(cloud_response, storestore) # restored: 您提供的160/110偏高建议就医。验证码RC-7291已过期。三种掩码模式1.type_specificEmail_1, Phone_2保留完整语义类型效用最高。2.genericPrivacy_1, Privacy_2只告诉模型这里是隐私语义信号减弱。3.complete直接删除隐私片段隐私保护最彻底但效用最低。保护等级PL1-PL4可以任意设置# 只保护凭证类PL4 mask_levels: [PL4] # 保护高敏感及以上PL3 PL4 mask_levels: [PL3, PL4] # 全量保护PL2 PL3 PL4 mask_levels: [PL2, PL3, PL4]第四步接入现有记忆系统MemPrivacy 作为无侵入的隐私代理层可以直接包裹在任何记忆系统外层。以 Mem0 为例# 在每次向 Mem0 写入记忆前先过 MemPrivacy def safe_memory_add(user_text, mem0_client, privacy_store): # 1. 本地隐私检测调用 MemPrivacy 模型 detected memprivacy_model.detect(user_text) # 2. 脱敏 safe_text, _ mask_dialogue(user_text, detected, privacy_store) # 3. 云端写入脱敏后的内容 mem0_client.add(safe_text, user_iduser_id) # 同理Mem0 检索和问答也走相同流程 def safe_memory_query(query, mem0_client, privacy_store): detected memprivacy_model.detect(query) safe_query, _ mask_dialogue(query, detected, privacy_store) result mem0_client.search(safe_query, user_iduser_id) return unmask_dialogue(result, privacy_store)不需要改记忆系统一行代码。MemPrivacy 只在数据出入的时做编码解码完全无感接入。最后AI 智能体正在逐渐成为我们日常生活工作中离不开的伙伴。这个过程就需要记住你的各种信息才能更好的懂你完成你交付的任务但是同时会带来你的信息暴露给云端大模型的问题。MemPrivacy 的解决方案是让你的隐私信息保留在本地/端侧让云端大模型给你做推理完成任务。0.6B 模型在手机上就能跑推理延迟不到1秒。接入现有记忆系统不需要改造底层代码。保护策略可以按 PL1 到 PL4 灵活配置。非常合适构建一个带记忆功能的 AI 项目应用。参考论文MemPrivacy: Privacy-Preserving Personalized Memory Management for Edge-Cloud Agentshttps://arxiv.org/abs/2605.09530推荐阅读Anthropic 百万行代码库的官方最佳实践Lazyweb 免费的 25.7 万截图库让 AI 写出好看的前端页面Multica让 AI 智能体变为你的员工给 AI 装上真实浏览器camofox-browser 实战基于 DeepSeek 的编程智能体 TUIChatGPT 里的哥布林goblins是怎么来的不用一个违禁词 让 Claude 说出炸药配方红队攻击实录大模型黑箱揭秘GPT、Claude、Gemini、Grok、Hermes 系统提示词全公开jcode 深度解析纯 Rust 打造它凭什么号称「最强 Coding Agent」从73.7到89.5HALO 智能体用轨迹分析实现了递归自我进化Claude Code 写攻击脚本 OpenClaw 自动指挥900家公司3万密钥外泄没人整理过的 DeepSeek 进化史25篇论文里的技术蜕变
