[论文学习]使用偏好优化合成资料实现私有联邦学习

Private Federated Learning using Preference-Optimized Synthetic Data (C. Hou et al., ICML 2025, arXiv:2504.16438)核心问题与动机在现代行动装置与隐私敏感应用中如 Google GBoard 键盘预测、语音辨识大量个人资料分散于用户装置上无法直接集中收集以避免隐私洩露。差分隐私联邦学习DP-FL是目前主流解决方案透过在装置上本地训练模型并仅上传加噪的更新来保护隐私。然而随着大型语言模型LLM的兴起DP-FL 面临重大挑战现代 LLM如 LLaMA-3–8B参数量庞大无法轻易部署或训练于资源受限的用户装置。DP 机制引入大量噪声导致模型效用utility大幅下降尤其在文字任务上表现不佳。传统 DP-FL 通讯与计算成本高且难以扩展至大型模型。先前工作如 Wu et al. 2024 使用公开资讯提示工程生成合成资料Hou et al. 2024 的 PrE-Text 基于 Private Evolution (PE) 迭代提示已显示使用差分隐私合成资料DP synthetic data可在伺服器端生成类似私有资料的合成样本然后训练下游小型 on-device 模型。此方法避开了装置端 LLM 部署问题并利用 LLM 的强大生成能力。但仍存在限制高度依赖提示工程prompt engineering难以充分利用 LLM 权重。PE 方法会丢弃低分合成样本浪费潜在有用资讯类似 RLHF 中「坏」样本仍有价值。无法有效将客户反馈转化为 LLM 的持续学习信号。POPri 的核心洞见将私有客户反馈视为偏好排名preference ranking或 RL 奖励将合成资料生成转化为 LLM 的策略优化policy optimization问题。借鑑 DPODirect Preference Optimization等偏好优化技术直接微调 LLM 权重使其生成更高品质的 DP 合成资料。这不仅提升合成资料与私有资料的分布对齐还大幅改善下游任务效能。此外论文贡献了LargeFedBench基准包含 Congressional Speeches134k 客户和 bioRxiv 摘要57k 客户等真实联邦文字资料集强调避免训练资料汙染contamination并支援定期更新以利未来 LLM 评估。结果成果POPri 在多个基准上显着超越先前方法效能提升在 bioRxiv 等 LargeFedBench 资料集上于 ε1 隐私预算下POPri 将「完全私有」与「无隐私」设定间的 next-token prediction accuracy 差距缩小高达 **58%68%**视版本而定远优于先前合成资料方法28%~52%和 SOTA DP-FL 方法3%10%。在文字分类任务如 OpenReview 审稿上也有类似优势。合成资料品质PCA 可视化显示POPri 生成的合成资料分布更接近真实私有资料分布FID 分数等指标改善明显。迭代多轮后可能过拟合需适当停止。成本比较bioRxiv 范例1000 客户/轮相较 DP-FedAvgPOPri 大幅降低通讯量下载减少 ~11.7 倍、上传减少 ~4555 倍和客户端计算相较 PE伺服器端计算增加但整体品质提升显着适合伺服器资源充裕的情境。中央 DP 设定在 PubMed 等基准上POPri 亦优于 Aug-PE 等先前工作。其他支援部分参与partial participation、不同隐私预算ε1 或 7并释出程式码与基准促进社群后续研究。实验使用 LLaMA-3–8B 等 LLM 作为生成器下游模型为 DistilGPT2 或 BERT small 等小型模型验证了实用性。分析与洞见方法创新POPri 流程简化伺服器使用当前 LLM 生成多个提示的多个回应。客户计算嵌入相似度使用 sentence transformer加噪后上传分数向量。伺服器聚合分数建构 preference pairs高分 vs. 低分样本。使用 DPO 微调 LLM 权重而非仅提示或 SFT。重複迭代生成最终合成资料训练下游模型。相较 PE仅用最高分样本做 in-context learning或 PESFT直接监督微调DPO 更能利用「相对偏好」信号避免将「相对好」样本视为完美答案的误导。这与 RLHF/DPO 文献一致preference optimization 优于纯 SFT。优势与权衡优点更好利用客户反馈无需装置端 LLM合成资料可重複使用DP post-processing通讯效率高于传统 FL。限制伺服器端 DPO 计算成本较高迭代轮数需调控以防过拟合仍依赖嵌入模型品质与噪声管理。边缘情况在低参与率或极低 ε 下仍稳健适用于文字生成/分类但对其他模态如影像的扩展需进一步验证。LargeFedBench 帮助避免 contamination是 LLM 时代的重要贡献。更广洞见合成资料 LLM 策略优化 为私有学习提供可扩展路径可能改变 on-device AI 开发典范。强调「反馈利用方式」的重要性从提示 → SFT → Preference Optimization 的演进反映 LLM 对齐技术在隐私领域的迁移。隐私-效用权衡POPri 显示在适当框架下合成资料方法可大幅超越传统 DP-FL尤其适合大型模型时代。未来方向多模型融合、更好噪声处理、更低成本偏好优化、跨模态应用等。结论POPri 是一项具影响力的工作将私有联邦学习重塑为 LLM 偏好优化问题透过有效利用 DP 客户反馈生成高品质合成资料显着提升了隐私保护下的模型效能。它不仅在理论上创新preference-based synthetic data generation也在实务上提供基准、程式码与实验验证降低了 on-device 大模型训练的障碍。对研究者与从业人员而言这开启了「伺服器端 LLM 驱动私有学习」的新范式平衡了隐私、效用与可扩展性。随着 LLM 持续进化类似方法预计将在隐私敏感应用中扮演更重要角色。建议后续研究可聚焦成本优化、长期迭代稳定性以及更多真实世界部署案例。论文连结arXiv: https://arxiv.org/abs/2504.16438含 PDF 与 HTML 版本GitHub 程式码与资料 https://github.com/meiyuw/POPri