![[论文学习] 基于 Tile Tensors 的大规模神经网路加密资料框架](http://pic.xiahunao.cn/yaotu/[论文学习] 基于 Tile Tensors 的大规模神经网路加密资料框架)
HeLayers: A Tile Tensors Framework for Large Neural Networks on Encrypted Data (Ehud Aharoni et al., PETS 2023)1. 核心问题与动机同态加密Homomorphic Encryption, HE允许在不解密的情况下对加密数据进行计算这为**隐私保护机器学习Privacy-Preserving Machine Learning**提供了强大基础尤其适合将敏感数据如医疗影像外包给云端服务同时符合 HIPAA、GDPR 等法规。主要挑战大多数 HE 方案如 CKKS以 SIMDSingle Instruction Multiple Data方式运作一个密文ciphertext只能加密固定长度的向量slot count由安全参数决定。如何有效「packing」打包高维张量tensor如影像批次 4D/5D到这些固定大小的密文中会大幅影响延迟latency、内存用量、吞吐量throughput和通讯成本。打包选择极其复杂不同操作如矩阵乘法、卷积对打包形状的需求不同小型张量会浪费 slot大型张量则需多次旋转rotation操作增加成本。不同优化目标低延迟 vs. 高吞吐 vs. 低内存也会导致不同的最佳打包方案。现有非互动式non-client-aidedHE 解决方案在大型网络如 AlexNet 224×224×3 输入上性能极差先前最佳实现需超过 3 小时80-bit 安全等级远无法实用。client-aided 方法虽较快但需用户在线互动、存在安全风险如模型萃取攻击且违背完全外包的初衷。动机开发一个「packing-oblivious」打包无感知的框架让开发者只需专注于神经网络设计框架自动处理打包优化。同时聚焦非互动式、HE-friendly 模型用多项式激活函数取代 ReLU/MaxPool在不牺牲太多准确度的前提下实现高性能。HeLayers正是 IBM Research 团队为此提出的Tile Tensors框架。2. 结果 / 成果Tile Tensors 数据结构将张量拆分成固定形状的「tiles」每个 tile 对应一个密文提供标准的 tensor API加法、乘法、sum、broadcasting、卷积等内部自动处理 packing、旋转与 HE 操作。支持多种 packing 策略包括交错interleaved、旋转宽张量等涵盖先前多种优化技巧。Packing Optimizer自动探索多种 packing 选项估算每个选项的时间与内存成本根据用户目标latency/throughput/memory选出最佳方案。包含一套描述 packing 的语言方便设计与重现。新型 2D Convolution 算法针对大型输入提出高效 packing 与实现能连续执行多层卷积而无需昂贵的 im2col 预处理im2col 会增加乘法深度不适合 AlexNet 等深层网络。这是论文的重要技术贡献。实验成果CryptoNets 基准测试不同 packing 下延迟从 0.86s 到 11.1s 不等展示框架优化效果。HE-friendly AlexNet大型输入 224×224×3完整 inference 只需约5 分钟128-bit 安全无 bootstrapping比先前非互动式方案快数个数量级是当时已知最大且最快的非互动式实现。框架已开放非商业使用HELayers SDK并在后续工作中被广泛引用。3. 分析与洞见优点与创新抽象化与易用性开发者像写普通 PyTorch/TensorFlow 程序一样操作 tensor框架在底层自动优化 packing大幅降低 HE 程序设计门槛。这与 CHET、nGraph-HE 等编译器理念一致但更专注于 tile-based 通用 packing。弹性与全面性Tile 概念能自然支持不同维度、批次处理与长序列运算特别适合 CNN。Optimizer 考虑实际 HE 库限制如 slot count、旋转成本提供极高的实务价值。安全与实用平衡坚持 non-client-aided 模式提供更好的安全性和用户体验用户只需加密一次数据无需全程在线。HE-friendly 模型的准确度 tradeoff 留给 AI 领域框架本身可随 AI 进展持续受益。限制与边缘考量准确度依赖多项式逼近激活函数可能略微降低模型精度论文未深入讨论视为 AI 领域议题。性能瓶颈仍需大量计算资源5 分钟 inference 对实时应用仍偏慢未使用 bootstrapping限制电路深度适合特定 HE-friendly 架构。通用性最适合 CNN对 Transformer 等 attention-heavy 模型的适用性需额外验证。packing optimizer 在极大型网络上的编译时间可能较长。威胁模型假设模型拥有者/用户/云端间的非共谋non-collusion在某些多方情境下需额外考量。硬件依赖性能高度依赖底层 HE 库如 IBM HELib 或 SEAL未来 GPU/硬件加速可进一步提升。更广泛意涵HeLayers 代表 HE 从理论走向实用的重要一步。它不仅解决了 packing 这一「隐藏难题」也为后续 FHE 编译器、PPML 框架如后来的 Orbit、HEPack 等工作奠定了基础。在Web3、联邦学习、医疗 AI等领域具有巨大潜力——用户可将加密数据上传云端运行大型模型同时保有完整隐私控制。4. 结论HeLayers 透过Tile Tensors框架与自动优化器成功将大型神经网络在加密数据上的非互动式 inference推向实用层级AlexNet 5 分钟大幅缩小了 HE 与明文计算之间的性能差距。其核心贡献在于提供直观抽象、通用 packing 机制与高效卷积实现让隐私保护 AI 开发者能专注于高层逻辑而非底层密码学细节。论文强调随着 HE 硬件加速、更好 HE-friendly 模型与编译技术的进展完全实用的加密 AI 时代即将到来。对于 GitHub 项目这篇论文是极佳的起点可基于开放的 HElayers SDK 实现 demo、扩展到更多网络架构或整合 bootstrapping 与硬件加速开发更强大的隐私计算工具。论文链接PETS 2023 正式版本https://petsymposium.org/popets/2023/popets-2023-0020.pdfarXiv 版本https://arxiv.org/pdf/2011.01805.pdfIBM Research 页面https://research.ibm.com/publications/helayers-a-tile-tensors-framework-for-large-neural-networks-on-encrypted-data
[论文学习] 基于 Tile Tensors 的大规模神经网路加密资料框架
发布时间：2026/5/29 0:51:48
HeLayers: A Tile Tensors Framework for Large Neural Networks on Encrypted Data (Ehud Aharoni et al., PETS 2023)1. 核心问题与动机同态加密Homomorphic Encryption, HE允许在不解密的情况下对加密数据进行计算这为**隐私保护机器学习Privacy-Preserving Machine Learning**提供了强大基础尤其适合将敏感数据如医疗影像外包给云端服务同时符合 HIPAA、GDPR 等法规。主要挑战大多数 HE 方案如 CKKS以 SIMDSingle Instruction Multiple Data方式运作一个密文ciphertext只能加密固定长度的向量slot count由安全参数决定。如何有效「packing」打包高维张量tensor如影像批次 4D/5D到这些固定大小的密文中会大幅影响延迟latency、内存用量、吞吐量throughput和通讯成本。打包选择极其复杂不同操作如矩阵乘法、卷积对打包形状的需求不同小型张量会浪费 slot大型张量则需多次旋转rotation操作增加成本。不同优化目标低延迟 vs. 高吞吐 vs. 低内存也会导致不同的最佳打包方案。现有非互动式non-client-aidedHE 解决方案在大型网络如 AlexNet 224×224×3 输入上性能极差先前最佳实现需超过 3 小时80-bit 安全等级远无法实用。client-aided 方法虽较快但需用户在线互动、存在安全风险如模型萃取攻击且违背完全外包的初衷。动机开发一个「packing-oblivious」打包无感知的框架让开发者只需专注于神经网络设计框架自动处理打包优化。同时聚焦非互动式、HE-friendly 模型用多项式激活函数取代 ReLU/MaxPool在不牺牲太多准确度的前提下实现高性能。HeLayers正是 IBM Research 团队为此提出的Tile Tensors框架。2. 结果 / 成果Tile Tensors 数据结构将张量拆分成固定形状的「tiles」每个 tile 对应一个密文提供标准的 tensor API加法、乘法、sum、broadcasting、卷积等内部自动处理 packing、旋转与 HE 操作。支持多种 packing 策略包括交错interleaved、旋转宽张量等涵盖先前多种优化技巧。Packing Optimizer自动探索多种 packing 选项估算每个选项的时间与内存成本根据用户目标latency/throughput/memory选出最佳方案。包含一套描述 packing 的语言方便设计与重现。新型 2D Convolution 算法针对大型输入提出高效 packing 与实现能连续执行多层卷积而无需昂贵的 im2col 预处理im2col 会增加乘法深度不适合 AlexNet 等深层网络。这是论文的重要技术贡献。实验成果CryptoNets 基准测试不同 packing 下延迟从 0.86s 到 11.1s 不等展示框架优化效果。HE-friendly AlexNet大型输入 224×224×3完整 inference 只需约5 分钟128-bit 安全无 bootstrapping比先前非互动式方案快数个数量级是当时已知最大且最快的非互动式实现。框架已开放非商业使用HELayers SDK并在后续工作中被广泛引用。3. 分析与洞见优点与创新抽象化与易用性开发者像写普通 PyTorch/TensorFlow 程序一样操作 tensor框架在底层自动优化 packing大幅降低 HE 程序设计门槛。这与 CHET、nGraph-HE 等编译器理念一致但更专注于 tile-based 通用 packing。弹性与全面性Tile 概念能自然支持不同维度、批次处理与长序列运算特别适合 CNN。Optimizer 考虑实际 HE 库限制如 slot count、旋转成本提供极高的实务价值。安全与实用平衡坚持 non-client-aided 模式提供更好的安全性和用户体验用户只需加密一次数据无需全程在线。HE-friendly 模型的准确度 tradeoff 留给 AI 领域框架本身可随 AI 进展持续受益。限制与边缘考量准确度依赖多项式逼近激活函数可能略微降低模型精度论文未深入讨论视为 AI 领域议题。性能瓶颈仍需大量计算资源5 分钟 inference 对实时应用仍偏慢未使用 bootstrapping限制电路深度适合特定 HE-friendly 架构。通用性最适合 CNN对 Transformer 等 attention-heavy 模型的适用性需额外验证。packing optimizer 在极大型网络上的编译时间可能较长。威胁模型假设模型拥有者/用户/云端间的非共谋non-collusion在某些多方情境下需额外考量。硬件依赖性能高度依赖底层 HE 库如 IBM HELib 或 SEAL未来 GPU/硬件加速可进一步提升。更广泛意涵HeLayers 代表 HE 从理论走向实用的重要一步。它不仅解决了 packing 这一「隐藏难题」也为后续 FHE 编译器、PPML 框架如后来的 Orbit、HEPack 等工作奠定了基础。在Web3、联邦学习、医疗 AI等领域具有巨大潜力——用户可将加密数据上传云端运行大型模型同时保有完整隐私控制。4. 结论HeLayers 透过Tile Tensors框架与自动优化器成功将大型神经网络在加密数据上的非互动式 inference推向实用层级AlexNet 5 分钟大幅缩小了 HE 与明文计算之间的性能差距。其核心贡献在于提供直观抽象、通用 packing 机制与高效卷积实现让隐私保护 AI 开发者能专注于高层逻辑而非底层密码学细节。论文强调随着 HE 硬件加速、更好 HE-friendly 模型与编译技术的进展完全实用的加密 AI 时代即将到来。对于 GitHub 项目这篇论文是极佳的起点可基于开放的 HElayers SDK 实现 demo、扩展到更多网络架构或整合 bootstrapping 与硬件加速开发更强大的隐私计算工具。论文链接PETS 2023 正式版本https://petsymposium.org/popets/2023/popets-2023-0020.pdfarXiv 版本https://arxiv.org/pdf/2011.01805.pdfIBM Research 页面https://research.ibm.com/publications/helayers-a-tile-tensors-framework-for-large-neural-networks-on-encrypted-data
