2025-11-13T23:49:14.865072

PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models

Li, Yu, Zhao
AI foundation models have recently demonstrated impressive capabilities across a wide range of tasks. Fine-tuning (FT) is a method of customizing a pre-trained AI foundation model by further training it on a smaller, targeted dataset. In this paper, we initiate the study of the Privacy-Preserving Parameter-Efficient FT (P3EFT) framework, which can be viewed as the intersection of Parameter-Efficient FT (PEFT) and Privacy-Preserving FT (PPFT). PEFT modifies only a small subset of the model's parameters to achieve FT (i.e., adapting a pre-trained model to a specific dataset), while PPFT uses privacy-preserving technologies to protect the confidentiality of the model during the FT process. There have been many studies on PEFT or PPFT but very few on their fusion, which motivates our work on P3EFT to achieve both parameter efficiency and model privacy. To exemplify our P3EFT, we present the PrivTuner scheme, which incorporates Fully Homomorphic Encryption (FHE) enabled privacy protection into LoRA (short for ``Low-Rank Adapter''). Intuitively speaking, PrivTuner allows the model owner and the external data owners to collaboratively implement PEFT with encrypted data. After describing PrivTuner in detail, we further investigate its energy consumption and privacy protection. Then, we consider a PrivTuner system over wireless communications and formulate a joint optimization problem to adaptively minimize energy while maximizing privacy protection, with the optimization variables including FDMA bandwidth allocation, wireless transmission power, computational resource allocation, and privacy protection. A resource allocation algorithm is devised to solve the problem. Experiments demonstrate that our algorithm can significantly reduce energy consumption while adapting to different privacy requirements.
academic

PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models

基本信息

  • 论文ID: 2410.00433
  • 标题: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models
  • 作者: Yang Li, Wenhan Yu, Jun Zhao (Nanyang Technological University)
  • 分类: cs.CR (Cryptography and Security)
  • 发表时间: 2024年10月 (arXiv preprint)
  • 论文链接: https://arxiv.org/abs/2410.00433

摘要

本文提出了Privacy-Preserving Parameter-Efficient Fine-Tuning (P3EFT)框架，将参数高效微调(PEFT)与隐私保护微调(PPFT)相结合。作者设计了PrivTuner方案，将全同态加密(FHE)集成到LoRA中，实现了模型所有者与外部数据所有者的协作式隐私保护微调。论文进一步考虑了无线通信环境下的PrivTuner系统，建立了联合优化问题以最小化能耗同时最大化隐私保护，并提出了相应的资源分配算法。

研究背景与动机

核心问题

  1. 隐私保护需求：AI基础模型的微调过程中存在数据隐私和模型隐私问题。企业不愿意共享私有数据，同时模型所有者也不愿意暴露模型参数。
  2. 计算效率挑战：传统的全参数微调计算开销巨大，特别是对于大型基础模型，本地微调对资源受限设备构成重大负担。
  3. 现有方法局限性：
    • PEFT方法虽然减少了计算负担，但忽略了隐私保护问题
    • PPFT方法能保护隐私，但通常引入额外的通信和计算开销

研究动机

现有研究主要关注PEFT或PPFT的单独应用，缺乏两者融合的系统性研究。本文旨在填补这一空白，提出P3EFT框架，在有限计算预算下实现隐私保护和参数效率的双重目标。

核心贡献

  1. 提出P3EFT框架：首次系统性地将PEFT和PPFT相结合，桥接了两个研究领域的空白。
  2. 设计PrivTuner方案：将CKKS全同态加密方案与LoRA技术结合，实现了安全高效的协作微调，在保护数据和模型隐私的同时减少计算负担。
  3. 建立消耗和隐私保护模型：从服务器和设备角度分析了时间和能耗模型，提供了隐私保护级别的量化指标。
  4. 设计联合优化算法：提出了结合分支定界(B&B)和分式规划技术的资源分配算法，有效解决了计算能力、无线通信资源和FHE设置的联合优化问题。

方法详解

任务定义

P3EFT任务定义为：给定预训练基础模型W₀和私有数据集，在保护数据隐私和模型隐私的前提下，仅更新少量参数实现模型微调。

PrivTuner架构

系统模型

  • 参与方：模型所有者服务器和N个外部移动设备
  • 安全模型：诚实但好奇(honest but curious)模型
  • 核心思想：设备传输FHE加密数据而非原始数据，服务器在加密数据上执行计算

关键步骤

步骤1：数据加密

pkₙ, skₙ = KeyGen(λₙ, qₙ), ∀n ∈ N
X̃ᶠᵗₙ = Enc(pkₙ, Xᶠᵗₙ), ∀n ∈ N

步骤2：适配器生成 采用LoRA技术生成低秩适配器：

Aₙ = {A¹ₙ, A²ₙ} = LoRAₙ(W₀), ∀n ∈ N

步骤3：加密预测 在加密数据上执行预测：

Ỹᵖₙ = Eval(pkₙ, (W₀, Aₙ), X̃ᶠᵗₙ, fᵖ), ∀n ∈ N

其中预测函数为：

fᵖ(W₀, Aₙ, X̃ᶠᵗₙ) = W₀X̃ᶠᵗₙ + A¹ₙA²ₙX̃ᶠᵗₙ

步骤4：解密和损失计算

Yᵖₙ = Dec(skₙ, Ỹᵖₙ)
Lₙ = Lₙ(Yᵖₙ, Yᶠᵗₙ)

步骤5：适配器更新 基于损失函数更新适配器参数。

HE-friendly BERT-Tiny模型

采用CKKS方案处理BERT-Tiny模型中的非线性函数：

  • Softmax：使用Maclaurin级数近似指数函数
  • GeLU：采用Chebyshev多项式近似
  • LayerNorm：预计算均值和标准差简化计算
  • 除法运算：使用Chebyshev多项式近似

技术创新点

  1. FHE与LoRA的有机结合：首次将CKKS全同态加密与LoRA技术结合，实现了在加密域上的参数高效微调。
  2. 非线性函数处理：系统性地解决了Transformer模型中非线性函数在FHE环境下的计算问题。
  3. 资源优化框架：考虑了无线通信环境下的实际约束，建立了能耗与隐私保护的权衡优化模型。

实验设置

数据集

使用GLUE benchmark中的三个数据集：

  • SST-2：情感分析任务
  • MRPC：句子相似性判断
  • RTE：文本蕴含识别

实验环境

  • 硬件：Intel Xeon Gold 5218R CPU@2.10GHz
  • FHE库：OpenFHE with HEXL加速
  • FHE参数：多项式度λ=2¹⁵, 系数模q=1767 bits

评价指标

  • 准确率：模型分类性能
  • 能耗：总体能量消耗(焦耳)
  • 隐私保护级别：基于LWE-estimator的安全级别(比特)
  • 运行时间：各操作的时间开销

对比方法

  • Average Allocation：平均分配资源
  • Optimize f,g only：仅优化计算频率
  • Optimize p,B only：仅优化传输功率和带宽

实验结果

主要结果

模型性能

数据集BERT-TinyFHE-BERT-Tiny性能下降
SST-20.8230.7900.033
MRPC0.7030.6750.028
RTE0.6010.5640.037

运行时间分析

操作时间消耗(秒)
加密(客户端)0.7106
预测(服务器)163.3211
解密(客户端)0.0119
总计164.0436

不同λ下的性能权衡

λ运行时间安全级别(比特)
2¹⁵164.04s66.1
2¹⁶330.13s128.4
2¹⁷719.64s277.0

能耗优化结果

在不同资源配置下，提出的联合优化算法相比基准方法：

  • 带宽变化：当总带宽从5MHz增加到25MHz时，算法始终保持最优性能
  • 传输功率：在10-30dBm范围内，优化算法表现稳定
  • 时间预算：随着设备时间预算增加，能耗显著降低

隐私保护权衡分析

通过调节权重参数ω(1-10)：

  • 能耗与隐私的权衡：ω增加时，隐私保护级别提升但能耗增加
  • 设备选择策略：隐私关注度高的设备倾向于选择更大的λ值

消融实验

验证了各个优化组件的有效性：

  • 联合优化相比单独优化f,g或p,B有显著改进
  • 分支定界算法有效解决了离散优化问题
  • 分式规划技术成功处理了非凸优化挑战

相关工作

PEFT相关研究

  • LoRA：低秩适配器技术
  • Prefix-tuning, Prompt tuning, BitFit：其他参数高效方法

PPFT相关研究

  • 联邦学习：分布式隐私保护训练
  • 差分隐私：添加噪声保护隐私
  • 安全多方计算：多方协作计算
  • 同态加密：加密域计算

FHE在深度学习中的应用

  • CNN应用：CryptoNets, CareNets等
  • RNN应用：处理序列数据的隐私保护
  • Transformer应用：Iron, BOLT, BlindTune等

结论与讨论

主要结论

  1. P3EFT框架的可行性：PrivTuner成功证明了同时实现参数效率和隐私保护的可能性
  2. 实用性验证：在GLUE数据集上取得了可接受的性能，隐私保护代价相对较小
  3. 优化算法有效性：联合资源分配算法在能耗-隐私权衡中表现优异

局限性

  1. 适配器隐私：当前方案中适配器以明文形式存储，可能泄露部分信息
  2. 计算开销：FHE操作仍然存在显著的计算开销，限制了实时应用
  3. 安全模型限制：仅考虑诚实但好奇模型，未处理恶意对手场景
  4. 扩展性问题：随着模型规模增大，FHE开销可能成为瓶颈

未来方向

  1. 恶意安全：扩展到恶意对手模型
  2. 硬件加速：利用GPU等专用硬件加速FHE计算
  3. 更强隐私保护：探索MPC等技术保护适配器隐私
  4. 大模型适配：研究在更大规模模型上的应用

深度评价

优点

  1. 创新性强：首次系统性地结合PEFT和PPFT，填补了重要研究空白
  2. 理论完整：提供了完整的理论分析框架，包括安全性、复杂度和收敛性分析
  3. 实验充分：从多个维度验证了方法的有效性，包括准确率、能耗、隐私保护等
  4. 实用考虑：考虑了无线通信环境下的实际约束，具有良好的应用前景

不足

  1. 性能下降：FHE引入的计算开销导致显著的性能下降(约3-4%准确率损失)
  2. 扩展性限制：当前实验仅在BERT-Tiny上进行，大模型的适用性待验证
  3. 安全假设：诚实但好奇模型在实际应用中可能过于理想化
  4. 参数调优：多个FHE参数的选择需要专业知识，增加了使用门槛

影响力

  1. 学术贡献：为隐私保护机器学习领域提供了新的研究方向
  2. 实用价值：为需要隐私保护的AI服务提供了可行的技术路径
  3. 可复现性：提供了详细的实现细节和参数设置，便于复现

适用场景

  1. 医疗AI：医疗数据敏感，需要隐私保护的模型微调
  2. 金融服务：金融机构间的模型协作训练
  3. 边缘计算：资源受限环境下的隐私保护AI服务
  4. 联邦学习：作为联邦学习的增强技术

参考文献

论文引用了多个重要工作，包括：

  • LoRA原始论文 Hu et al., ICLR 2021
  • CKKS同态加密方案 Cheon et al., 2017
  • BERT模型 Devlin et al., 2018
  • 相关隐私保护深度学习工作

总体评价：这是一篇高质量的研究论文，在技术创新、理论分析和实验验证方面都表现出色。虽然存在一些局限性，但为隐私保护AI领域开辟了重要的研究方向，具有重要的学术价值和应用前景。