2025-11-13T23:49:14.865072

PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models

Li, Yu, Zhao

AI foundation models have recently demonstrated impressive capabilities across a wide range of tasks. Fine-tuning (FT) is a method of customizing a pre-trained AI foundation model by further training it on a smaller, targeted dataset. In this paper, we initiate the study of the Privacy-Preserving Parameter-Efficient FT (P3EFT) framework, which can be viewed as the intersection of Parameter-Efficient FT (PEFT) and Privacy-Preserving FT (PPFT). PEFT modifies only a small subset of the model's parameters to achieve FT (i.e., adapting a pre-trained model to a specific dataset), while PPFT uses privacy-preserving technologies to protect the confidentiality of the model during the FT process. There have been many studies on PEFT or PPFT but very few on their fusion, which motivates our work on P3EFT to achieve both parameter efficiency and model privacy. To exemplify our P3EFT, we present the PrivTuner scheme, which incorporates Fully Homomorphic Encryption (FHE) enabled privacy protection into LoRA (short for ``Low-Rank Adapter''). Intuitively speaking, PrivTuner allows the model owner and the external data owners to collaboratively implement PEFT with encrypted data. After describing PrivTuner in detail, we further investigate its energy consumption and privacy protection. Then, we consider a PrivTuner system over wireless communications and formulate a joint optimization problem to adaptively minimize energy while maximizing privacy protection, with the optimization variables including FDMA bandwidth allocation, wireless transmission power, computational resource allocation, and privacy protection. A resource allocation algorithm is devised to solve the problem. Experiments demonstrate that our algorithm can significantly reduce energy consumption while adapting to different privacy requirements.

academic

PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models

基本情報

論文ID: 2410.00433
タイトル: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models
著者: Yang Li, Wenhan Yu, Jun Zhao (南洋理工大学)
分類: cs.CR (暗号化とセキュリティ)
発表時期: 2024年10月 (arXiv preprint)
論文リンク: https://arxiv.org/abs/2410.00433

要約

本論文は、プライバシー保護パラメータ効率的ファインチューニング(P3EFT)フレームワークを提案し、パラメータ効率的ファインチューニング(PEFT)とプライバシー保護ファインチューニング(PPFT)を組み合わせています。著者らはPrivTunerスキームを設計し、完全準同型暗号化(FHE)をLoRAに統合し、モデル所有者と外部データ所有者間の協調的プライバシー保護ファインチューニングを実現しています。さらに、無線通信環境下のPrivTunerシステムを考慮し、エネルギー消費の最小化とプライバシー保護の最大化を目的とした結合最適化問題を確立し、対応するリソース配分アルゴリズムを提案しています。

研究背景と動機

中核的な問題

プライバシー保護の必要性：AI基盤モデルのファインチューニングプロセスにおいて、データプライバシーとモデルプライバシーの問題が存在します。企業は非公開データの共有を望まず、同時にモデル所有者もモデルパラメータの露出を望みません。
計算効率の課題：従来の全パラメータファインチューニングは計算オーバーヘッドが大きく、特に大規模基盤モデルの場合、ローカルファインチューニングはリソース制約のあるデバイスに大きな負担をもたらします。
既存手法の限界：
- PEFT手法は計算負担を軽減しますが、プライバシー保護の問題を無視しています
- PPFT手法はプライバシーを保護できますが、通常、追加の通信と計算のオーバーヘッドをもたらします

研究の動機

既存研究は主にPEFTまたはPPFTの個別の応用に焦点を当てており、両者の融合に関する体系的な研究が不足しています。本論文は、このギャップを埋めることを目的とし、限定的な計算予算の下でプライバシー保護とパラメータ効率の二重目標を実現するP3EFTフレームワークを提案しています。

中核的な貢献

P3EFTフレームワークの提案：初めて体系的にPEFTとPPFTを組み合わせ、2つの研究領域のギャップを埋めています。
PrivTunerスキームの設計：CKKS完全準同型暗号化スキームとLoRA技術を組み合わせ、データとモデルプライバシーを保護しながら計算負担を軽減する安全で効率的な協調ファインチューニングを実現しています。
消費量とプライバシー保護モデルの確立：サーバーとデバイスの観点から時間とエネルギー消費モデルを分析し、プライバシー保護レベルの定量的指標を提供しています。
結合最適化アルゴリズムの設計：分枝限定法(B&B)と分数計画技術を組み合わせたリソース配分アルゴリズムを提案し、計算能力、無線通信リソース、およびFHE設定の結合最適化問題を効果的に解決しています。

方法の詳細

タスク定義

P3EFTタスクは以下のように定義されます：事前学習済み基盤モデルW₀と非公開データセットが与えられた場合、データプライバシーとモデルプライバシーを保護しながら、少数のパラメータのみを更新してモデルファインチューニングを実現します。

PrivTunerアーキテクチャ

システムモデル

参加者：モデル所有者サーバーとN個の外部モバイルデバイス
セキュリティモデル：正直だが好奇心旺盛(honest but curious)モデル
中核的な考え方：デバイスは元のデータではなくFHE暗号化データを送信し、サーバーは暗号化データ上で計算を実行します

主要なステップ

ステップ1：データ暗号化

pkₙ, skₙ = KeyGen(λₙ, qₙ), ∀n ∈ N
X̃ᶠᵗₙ = Enc(pkₙ, Xᶠᵗₙ), ∀n ∈ N

ステップ2：アダプタ生成 LoRA技術を採用して低ランクアダプタを生成：

Aₙ = {A¹ₙ, A²ₙ} = LoRAₙ(W₀), ∀n ∈ N

ステップ3：暗号化予測 暗号化データ上で予測を実行：

Ỹᵖₙ = Eval(pkₙ, (W₀, Aₙ), X̃ᶠᵗₙ, fᵖ), ∀n ∈ N

ここで予測関数は：

fᵖ(W₀, Aₙ, X̃ᶠᵗₙ) = W₀X̃ᶠᵗₙ + A¹ₙA²ₙX̃ᶠᵗₙ

ステップ4：復号化と損失計算

Yᵖₙ = Dec(skₙ, Ỹᵖₙ)
Lₙ = Lₙ(Yᵖₙ, Yᶠᵗₙ)

ステップ5：アダプタ更新 損失関数に基づいてアダプタパラメータを更新します。

HE対応BERT-Tinyモデル

CKKS方式を採用してBERT-Tinyモデルの非線形関数を処理：

Softmax：Maclaurin級数を使用して指数関数を近似
GeLU：Chebyshev多項式を使用して近似
LayerNorm：平均と標準偏差を事前計算して計算を簡略化
除算演算：Chebyshev多項式を使用して近似

技術的革新点

FHEとLoRAの有機的結合：初めてCKKS完全準同型暗号化とLoRA技術を組み合わせ、暗号化ドメイン上でのパラメータ効率的ファインチューニングを実現しています。
非線形関数処理：Transformerモデルの非線形関数のFHE環境下での計算問題を体系的に解決しています。
リソース最適化フレームワーク：無線通信環境下の実際の制約を考慮し、エネルギー消費とプライバシー保護の権衡最適化モデルを確立しています。