2025-11-19T21:37:14.535760

Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption

Lee, Lee, Kim et al.
Recent studies have explored the deployment of privacy-preserving deep neural networks utilizing homomorphic encryption (HE), especially for private inference (PI). Many works have attempted the approximation-aware training (AAT) approach in PI, changing the activation functions of a model to low-degree polynomials that are easier to compute on HE by allowing model retraining. However, due to constraints in the training environment, it is often necessary to consider post-training approximation (PTA), using the pre-trained parameters of the existing plaintext model without retraining. Existing PTA studies have uniformly approximated the activation function in all layers to a high degree to mitigate accuracy loss from approximation, leading to significant time consumption. This study proposes an optimized layerwise approximation (OLA), a systematic framework that optimizes both accuracy loss and time consumption by using different approximation polynomials for each layer in the PTA scenario. For efficient approximation, we reflect the layerwise impact on the classification accuracy by considering the actual input distribution of each activation function while constructing the optimization problem. Additionally, we provide a dynamic programming technique to solve the optimization problem and achieve the optimized layerwise degrees in polynomial time. As a result, the OLA method reduces inference times for the ResNet-20 model and the ResNet-32 model by 3.02 times and 2.82 times, respectively, compared to prior state-of-the-art implementations employing uniform degree polynomials. Furthermore, we successfully classified CIFAR-10 by replacing the GELU function in the ConvNeXt model with only 3-degree polynomials using the proposed method, without modifying the backbone model.
academic

完全準同態暗号化における効率的なプライベート推論のための最適化層別近似

基本情報

  • 論文ID: 2310.10349
  • タイトル: Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption
  • 著者: Junghyun Lee, Joon-Woo Lee, Eunsang Lee, Young-Sik Kim, Yongwoo Lee, Yongjune Kim, Jong-Seon No
  • 分類: cs.CR（暗号化とセキュリティ）、cs.AI（人工知能）
  • 発表時期: 2023年10月（arXiv v4: 2025年10月14日）
  • 論文リンク: https://arxiv.org/abs/2310.10349

概要

本論文は、完全準同態暗号化（FHE）上での効率的なプライベート推論を実現するための最適化層別近似（OLA）手法を提案している。本手法は各層に異なる近似多項式を使用することで、精度損失と計算時間を最適化し、後訓練近似（PTA）シナリオにおいて推論効率を大幅に向上させる。OLA手法により、ResNet-20およびResNet-32モデルの推論時間がそれぞれ3.02倍および2.82倍削減され、ConvNeXtモデルのGELU関数を3次多項式のみで置き換えることに成功している。

研究背景と動機

問題定義

プライバシー保護機械学習（PPML）において、完全準同態暗号化（FHE）は暗号化データ上で直接計算を実行することを可能にするが、FHEスキームは基本的な算術演算（加算と乗算）のみをサポートしており、非算術活性化関数（ReLU、GELU、sigmoidなど）を直接処理することができない。

問題の重要性

  1. プライバシー需要の増加：クラウドコンピューティングの発展に伴い、MLaaS（機械学習サービス）はデータプライバシーを保護しながらサービスを提供する必要がある
  2. 実用性要件：既存手法の推論時間が長すぎて、実際の応用要件を満たすことが困難である
  3. モデル互換性：モデルの再訓練なしにプライベート推論を実現する必要がある

既存手法の限界

  1. AAT手法：モデルの再訓練が必要であり、大規模データセット上での性能が不十分である
  2. PTA手法：すべての層で統一された高次多項式近似を使用するため、推論時間が長くなる
  3. 計算効率：既存手法は各層が分類精度に与える影響の違いを考慮していない

研究動機

PTA手法の主要なボトルネック——推論時間の長さ——に対処するため、異なる層に異なる次数の近似多項式を使用することで、精度と効率のバランスを取る体系的な層別最適化フレームワークを提案する。

核心的貢献

  1. OLAフレームワークの提案：PTA シナリオに対する層別最適化近似手法を初めて提案し、各層に異なる次数の多項式を使用する
  2. 分布認識近似：加重最小二乗法に基づき、各層の活性化関数の実際の入力分布を考慮する
  3. 動的計画法アルゴリズム：多項式時間複雑度で最適な次数配分を求解するアルゴリズムを提供する
  4. 顕著な性能向上：ResNetおよびConvNeXtモデルで2.82～3.02倍の推論高速化を実現する
  5. 理論的分析：完全な数学的理論基礎と収束性証明を提供する

手法の詳細

タスク定義

入力：非算術活性化関数を含む事前訓練済みの深層ニューラルネットワークモデル 出力：各層の最適多項式次数配分 制約：推論時間予算K、精度損失閾値 目標：平均損失分散を最小化し、時間制約を満たす

モデルアーキテクチャ

1. 分布認識近似（定理1）

活性化関数f(x)と入力分布φ(x)に対して、最適なd次近似多項式は以下の通りである：

P_φ[d; f](x) = Σ(l=0 to d) h_l(x) ∫ φ(t)f(t)h_l(t)dt

ここで{h_l(x)}はGram-Schmidt過程により得られた正交多項式基である。

2. 平均損失分散のモデリング

近似誤差を確率変数として扱い、損失関数の分散は以下の通りである：

Var[ΔL] = Σ(i=1 to N_L) A_i E_φi[d_i; f]

ここで：

  • A_i = (1/N_T) Σ_k Σ_j (∂L/∂a_{i,j})²：第i層の精度への影響重み
  • E_φid_i; f：第i層の最小化MSE

3. 最適化問題の定式化

最小化: V(d) = Σ(i=1 to N_L) A_i E_i(d_i)
制約条件: T(d) = Σ(i=1 to N_L) T_i(d_i) ≤ K

4. 動的計画法による求解（アルゴリズム1）

  • 時間計算量：O(N_L × N_K × |S|)
  • 空間計算量：O(N_L × N_K)
  • 漸化式：P(l+1,k)は{P(l,k')}の最適解に基づいて構築される

技術的革新点

  1. 層別差別化処理：異なる層に異なる多項式次数を配分する体系的なアプローチを初めて提案
  2. 入力分布のモデリング：理論分布ではなく実際の層間データ分布を使用
  3. スケーリング分布認識近似：パラメータrにより分布分散を調整し、低確率領域の近似精度を向上させる
  4. モジュラスチェーン管理：異なる次数に対してFHEパラメータを最適化し、ブートストラップのオーバーヘッドを削減

実験設定

データセット

  • CIFAR-10/100：小規模画像分類データセット
  • ImageNet：大規模画像分類データセット
  • 前処理：標準化とデータ拡張

評価指標

  • 推論時間：FHE環境での実際の実行時間
  • Top-1精度：分類精度
  • τ(d)：離散化時間遅延指標
  • 加速比：ベースラインに対する時間削減倍数

比較手法

  • Minimax近似：Lee et al. 4の複合minimax多項式手法
  • 統一次数手法：すべての層で同じ次数の多項式を使用
  • AAT手法：HyPHEN、DeepReduceなどの再訓練手法

実装詳細

  • FHEスキーム：RNS-CKKS
  • セキュリティレベル：128ビット
  • 次数探索空間：S = {3,7,15,31,63,88,127,154,210,255,261,393,511,603,703,813,917,1023}
  • 離散化単位：ν = 1/4
  • ライブラリ：Lattigo v3.0.5

実験結果

主要結果

モデルデータセット手法精度(%)τ(d)加速比
ResNet-20CIFAR-10Minimax91.552,788-
ResNet-20CIFAR-10OLA90.691,1062.52×
ResNet-32CIFAR-10Minimax92.454,624-
ResNet-32CIFAR-10OLA91.691,9272.40×

FHE実測結果：

  • ResNet-20：推論時間が1,231秒から407秒に削減（3.02×加速）
  • ResNet-32：推論時間が1,913秒から679秒に削減（2.82×加速）

アブレーション実験

コンポーネント分布認識動的計画法ResNet-20 τ(d)ResNet-110 τ(d)
ベース✗✗1,44021,172
+分布認識✓✗1,14210,725
+動的計画法✓✓1,1069,448

知見：

  • 分布認識近似が最大の性能向上に寄与する
  • 動的計画法は深層ネットワークでより効果的である（ResNet-110で11.91%削減）

ConvNeXtモデルの結果

  • ConvNeXt-T (CIFAR-10)：3次多項式のみで91.42%の精度を実現
  • ConvNeXt-S (ImageNet)：次数≤31の多項式で84.64%の精度を実現

前処理オーバーヘッド分析

データセットモデル入力分布分析(秒)動的計画法(秒)
CIFAR-10ResNet-208.127.76
CIFAR-10ResNet-11017.97773.07
ImageNetResNet-189,510.946.23

関連研究

HEベースのPPML研究方向

  1. PTA手法：Lee et al. 4,5、Kim et al. 6 - 線形演算最適化に焦点
  2. AAT手法：HyPHEN 17、DeepReduce 43 - モデル再訓練が必要
  3. ハイブリッド手法：HEとMPCを組み合わせたスキーム

非算術演算処理

  1. TFHEスキーム：ビット演算をサポート、メモリオーバーヘッドが大きい
  2. CKKSスキーム：パッキングをサポート、関数近似が必要
  3. 多項式近似：minimax、最小二乗法など

本論文の優位性

  • 層別最適化の体系的フレームワークを初めて提案
  • 理論基礎が完全で、実験検証が充分
  • PTA シナリオで顕著な性能向上を実現

結論と考察

主要な結論

  1. 層別近似の有効性：異なる層が分類精度に与える影響は確かに異なり、層別最適化は合理的である
  2. 実用性の向上：顕著な推論高速化により、FHEベースのプライベート推論がより実用的なアプリケーションに近づく
  3. 理論的完全性：完全な数学的理論フレームワークと効率的な求解アルゴリズムを提供

限界

  1. 前処理オーバーヘッド：大規模データセット（ImageNet）の場合、入力分布分析に長時間を要する
  2. メモリ要件：動的計画法アルゴリズムは深層ネットワークでメモリ消費が大きい
  3. 活性化関数の制限：主に単変量活性化関数を対象とし、softmaxなどの多変量関数への拡張が必要

今後の方向性

  1. Transformer対応：大規模言語モデルのプライベート推論への拡張
  2. 多変量関数：softmaxなどの関数に対する近似手法の開発
  3. 適応的最適化：ハードウェアリソースに応じた動的近似戦略の調整
  4. フェデレーション学習との統合：他のプライバシー保護技術との組み合わせ

深層評価

利点

  1. 革新性が高い：PTA における層別最適化問題を体系的に解決した初めての研究
  2. 理論が堅牢：数学的導出が厳密で、定理証明が完全
  3. 実験が充分：複数のデータセット、複数のモデルアーキテクチャでの包括的検証
  4. 実用価値が高い：顕著な性能向上により、手法は実際のアプリケーション可能性を持つ
  5. 記述が明確：論文構成が合理的で、技術詳細の説明が正確

不足点

  1. 計算複雑度：多項式時間であるが、超大規模ネットワークではなお課題となる可能性
  2. パラメータ感度：スケーリングパラメータrの選択に経験的調整が必要
  3. 汎化能力：主にCNNアーキテクチャで検証されており、他のアーキテクチャへの適用可能性は要検証
  4. セキュリティ分析：近似が導入する追加的なセキュリティリスクの深入りした分析が不足

影響力

  1. 学術的貢献：FHEベースのPPML分野に新しい最適化思想をもたらす
  2. 実用価値：プライバシー保護AIを実際のアプリケーションへ進める重要な一歩
  3. 再現性：詳細な実装詳細とオープンソース化の約束を提供
  4. 示唆的意義：層別最適化の思想は他のプライバシー計算シナリオに拡張可能

適用シーン

  1. クラウドAIサービス：ユーザーデータプライバシーを保護する必要がある機械学習サービス
  2. 医療AI：機密医療データを処理する診断システム
  3. 金融リスク管理：プライバシー保護の信用評価とリスク分析
  4. フェデレーション学習：安全な集約の補完技術

参考文献

  1. Lee et al. "Low-complexity deep convolutional neural networks on fully homomorphic encryption using multiplexed convolutions." ICML 2022.
  2. Kim et al. "Optimized privacy-preserving cnn inference with fully homomorphic encryption." IEEE TIFS 2023.
  3. Gilad-Bachrach et al. "Cryptonets: Applying neural networks to encrypted data with high throughput and accuracy." ICML 2016.
  4. Cheon et al. "A full rns variant of approximate homomorphic encryption." SAC 2018.

総括：本論文で提案されたOLA手法は、FHEベースのプライベート推論分野において重要な意義を持ち、層別最適化により推論効率を大幅に向上させ、プライバシー保護AIの実際のアプリケーションのための重要な基礎を築いている。いくつかの限界は存在するが、その革新性と実用価値により、本論文は当該分野の重要な貢献となっている。