2025-11-23T16:10:18.050621

Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning

Li, Wang, Xu et al.

Model-Heterogeneous Federated Learning (Hetero-FL) has attracted growing attention for its ability to aggregate knowledge from heterogeneous models while keeping private data locally. To better aggregate knowledge from clients, ensemble distillation, as a widely used and effective technique, is often employed after global aggregation to enhance the performance of the global model. However, simply combining Hetero-FL and ensemble distillation does not always yield promising results and can make the training process unstable. The reason is that existing methods primarily focus on logit distillation, which, while being model-agnostic with softmax predictions, fails to compensate for the knowledge bias arising from heterogeneous models. To tackle this challenge, we propose a stable and efficient Feature Distillation for model-heterogeneous Federated learning, dubbed FedFD, that can incorporate aligned feature information via orthogonal projection to integrate knowledge from heterogeneous models better. Specifically, a new feature-based ensemble federated knowledge distillation paradigm is proposed. The global model on the server needs to maintain a projection layer for each client-side model architecture to align the features separately. Orthogonal techniques are employed to re-parameterize the projection layer to mitigate knowledge bias from heterogeneous models and thus maximize the distilled knowledge. Extensive experiments show that FedFD achieves superior performance compared to state-of-the-art methods.

academic

特徴蒸留はモデル異種フェデレーション学習における最良の選択肢である

基本情報

論文ID: 2507.10348
タイトル: Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning
著者: Yichen Li, Xiuying Wang, Wenchao Xu, Haozhao Wang, Yining Qi, Jiahua Dong, Ruixuan Li
分類: cs.LG cs.AI
発表時期/会議: 第39回ニューラル情報処理システム会議（NeurIPS 2025）
論文リンク: https://arxiv.org/abs/2507.10348

要約

モデル異種フェデレーション学習（Hetero-FL）は、データのローカルプライバシーを保持しながら異種モデルの知識を集約できるため、注目を集めています。クライアント知識をより効果的に集約するために、アンサンブル蒸留は広く使用されている有効な技術として、通常グローバル集約後にグローバルモデルのパフォーマンスを向上させるために使用されます。しかし、Hetero-FLとアンサンブル蒸留を単純に組み合わせることは常に良い結果をもたらすわけではなく、むしろ訓練プロセスの不安定性につながる可能性があります。その理由は、既存の方法が主にロジット蒸留に依存しているためです。ロジット蒸留はソフトマックス予測を通じてモデル非依存性を持ちますが、異種モデルによって生じる知識バイアスを補正することができません。この課題に対処するため、本論文は安定で効率的な特徴蒸留方法FedFDを提案します。これは正交投影を通じて整列された特徴情報を統合することで、異種モデル知識をより効果的に集約します。

研究背景と動機

問題定義

本研究が解決する中核的な問題は、モデル異種フェデレーション学習において、異なるアーキテクチャを持つクライアントモデルからの知識をいかに効果的に集約するかです。従来のフェデレーション学習は、すべてのクライアントが同じモデルアーキテクチャを使用することを想定していますが、実際のIoT環境では、異なるデバイスが異なる計算リソースとモデル訓練能力を持っています。

問題の重要性

実際の需要：IoTデバイスの異種性により、統一されたモデルアーキテクチャは現実的ではありません
リソースの最大化：分散計算リソースを十分に活用する必要があります
プライバシー保護：データプライバシーを保護しながら知識共有を実現します

既存方法の限界

t-SNE可視化分析と実証実験を通じて、著者は既存のロジット蒸留ベースの方法に以下の問題があることを発見しました：

表現の曖昧性：集約されたロジット表現は曖昧な分類境界を持ちます
訓練の不安定性：異種モデル設定下で訓練の振動が発生します
知識バイアス：異なるモデルアーキテクチャがもたらす特徴空間の差異に対処できません

研究の動機

既存方法の限界に対する深い分析に基づいて、著者はロジット蒸留の代わりに特徴蒸留を使用し、正交投影技術を通じて異種モデル知識集約におけるバイアス問題を解決することを提案しています。

核心的貢献

深い分析：モデル非依存フェデレーション知識蒸留に対する深い分析を提供し、既存方法が主にロジット蒸留に依存していることの異種モデル下での限界を識別しました
新しいフレームワークの提案：FedFDフレームワークを提案しました。これはプラグアンドプレイの個性化強化モジュールであり、従来の蒸留方法のプライバシー保護と効率の特性を継承しています
パフォーマンスの向上：複数のデータセットと設定で広範な実験を実施し、最先端の方法と比較してテスト精度で最大16.09%の向上を達成しました

方法の詳細

タスク定義

K個のクライアントのフェデレーション学習問題を考慮します。各クライアントkは、そのローカルプライベートデータセット $D_k = \{x_k^{(i)}, y_k^{(i)}\}$ にのみアクセスできます。目標は、全体的な経験損失を最小化するグローバルモデルwを学習することです：

$\min_w L(w) = \sum_{k=1}^K \frac{|D_k|}{|D|} L_k(w)$

ここで $L_k(w) = \frac{1}{|D_k|} \sum_{i=1}^{|D_k|} L_{CE}(w; x_k^i, y_k^i)$

モデルアーキテクチャ

1. 階層的特徴整列

FedFDは最初にクライアントモデルをアーキテクチャでグループ化します。各蒸留サンプルxについて、抽出器 $w_k^d$ 上の特徴表現は： $e_k^d = f(w_k^d; x), \forall k \in [1,K]$

その後、特徴をm個のグループ $\{S_1^d, ..., S_m^d\}$ に分割します。各グループは同じ構造の抽出器を含みます。同じグループ内の特徴表現を集約します： $e^d = \frac{1}{|S^d|} \sum_{i=1}^{|S^d|} e_i^d$

2. 正交投影技術

知識競合問題を解決するために、正交投影変換を使用します。反対称行列 $W_d$ を通じて投影層 $M_d$ を生成します： $\exp(W_d) \cdot \exp(W_d)^T = \exp(W_d + W_d^T) = \exp(-W_d^T + W_d^T) = I$

ここで： $\exp(W_d) = I + W_d + \frac{W_d^2}{2!} + \frac{W_d^3}{3!} + \cdots + \frac{W_d^n}{n!}$

3. 特徴蒸留損失

KL発散を使用して特徴表現を整列させます： $\min_{w,\{M_2,...,M_m\}} \frac{1}{m-1} \sum_{i=2}^m KL(M_i(w_x), e^i)$

技術的革新点

ロジットから特徴へ：異種モデル下でのロジット蒸留の問題を初めて体系的に分析し、特徴蒸留を代替案として提案しました
階層的整列戦略：アーキテクチャグループ化を通じて投影層の数を削減し、訓練効率を向上させます
正交投影技術：反対称行列を使用して正交投影を生成し、知識競合を解決しながら計算効率を維持します
モジュール設計：既存のFL技術とシームレスに統合できます

実験設定

データセット

CIFAR-10: 10クラスの画像分類、50,000訓練サンプル、10,000テストサンプル
CIFAR-100: 100クラスの画像分類、50,000訓練サンプル、10,000テストサンプル
Tiny-ImageNet: 200クラスの画像分類、より大規模なデータセット

ディリクレ分布Dir(α)を使用してデータ異種性をシミュレートします。α値が小さいほど、データ分布がより不均一です。

評価指標

テスト精度：グローバルモデルとローカルモデルの分類精度
通信効率：目標精度に到達するために必要な通信ラウンド数
収束安定性：訓練プロセスの学習曲線分析

比較方法

古典的FL方法：HeteroFL、MOON-hetero
同種FL方法：FedFusion-hetero、FedGen-hetero、DaFKD-hetero
異種FL方法：FedMD、MSFKD、FedGD

実装の詳細

ローカル訓練ラウンド数E=10、通信ラウンド数T=200、クライアント数K=20、参加率r=0.4
バッチサイズ64、重み減衰1e-4
蒸留学習率0.01、ローカル訓練学習率0.001
サーバーモデルはResNet-18を使用、クライアントモデルは10の異なる複雑度レベルを持ちます

実験結果

主要な結果

すべてのデータセットと設定において、FedFDは最高のパフォーマンスを達成しました：

データセット	α値	HeteroFL	FedGD	FedFD	向上
CIFAR-10	1.0	87.53±0.15	87.22±0.13	89.64±0.23	2.11%
CIFAR-10	0.1	78.02±0.65	79.31±0.75	82.74±0.58	3.43%
CIFAR-100	1.0	57.42±0.12	58.03±0.26	60.86±0.10	2.83%
Tiny-ImageNet	1.0	29.88±2.72	30.66±1.59	34.24±1.13	4.36%