2025-11-23T11:28:16.843938

Robustness and Regularization in Hierarchical Re-Basin

Franke, Heinrich, Lange et al.

This paper takes a closer look at Git Re-Basin, an interesting new approach to merge trained models. We propose a hierarchical model merging scheme that significantly outperforms the standard MergeMany algorithm. With our new algorithm, we find that Re-Basin induces adversarial and perturbation robustness into the merged models, with the effect becoming stronger the more models participate in the hierarchical merging scheme. However, in our experiments Re-Basin induces a much bigger performance drop than reported by the original authors.

academic

階層的Re-Basinにおけるロバスト性と正則化

基本情報

論文ID: 2510.09174
タイトル: Robustness and Regularization in Hierarchical Re-Basin
著者: Benedikt Franke, Florian Heinrich, Markus Lange, Arne Raulf (ドイツ航空宇宙センター - AI安全保障研究所)
分類: cs.LG (機械学習)
発表時期: arXivプレプリント、2025年10月
論文リンク: https://arxiv.org/abs/2510.09174v2

要約

本論文は、新興のモデル統合手法であるGit Re-Basinについて深く研究している。著者らは階層的モデル統合スキームを提案し、標準的なMergeMany アルゴリズムを大幅に上回る性能を実現している。新しいアルゴリズムを通じて、Re-Basinが統合後のモデルに対抗的ロバスト性と摂動ロバスト性をもたらすことが発見され、階層統合に参加するモデル数が増加するにつれてこの効果がより顕著になることが明らかになった。しかし、実験で観察されたRe-Basinによる性能低下は、原著者が報告した値よりもはるかに大きい。

研究背景と動機

問題定義

中心的課題: 複数の訓練済みニューラルネットワークモデルを効果的に統合しながら、モデル性能を維持または向上させる方法
既存手法の限界:
- 単純なモデル補間は精度の深刻な低下をもたらす。パラメータ空間における2つのモデルの平均値が損失盆地の外側に位置する可能性があるため
- 元のGit Re-Basinの MergeMany アルゴリズムには理論的欠陥が存在する：各アルゴリズムラウンドにおいて、n-1個のモデルの平均値が損失盆地内に位置することが保証されない

研究の重要性

置換対称性: 人工ニューラルネットワークの置換不変性を利用することで、精度に影響を与えることなくニューロンの順序を変更可能
線形モード接続性(LMC): 置換不変性と密接に関連し、モデル融合に理論的基礎を提供
実践的応用: 連邦学習、マルチタスク学習などのシナリオにおいて重要な価値を有する

中核的貢献

階層的Re-Basin統合スキームの提案: 元のMergeMany アルゴリズムを大幅に上回る新しい階層的モデル統合アルゴリズムを設計
ロバスト性増強効果の発見: Re-Basinが対抗的ロバスト性と摂動ロバスト性を誘導し、統合モデル数の増加に伴い効果が強化されることを証明
正則化特性の解明: 重み範数とLipschitz定数の分析を通じて、Re-Basinが正則化効果を有することを証明
実証結果の比較: 原著者の報告と比較して、Re-Basinがより大きな性能低下をもたらすことを発見し、本分野に重要な実証的補完を提供

方法論の詳細

タスク定義

同じアーキテクチャを持つn個の訓練済みニューラルネットワークモデルΘ₁, Θ₂, ..., Θₙが与えられたとき、これらを性能が向上した、または少なくとも著しく低下しない単一モデルに統合することが目標である。

モデルアーキテクチャ

Git Re-Basin の基本原理

置換不変性: ニューラルネットワークの置換対称性を利用し、あるモデルのニューロンを再配列して別のモデルの損失盆地に「転送」
線形補間: 2つのモデルが同じ損失盆地に位置することを確認した後、線形補間により統合

階層的統合スキーム

段階0: 元の訓練済みモデル (2^n個のモデル)
段階1: ペアごとの統合 → 2^(n-1)個の統合モデル  
段階2: ペアごとの統合を継続 → 2^(n-2)個の統合モデル
...
段階n: 最終統合モデル (1個のモデル)

アルゴリズムフロー:

2^n個の入力モデルをn段階のペアごとの統合に供する
各段階において、前段階の統合モデルを入力として使用
統合プロセス：Re-Basinアルゴリズムを適用して第2のモデルを第1のモデルの損失盆地に置換し、その後線形補間(λ=0.5)を実施

技術的革新点

理論的優位性: MergeMany アルゴリズムにおけるn-1個のモデルの平均値が損失盆地外に位置する可能性を回避
計算複雑度のバランス: 計算オーバーヘッドは大きいが、各統合が有効な損失盆地内で実施されることを保証
段階的統合: 階層構造を通じて統合複雑度を段階的に削減し、複数モデルの一括処理の困難性を回避

実験設定

データセット

CIFAR-10: 標準的な画像分類データセット
モデル数: 入力モデルとして1600個の多層パーセプトロン(MLP)を訓練

モデルアーキテクチャ

ネットワーク構造: 4層MLP
隠れ層次元: 512
潜在層次元: 256
活性化関数: ReLU(最終層を除く)
訓練戦略: 各モデルを異なるランダムシードで訓練

評価指標

精度: テストセットの分類精度
ロバスト精度: 対抗攻撃下での精度
重み範数: ∑ᵢ₌₀ᴺ ||Wᵢ||_F + ||bᵢ||₂
Lipschitz上界: 入力摂動に対するモデルの感度を測定

比較手法

MergeMany アルゴリズム: 元のGit Re-Basinの多モデル統合手法
L1/L2正則化モデル: ロバスト性比較の基準
未統合モデル: 性能基準

実装詳細

PyTorchベースのRe-Basin オープンソース実装
対抗攻撃: DeepFoolおよびFGSM
εパラメータ範囲: 0.000-0.020

実験結果

主要結果

統合性能の比較

4モデル統合: 階層的スキームがMergeMany アルゴリズムを大幅に上回る
8モデル統合: 優位性がより顕著で、MergeMany アルゴリズムの精度が深刻に低下
分散分析: 階層的スキームの結果分散がより小さく、より安定した性能を示す

ロバスト性分析

対抗的ロバスト性:
- ε≈0.01付近で、すべてのRe-Basin段階が未統合モデルと同等の性能
- 低段階(Re-Basin が少ない)は弱い攻撃下でより優れた性能
- 高段階(Re-Basin が多い)は強い攻撃に対してより堅牢
- L2正則化はほとんどのε範囲で最良の性能を示す
重み正則化効果:
- 累積重み範数はRe-Basin段階に伴い線形に低下
- 分散も段階とともに減少
- Re-Basinが重み正則化に類似した効果を有することを示唆
Lipschitz定数分析:
- Lipschitz上界はRe-Basin段階に伴い減少
- より強い摂動抵抗能力を示唆
- 分散も同様に減少し、モデルの動作がより一貫性を持つ