2025-11-10T02:52:47.563865

RepDL: Bit-level Reproducible Deep Learning Training and Inference

Xie, Zhang, Chen
Non-determinism and non-reproducibility present significant challenges in deep learning, leading to inconsistent results across runs and platforms. These issues stem from two origins: random number generation and floating-point computation. While randomness can be controlled through deterministic configurations, floating-point inconsistencies remain largely unresolved. To address this, we introduce RepDL, an open-source library that ensures deterministic and bitwise-reproducible deep learning training and inference across diverse computing environments. RepDL achieves this by enforcing correct rounding and order invariance in floating-point computation. The source code is available at https://github.com/microsoft/RepDL .
academic

RepDL: ビットレベル再現可能な深層学習の訓練と推論

基本情報

要約

深層学習における非決定性と非再現性の問題は、実行間およびプラットフォーム間での結果の不一致をもたらします。これらの問題は2つの根本原因に由来します：乱数生成と浮動小数点演算です。乱数性は決定論的な設定により制御可能ですが、浮動小数点の不一致問題は依然として十分に解決されていません。そこで著者らは、正確な丸めと順序不変性を強制することにより、異なる計算環境間での決定論的でビットレベルの再現可能な深層学習の訓練と推論を保証するオープンソースライブラリRepDLを導入します。

研究背景と動機

問題の定義

深層学習は2つの重要な問題に直面しています：

  1. 非決定性（Non-determinism）: 同じタスクが同じ入力とシステムの下で繰り返し実行されても異なる結果が生成される（実行間の不一致）
  2. 非再現性（Non-reproducibility）: 同じタスクが異なるシステム上で実行されると異なる結果が生成される（プラットフォーム間の不一致）

問題の重要性

これらの問題は以下をもたらします：

  • 本番環境でのモデルデプロイとデバッグの複雑化
  • クロスプラットフォームアプリケーションの正確性の損失
  • 発表結果の信頼性の低下
  • 機微な領域のAIシステムの信頼性への影響

既存手法の限界

業界と学術界は多くの解決策を提案していますが、数値の不一致性は依然として深層学習における未解決の問題です。既存の手法は主に乱数生成器の制御に焦点を当てていますが、浮動小数点計算の問題への対応は不十分です。

研究動機

著者らは問題の2つの根本原因を特定しました：乱数生成器と浮動小数点計算です。既に比較的良好な解決策が存在する乱数問題と比較して、浮動小数点計算の問題はより複雑であり、専門的な解決策が必要です。

核心的貢献

  1. 問題分析: 深層学習における非決定性と非再現性の根本原因を体系的に分析し、乱数生成と浮動小数点計算の2つのカテゴリに分類
  2. 設計原則: 2つの核心的な設計原則を提案：正確な丸め（correct rounding）と順序不変性（order invariance）
  3. RepDLライブラリ: ビットレベルの再現可能な深層学習の訓練と推論を実現するオープンソースライブラリを開発
  4. PyTorch互換性: PyTorchと互換性のあるAPIを提供し、深層学習操作、微分可能関数、ニューラルネットワークモジュール、最適化器をサポート

方法の詳細

問題根本原因の分析

1. 乱数生成器

  • 用途: 重み初期化、データシャッフル、ドロップアウト正則化、データ拡張など
  • 問題: 異なるシード、RNGアルゴリズムの不一致、マルチスレッド環境における非決定論的な呼び出し順序
  • 解決策: 再現可能なRNGアルゴリズム（MT19937など）の採用、スレッドセーフな実装、基本シードの固定

2. 浮動小数点計算

より複雑な問題で、2つのサブカテゴリに分類されます：

2.1 基本操作の精度

  • システム間での基本数学関数実装の精度差
  • ハードウェア命令の精度差（例：x86 CPU間のRCP命令精度の変動）

2.2 計算順序

  • 浮動小数点演算の非結合性による順序感度
  • 非決定論的要因：アトミック操作、動的コードパス、動的バッチ処理、キャッシュ
  • 非再現性要因：ソフトウェア変動性、コンパイラ最適化

RepDL設計原則

原則1：基本操作の正確な丸め

  • IEEE-754標準の正確な丸め原則に準拠
  • 無限精度実数結果に対して標準IEEE-754丸めルールを使用
  • 数値精度の曖昧性を排除

原則2：その他の操作の順序不変性

  • 基本操作の組み合わせに対して順序不変性を保持
  • 同じタイプの基本操作と同じ順序を使用して各操作を実装
  • 異なる計算順序に対して異なるAPIを割り当て

具体的な実装

1. 正確な丸めの確保

  • 正確に丸められた数学ライブラリまたは高精度アルゴリズムの使用
  • 算術演算、平方根、指数関数、対数関数などの正確に丸められたバージョンの実装
  • ハードウェア依存の実装差異の回避

2. 合計計算順序の固定

2つの合計計算順序を提供：

  • 順序合計: デフォルトバージョン、キャッシュフレンドリー、ほとんどの場合に適切
  • ペア合計: 代替バージョン、並列性の向上

全結合層と2次元畳み込み層の分析：

  • 全結合層：t_fc = B × M個の独立した合計タスク、各タスクはn_fc = N個の要素を合計
  • 畳み込み層：t_conv = B × O × W × H個の独立した合計タスク、各タスクはn_conv = I × K_w × K_h個の要素を合計

3. 計算グラフの定義

  • 計算グラフを使用して計算順序を明確に定義
  • 同じ関数の異なる計算グラフ実装に異なるAPI名を割り当て
  • 数学的に等価だが浮動小数点結果が異なる変換を回避

4. コンパイルオプション

  • 安全でない数学最適化をもたらすオプションを無効化
  • 浮動小数点式縮約オプション（FMA操作）を有効化

実験設定

サポート機能

  • データ型: 単精度浮動小数点（float32）をサポート
  • 互換性: PyTorch互換のAPIを提供
  • 操作サポート: 深層学習操作、微分可能関数、ニューラルネットワークモジュール、最適化器

パフォーマンス分析

ResNet-50を例として分析：

  • 畳み込み層が計算複雑度を支配
  • 複数の畳み込み層のt_conv = B × 256 × 56 × 56 = B × 802816
  • NVIDIA A100 GPUは6912個のCUDAコアを搭載
  • B=1の場合でも、コア数はt_convより大幅に少なく、順序合計は効率的

実験結果

再現性の検証

RepDLはビットレベルで一致した結果を実現し、以下を保証：

  • 同じシステムでの複数回実行の一致性
  • 異なるCPUまたはGPUシステム間の一致性
  • 訓練と推論プロセスの完全な再現可能性

パフォーマンスへの影響

  • 非決定論的ライブラリからRepDLへの切り替えはパフォーマンスをわずかに低下させる
  • パフォーマンス低下は許容可能であり、将来の最適化により緩和可能

関連研究

論文は複数の関連研究分野を引用しています：

  1. 再現可能な浮動小数点合計アルゴリズム: Ahrensらの順序無関係合計アルゴリズム
  2. 深層学習の再現性: Chenらの再現可能な深層学習モデル訓練に関する研究
  3. 正確に丸められた数学ライブラリ: MPFRライブラリと高性能正確丸め数学ライブラリ
  4. 数値精度分析: 異なる精度での数学関数の正確性研究

結論と考察

主要な結論

RepDLは浮動小数点計算の問題を解決することにより、信頼性の高いモデル開発と一貫性のあるモデルデプロイメントの基礎を提供します。このライブラリは異なる計算環境間での決定論的で再現可能な深層学習を成功裏に実現しています。

限界

  1. パフォーマンス最適化の不足: 現在のバージョンは完全に最適化されておらず、パフォーマンス損失が存在
  2. 精度サポートの限定: 単精度（float32）のみをサポート、低精度型のサポートは課題
  3. ハードウェア特異性: 低精度計算の非標準かつハードウェア特異的な特性（Tensor Coresなど）

将来の方向性

  1. パフォーマンス低下を軽減するためのさらなる最適化
  2. 低精度浮動小数点データ型のサポート
  3. 低精度計算の数値動作の標準化
  4. コミュニティ貢献と機能の拡張

深い評価

利点

  1. 問題識別の正確性: 深層学習の再現性問題の根本原因を体系的に分析
  2. 実用的な解決策: 理論分析だけでなく、実行可能なエンジニアリング解決策を提供
  3. 設計原則の明確性: 正確な丸めと順序不変性の2つの原則は簡潔で効果的
  4. 互換性の優位性: PyTorchのAPI互換性により使用敷居を低下
  5. オープンソース貢献: オープンソース実装を提供し、コミュニティ発展を促進

不足点

  1. 実験検証の限定: 大規模実験検証とパフォーマンスベンチマークの欠如
  2. 理論分析の不足: パフォーマンス損失の理論分析が不十分
  3. 適用範囲の制限: float32のみをサポート、現代の深層学習アプリケーションを制限
  4. 比較実験の欠落: 他の再現性解決策との比較実験の欠如

影響力

  1. 学術的価値: 深層学習の再現性研究に重要な参考を提供
  2. 実用的価値: 厳密な再現性が必要なアプリケーションシナリオに解決策を提供
  3. 業界への影響: 深層学習フレームワークの再現性への重視を推進する可能性

適用シナリオ

  1. 科学研究: 厳密に再現可能な結果が必要な研究プロジェクト
  2. 金融AI: 数値一貫性要件が極めて高い金融アプリケーション
  3. 医療AI: 決定論的結果が必要な医療診断システム
  4. モデル検証: クロスプラットフォームモデルデプロイメントの一貫性検証

参考文献

論文は以下を網羅する15篇の関連文献を引用しています：

  • 再現可能な浮動小数点合計アルゴリズム
  • 深層学習の再現性研究
  • 正確に丸められた数学ライブラリ
  • IEEE浮動小数点標準
  • 深層学習における乱数性と不確定性の分析

総合評価: これは深層学習の再現性問題に対する実用的な研究論文です。実験検証と理論分析の面で不足がありますが、提案された解決策は重要な実用的価値を持ち、特に厳密な数値一貫性が必要なアプリケーションシナリオに対して有効です。RepDLライブラリのオープンソース公開はコミュニティに価値あるツールを提供し、深層学習の再現性研究の発展を推進することが期待されます。