2025-11-18T21:19:13.596005

Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Aad, Bertrand, Laatu et al.

A study of neural network architectures for the reconstruction of the energy deposited in the cells of the ATLAS liquid-argon calorimeters under high pile-up conditions expected at the HL-LHC is presented. These networks are designed to run on the FPGA-based readout hardware of the calorimeters under strict size and latency constraints. Several architectures, including Dense, Recurrent (RNN), and Convolutional (CNN) neural networks, are optimised using a Bayesian procedure that balances energy resolution against network size. The optimised Dense, CNN, and combined Dense+RNN architectures achieve a transverse energy resolution of approximately 80 MeV, outperforming both the optimal filtering (OF) method currently in use and RNNs of similar complexity. A detailed comparison across the full dynamic range shows that Dense, CNN, and Dense+RNN accurately reproduce the energy scale, while OF and RNNs underestimate the energy. Deep Evidential Regression is implemented within the Dense architecture to address the need for reliable per-event energy uncertainties. This approach provides predictive uncertainty estimates with minimal increase in network size. The predicted uncertainty is found to be consistent, on average, with the difference between the true deposited energy and the predicted energy.

academic

FPGAにおけるATLAS量熱計データのオンライン処理のための最適化ニューラルネットワーク

基本情報

論文ID: 2510.11469
タイトル: Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs
著者: Georges Aad, Raphaël Bertrand, Lauri Laatu, Emmanuel Monnier, Arno Straessner, Nairit Sur, Johann C. Voigt
分類: physics.ins-det (物理学 - 計測・検出器)
発表日: 2025年10月13日
論文リンク: https://arxiv.org/abs/2510.11469v1

要旨

本研究は、高輝度大型ハドロン衝突型加速器(HL-LHC)で予想される高パイルアップ条件下におけるATLAS液体アルゴン量熱計単位セルのエネルギー沈着再構成のためのニューラルネットワークアーキテクチャについて詳細に検討した。これらのネットワークは、厳密なサイズと遅延制約の下で量熱計FPGAベースの読み出しハードウェア上で動作するように設計されている。ベイズ最適化手法を用いて、密集ネットワーク(Dense)、再帰型ニューラルネットワーク(RNN)、畳み込みニューラルネットワーク(CNN)を含む複数のアーキテクチャを最適化し、エネルギー分解能とネットワーク規模のバランスを取った。最適化されたDense、CNN、およびDense+RNN複合アーキテクチャは約80 MeVの横方向エネルギー分解能を達成し、現在使用されている最適フィルタ(OF)法および同等の複雑度のRNNを大幅に上回った。全動的範囲にわたる詳細な比較により、Dense、CNN、およびDense+RNNはエネルギースケールを正確に再現したのに対し、OFおよびRNNはエネルギーを過小評価した。さらに、Dense アーキテクチャに深度証拠回帰を実装し、信頼性の高いイベント単位のエネルギー不確実性要件を満たした。

研究背景と動機

問題背景

高輝度LHCの課題: HL-LHCは2026-2030年の升級後、最大200個の同時陽子-陽子衝突を生成し、深刻な信号パイルアップ問題を引き起こす
ハードウェア制約: ATLAS液体アルゴン量熱計は182,468個のセルを含み、毎秒数百TBのデータを生成し、専用の電子ボードでの処理が必要
遅延要件: エネルギー再構成アルゴリズムは125 ns以内に完了する必要があり、トリガーシステムの高速応答要件を満たす必要がある
既存手法の限界: 現在使用されている最適フィルタ(OF)アルゴリズムは高パイルアップ条件下でのパフォーマンスが大幅に低下する

研究動機

FPGA処理能力の向上により、データ処理チェーンの早期段階で最新の機械学習アルゴリズムを実装する独特な機会が提供される
厳密なハードウェア制約下で動作し、OF アルゴリズムを上回るパフォーマンスを持つ新しい手法の開発が必要
イベント単位のエネルギー不確実性推定を実現し、後続のデータ取得と再構成ステップの精度を向上させる

核心的貢献

マルチアーキテクチャ最適化: 4つのニューラルネットワークアーキテクチャ(Dense、RNN、CNN、Dense+RNN)を提案・最適化し、ベイズ最適化によってエネルギー分解能とネットワーク規模の最適なバランスを実現
ハードウェア制約目的関数: MAC単位数を考慮した区分的ペナルティ目的関数を設計し、ネットワーク規模を効果的に制御
パフォーマンス向上: 最適アーキテクチャは約80 MeVの横方向エネルギー分解能を実現し、OF アルゴリズムと比較して約8%の改善を達成
不確実性定量化: FPGA制約下で深度証拠回帰(DER)を初めて実装し、イベント単位のエネルギー不確実性推定を提供
全動的範囲検証: 0-130 GeVのエネルギー範囲で手法の有効性とエネルギースケール精度を検証

方法の詳細

タスク定義

入力: 量熱計セルのデジタル化パルスサンプルシーケンス

4個の沈着後サンプル(目標エネルギー沈着のBCから開始)
最大28個の沈着前サンプル(先前のエネルギー沈着による歪みを補正するため)

出力: 特定のBCでの真の横方向エネルギー $E_T^{true}$ 制約: ネットワーク規模<500 MAC単位、遅延<125 ns

モデルアーキテクチャ

1. CNNアーキテクチャ

構造: 2つの畳み込み層 + 入出力層
第1層: 25個の入力サンプル上でスライドする5つの並列1Dフィルタ、カーネルサイズ7
第2層: 6つの2Dフィルタ、カーネルサイズ11×5、入力19×5
出力層: 単一フィルタ、カーネルサイズ9×6
利点: スライディングウィンドウモード、先前の計算結果の再利用が可能で遅延を低減

2. RNNアーキテクチャ

構造: 5つのRNN単位シーケンス + 最終密集層
単位: シンプルなバニラ単位、次元8、ReLU活性化
特徴: データサンプル到着と同期した計算、パラメータ共有だが再利用は限定的

3. Dense+RNNアーキテクチャ

革新的設計: 密集層が沈着前サンプルを処理してRNN単位を初期化
利点: RNNの利点を保持しながら長シーケンス計算コストを低減
構造: 密集層(沈着前) → RNNシーケンス(沈着後) → 最終密集層

4. ステージ化Dense アーキテクチャ

2段階設計:
- 第1段階: 沈着前サンプルがパルス歪みを補正
- 第2段階: 沈着後サンプルを結合してパルス形状を捕捉
遅延最適化: 第1段階は事前計算可能

技術的革新点

1. ハードウェア制約目的関数

f(M,σ) = {
  σ̃                           if M ≤ 500
  σ̃ + 0.3(M̃ - 0.3)          if M ∈ ]500; 850]
  σ̃ + 0.3(M̃ - 0.3) + e^(M̃-0.65) - 1  else
}

区分的ペナルティメカニズムがFPGA制約内でネットワークを確保
エネルギー分解能と計算複雑度のバランスを取る

2. 深度証拠回帰(DER)

NIG分布パラメータ化: γ(期待値)、ν(認識分散)、α、β(ランダム分散パラメータ)
不確実性分解: ランダム不確実性 + 認識不確実性
実装: 最終密集層をDenseNormalGamma層に置き換え

実験設定

データセット

シミュレーションツール: AREUSツールキット
訓練セット: 100万イベント
検証セット: 150万イベント
テストセット: 250万イベント
最終評価: 1,300万の独立イベント
エネルギー範囲: 0-130 GeV均一分布(高ゲイン読み出し動的範囲の80%をカバー)
パイルアップ条件: 平均200同時衝突(⟨μ⟩=200)

評価指標

主要指標: 横方向エネルギー分解能 σ(E_T^pred - E_T^true)
エネルギースケール: ⟨E_T^pred - E_T^true⟩ vs E_T^true
不確実性評価: プル分布 (E_T^pred - E_T^true)/δ_pred

比較手法

ベースライン: 最適フィルタ(OF)アルゴリズム
ネットワーク間比較: RNN、Dense、CNN、Dense+RNN

実装詳細

フレームワーク: TensorFlow Keras
最適化: ベイズ最適化、30-100回の反復
代理モデル: 5/2 Matérn カーネルガウス過程
獲得関数: Expected Improvement基準

実験結果

主要結果

エネルギー分解能の比較

アーキテクチャ	エネルギー分解能 (MeV)	MAC単位数	OF比相対改善
OF	~90	-	-
RNN	~90	368	0%
Dense	~80	240	~11%
CNN	~80	419	~11%
Dense+RNN	~80	392	~11%

エネルギースケール精度

Dense、CNN、Dense+RNN: エネルギースケールを正確に再現、偏差はほぼ0
OF: エネルギーを系統的に過小評価(設計意図、平均同時パイルアップ成分を含まない)
RNN: 低エネルギー領域で軽微な過小評価、高エネルギー領域で偏差増加

アブレーション実験

沈着前サンプルの重要性

最適化されたすべてのネットワーク(RNN除く)は>20個の沈着前サンプルを使用
先前のエネルギー沈着による歪みを捕捉することの重要性を証明
RNNは長シーケンス計算コストが高いため制限される

ネットワーク規模最適化

ベイズ最適化プロセスは以下を示す:

最初の10回のランダム評価後、ネットワーク規模が大幅に減少
20回の評価後、エネルギー分解能が回復しネットワーク規模が安定
その後の100回の評価では微小な改善のみ

DER不確実性分析

プル分布の特性

平均: -0.06 (0に近く、軽微な過大評価傾向)
標準偏差: 0.75 (不確実性をやや過大評価)
全体的に不確実性推定は真の偏差と一致

不確実性分解

認識不確実性: 支配的(72-79 MeV)
ランダム不確実性: より小さい(30-42 MeV)
99%のイベントが狭い帯域内、モデル予測の安定性を示す

結論と議論

主要な結論

パフォーマンス向上: DenseおよびCNNアーキテクチャは~8%のエネルギー分解能改善を実現
ハードウェア実現可能性: すべての最適化ネットワークは<500 MAC単位で、FPGA制約を満たす
エネルギースケール: ニューラルネットワークは全動的範囲でエネルギースケールを正確に再現
不確実性: DERはイベント単位の不確実性推定を成功裏に提供

限界

単一セル: 研究は単一量熱計セルに限定
理想的トリガー: 完全なハード散乱イベント検出を仮定
高ゲイン: 高ゲイン読み出し設定のみを考慮
異常検出: 現在の不確実性推定は再構成異常イベントの識別が困難

今後の方向

マルチセル拡張: 複数量熱計セルの結合処理への拡張
トリガー統合: バンチ交差割り当て機能の結合
異常検出: ノイズバースト及び不均一バンチ構造の処理探索
アーキテクチャ最適化: より大規模な訓練データセットと改良アーキテクチャ

深度評価

利点

実用性: HL-LHCの実際の要件に直接対応し、厳密なハードウェア制約を考慮
方法の包括性: 複数アーキテクチャの体系的比較、ベイズ最適化による公正な比較を確保
革新的設計: Dense+RNNアーキテクチャはパフォーマンスと計算コストを巧妙にバランス
不確実性定量化: FPGA制約下でのDER初実装、重要な実用的価値を有する
検証の充実: 全動的範囲検証、大規模独立テストセット

不足

範囲の限定: 量熱計セルの特定の単一位置のみを対象
簡略化仮定: 理想的トリガー仮定は実際の応用との乖離の可能性
異常処理: 再構成異常イベントの処理能力が限定的
汎化性: 異なる位置、異なる条件下での汎化能力が十分に検証されていない

影響力

技術貢献: 高エネルギー物理実験のリアルタイムデータ処理に新しいソリューションを提供
方法論: ハードウェア制約最適化手法は他のFPGA応用に推広可能
実用的価値: ATLAS実験升級に直接貢献、重要な工学的価値を有する
学際的: 機械学習と高エネルギー物理計測器の深い融合を促進

適用シーン

高エネルギー物理: 類似の量熱計エネルギー再構成タスク
リアルタイムシステム: 低遅延、高精度の信号処理応用
FPGA応用: リソース制限環境でのニューラルネットワーク配置
不確実性定量化: リアルタイム不確実性推定が必要な工学応用

参考文献

本論文は28篇の重要な参考文献を引用しており、ATLAS実験設計、LHC升級計画、FPGAニューラルネットワーク実装、深度証拠回帰理論など主要分野をカバーし、研究に堅実な理論と技術基盤を提供している。

総合評価: これは理論的革新と工学実践の間で良好なバランスを取った高品質の応用研究論文である。研究は重大科学装置升級の需要に直接貢献し、方法設計は合理的で、実験検証は充分であり、高エネルギー物理実験とFPGA応用分野の両方に重要な価値を有する。