Optimierte neuronale Netze zur Online-Verarbeitung von ATLAS-Kalorimeterdaten auf FPGAs

Grundinformationen

• Papier-ID: 2510.11469
• Titel: Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs
• Autoren: Georges Aad, Raphaël Bertrand, Lauri Laatu, Emmanuel Monnier, Arno Straessner, Nairit Sur, Johann C. Voigt
• Klassifizierung: physics.ins-det (Physik - Instrumentierung und Detektoren)
• Veröffentlichungsdatum: 13. Oktober 2025
• Papierlink: https://arxiv.org/abs/2510.11469v1

Zusammenfassung

Diese Studie untersucht tiefgreifend neuronale Netzwerk-Architekturen zur Rekonstruktion der Energiedeposition in ATLAS-Flüssigargonalorimetern unter den für den Hochleuchtkraft-LHC (HL-LHC) erwarteten Hochstapelungsbedingungen. Diese Netze sind für den Betrieb auf FPGA-basierter Auslesehardware des Kalorimeters unter strikten Größen- und Latenzeinschränkungen konzipiert. Durch ein Bayes'sches Optimierungsverfahren werden mehrere Architekturen, einschließlich dichter Netze (Dense), rekurrenter neuronaler Netze (RNN) und Faltungsneuronaler Netze (CNN), optimiert, um ein Gleichgewicht zwischen Energieauflösung und Netzgröße zu erreichen. Die optimierten Dense-, CNN- und Dense+RNN-Kombinationsarchitekturen erzielen eine transversale Energieauflösung von etwa 80 MeV, was erheblich besser ist als die derzeit verwendete optimale Filterung (OF) und ähnlich komplexe RNNs. Ein detaillierter Vergleich über den gesamten dynamischen Bereich zeigt, dass Dense-, CNN- und Dense+RNN-Architekturen die Energieskala genau reproduzieren, während OF und RNN die Energie unterschätzen. Darüber hinaus wurde tiefe evidenzbasierte Regression in der Dense-Architektur implementiert, um zuverlässige ereignisspezifische Energieunsicherheitsanforderungen zu erfüllen.

Forschungshintergrund und Motivation

Problemhintergrund

1. HL-LHC-Herausforderungen: Der HL-LHC wird nach der Aufrüstung 2026-2030 bis zu 200 gleichzeitige Proton-Proton-Kollisionen erzeugen, was zu schwerwiegenden Signalstapelungsproblemen führt
2. Hardwareeinschränkungen: Das ATLAS-Flüssigargonalorimeter enthält 182.468 Zellen und erzeugt Hunderte von Terabyte Daten pro Sekunde, die spezialisierte elektronische Platinen verarbeiten müssen
3. Latenzanforderungen: Der Energierekonstruktionsalgorithmus muss innerhalb von 125 ns abgeschlossen sein, um die schnelle Reaktion des Triggersystems zu erfüllen
4. Einschränkungen bestehender Methoden: Der derzeit verwendete OF-Algorithmus zeigt unter Hochstapelungsbedingungen eine deutlich verschlechterte Leistung

Forschungsmotivation

• Die verbesserte FPGA-Verarbeitungskapazität bietet eine einzigartige Gelegenheit, moderne Algorithmen des maschinellen Lernens in frühen Phasen der Datenverarbeitungskette zu implementieren
• Notwendigkeit, neue Methoden zu entwickeln, die unter strikten Hardwareeinschränkungen funktionieren und den OF-Algorithmus übertreffen
• Implementierung ereignisspezifischer Energieunsicherheitsschätzung zur Verbesserung der Genauigkeit nachgelagerter Datenerfassungs- und Rekonstruktionsschritte

Kernbeiträge

1. Multi-Architektur-Optimierung: Vier neuronale Netzwerk-Architekturen (Dense, RNN, CNN, Dense+RNN) werden vorgeschlagen und optimiert, wobei durch Bayes'sche Optimierung ein optimales Gleichgewicht zwischen Energieauflösung und Netzgröße erreicht wird
2. Hardwareeinschränkungs-Zielfunktion: Eine segmentierte Strafzielfunktion, die die Anzahl der MAC-Einheiten berücksichtigt, wird entworfen, um die Netzgröße effektiv zu kontrollieren
3. Leistungsverbesserung: Optimale Architekturen erzielen eine transversale Energieauflösung von etwa 80 MeV, was eine Verbesserung von etwa 8% gegenüber dem OF-Algorithmus darstellt
4. Unsicherheitsquantifizierung: Erste Implementierung der tiefgreifenden evidenzgestützten Regression (DER) unter FPGA-Einschränkungen, die ereignisspezifische Energieunsicherheitsschätzungen bereitstellt
5. Validierung über den gesamten dynamischen Bereich: Validierung der Methode im Energiebereich von 0-130 GeV und Überprüfung der Genauigkeit der Energieskala

Methodische Details

Aufgabendefinition

Eingabe: Digitalisierte Pulsprobensequenzen von Kalorimeterzellen

• 4 Proben nach der Energiedeposition (beginnend mit dem Bunch-Crossing der Zielenergiedeposition)
• Bis zu 28 Proben vor der Energiedeposition (zur Korrektur von Verzerrungen durch vorherige Energiedeposition)

Ausgabe: Wahre transversale Energie $E_T^{true}$ beim spezifischen Bunch-Crossing Einschränkungen: Netzgröße < 500 MAC-Einheiten, Latenz < 125 ns

Modellarchitekturen

1. CNN-Architektur

• Struktur: Zwei Faltungsschichten + Ein- und Ausgabeschichten
• Erste Schicht: 5 parallele 1D-Filter, Kernelgröße 7, gleitend über 25 Eingabeproben
• Zweite Schicht: 6 2D-Filter, Kernelgröße 11×5, Eingabe 19×5
• Ausgabeschicht: Ein einzelner Filter, Kernelgröße 9×6
• Vorteile: Gleitendes Fenster-Muster, Wiederverwendung vorheriger Berechnungen, reduzierte Latenz

2. RNN-Architektur

• Struktur: Sequenz von 5 RNN-Einheiten + abschließende dichte Schicht
• Einheiten: Einfache Vanilla-Einheiten, Dimension 8, ReLU-Aktivierung
• Merkmale: Mit Ankunft von Datenproben synchronisierte Berechnung, Parameterfreigabe aber begrenzte Wiederverwendung

3. Dense+RNN-Architektur

• Innovatives Design: Dichte Schicht verarbeitet Proben vor der Energiedeposition zur RNN-Einheiten-Initialisierung
• Vorteile: Beibehaltung von RNN-Vorteilen bei gleichzeitiger Reduzierung der Berechnungskosten für lange Sequenzen
• Struktur: Dichte Schicht (vor Energiedeposition) → RNN-Sequenz (nach Energiedeposition) → abschließende dichte Schicht

4. Staged Dense-Architektur

• Zweistufiges Design:
  • Erste Stufe: Korrektur von Pulsverzerrungen durch Proben vor der Energiedeposition
  • Zweite Stufe: Kombination mit Proben nach der Energiedeposition zur Erfassung der Pulsform
• Latenzoptimierung: Erste Stufe kann vorberechnet werden

Technische Innovationen

1. Hardwareeinschränkungs-Zielfunktion

f(M,σ) = {
  σ̃                           wenn M ≤ 500
  σ̃ + 0,3(M̃ - 0,3)          wenn M ∈ ]500; 850]
  σ̃ + 0,3(M̃ - 0,3) + e^(M̃-0,65) - 1  sonst
}

• Segmentierter Strafmechanismus gewährleistet Netzwerk innerhalb von FPGA-Einschränkungen
• Ausgleich zwischen Energieauflösung und Rechenkomplexität

2. Tiefe evidenzgestützte Regression (DER)

• NIG-Verteilungsparametrisierung: γ (Erwartungswert), ν (epistemische Varianz), α, β (Parameter der zufälligen Varianz)
• Unsicherheitsdekomposition: Zufällige Unsicherheit + epistemische Unsicherheit
• Implementierung: Ersetzung der abschließenden dichten Schicht durch DenseNormalGamma-Schicht

Experimentelle Einrichtung

Datensatz

• Simulationswerkzeug: AREUS-Toolkit
• Trainingssatz: 1 Million Ereignisse
• Validierungssatz: 1,5 Millionen Ereignisse
• Testsatz: 2,5 Millionen Ereignisse
• Endgültige Bewertung: 13 Millionen unabhängige Ereignisse
• Energiebereich: 0-130 GeV gleichmäßig verteilt (abdeckend 80% des Hochverstärkungsauslesedynamikbereichs)
• Stapelungsbedingungen: Durchschnittlich 200 gleichzeitige Kollisionen (⟨μ⟩=200)

Bewertungsmetriken

• Primäre Metrik: Transversale Energieauflösung σ(E_T^pred - E_T^true)
• Energieskala: ⟨E_T^pred - E_T^true⟩ vs E_T^true
• Unsicherheitsbewertung: Pull-Verteilung (E_T^pred - E_T^true)/δ_pred

Vergleichsmethoden

• Baseline: Optimale Filterung (OF) Algorithmus
• Netzvergleich: RNN, Dense, CNN, Dense+RNN

Implementierungsdetails

• Framework: TensorFlow Keras
• Optimierung: Bayes'sche Optimierung, 30-100 Iterationen
• Proxy-Modell: Matérn-Kern 5/2 Gaußscher Prozess
• Akquisitionsfunktion: Expected Improvement-Kriterium

Experimentelle Ergebnisse

Hauptergebnisse

Energieauflösungsvergleich

Genauigkeit der Energieskala

• Dense, CNN, Dense+RNN: Genaue Reproduktion der Energieskala, Abweichung nahe Null
• OF: Systematische Unterschätzung der Energie (nach Design erwartet, schließt durchschnittliche gleichzeitige Stapelungskomponente nicht ein)
• RNN: Leichte Unterschätzung bei niedriger Energie, größere Abweichung bei hoher Energie

Ablationsstudien

Wichtigkeit von Proben vor der Energiedeposition

• Alle optimierten Netze (außer RNN) verwenden >20 Proben vor der Energiedeposition
• Demonstriert die Wichtigkeit der Erfassung von Verzerrungen durch vorherige Energiedeposition
• RNN ist durch hohe Berechnungskosten für lange Sequenzen begrenzt

Netzgrößenoptimierung

Der Bayes'sche Optimierungsprozess zeigt:

• Nach 10 zufälligen Bewertungen deutliche Reduzierung der Netzgröße
• Nach 20 Bewertungen Wiederherstellung der Energieauflösung und Stabilisierung der Netzgröße
• Nachfolgende 100 Bewertungen zeigen nur geringfügige Verbesserungen

DER-Unsicherheitsanalyse

Pull-Verteilungsmerkmale

• Mittelwert: -0,06 (nahe Null, leichte Tendenz zur Überestimation)
• Standardabweichung: 0,75 (leichte Überestimation der Unsicherheit)
• Insgesamt stimmt die Unsicherheitsschätzung mit echten Abweichungen überein

Unsicherheitsdekomposition

• Epistemische Unsicherheit: Dominierend (72-79 MeV)
• Zufällige Unsicherheit: Geringer (30-42 MeV)
• 99% der Ereignisse liegen in engem Bereich, was auf stabile Modellvorhersagen hindeutet

Verwandte Arbeiten

Neuronale Netze auf FPGAs

• Schnelle Zunahme der FPGA-Anwendungen neuronaler Netze in LHC-Experimenten
• Erfolgreiche Fälle von Triggersystem-Algorithmusersatz
• Neue Anwendungen in der Verarbeitung von Rohdaten von Detektoren

Kalorimeter-Energierekonstruktion

• Leistungsabfall des traditionellen OF-Algorithmus unter Hochstapelungsbedingungen
• Frühere Forschung begrenzt auf 0-5 GeV-Bereich und vereinfachte Simulation
• Diese Arbeit erweitert auf größeren dynamischen Bereich und realistischere Simulation

Unsicherheitsquantifizierung

• Hohe Rechenkosten von Bayes'schen neuronalen Netzen
• DER bietet praktische Unsicherheitsschätzungsmethode
• Erste Anwendung unter FPGA-Einschränkungen

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Leistungsverbesserung: Dense- und CNN-Architekturen erzielen ~8% Verbesserung der Energieauflösung
2. Hardwareumsetzbarkeit: Alle optimierten Netze < 500 MAC-Einheiten, erfüllen FPGA-Einschränkungen
3. Energieskala: Neuronale Netze reproduzieren genau die Energieskala über den gesamten dynamischen Bereich
4. Unsicherheit: DER liefert erfolgreich ereignisspezifische Unsicherheitsschätzungen

Einschränkungen

1. Einzelne Zelle: Forschung begrenzt auf einzelne Kalorimeterzelle
2. Ideales Triggering: Annahme perfekter Erkennung von Hard-Scattering-Ereignissen
3. Hochverstärkung: Nur Hochverstärkungsauslesekonfiguration berücksichtigt
4. Anomalieerkennung: Aktuelle Unsicherheitsschätzung schwierig bei Identifikation anomaler Rekonstruktionsereignisse

Zukünftige Richtungen

1. Multi-Zellen-Erweiterung: Erweiterung auf gemeinsame Verarbeitung mehrerer Kalorimeterzellen
2. Trigger-Integration: Kombination mit Bunch-Crossing-Zuordnungsfunktionalität
3. Anomalieerkennung: Erforschung der Behandlung von Rauschausbrüchen und nicht-uniformer Strahlstruktur
4. Architekturoptimierung: Größere Trainingsdatensätze und verfeinerte Architekturen

Tiefgreifende Bewertung

Stärken

1. Hohe Praktikabilität: Direkt auf HL-LHC-Anforderungen ausgerichtet, berücksichtigt strikte Hardwareeinschränkungen
2. Umfassende Methodik: Systematischer Vergleich mehrerer Architekturen, Bayes'sche Optimierung gewährleistet fairen Vergleich
3. Innovatives Design: Dense+RNN-Architektur balanciert geschickt Leistung und Rechenkosten
4. Unsicherheitsquantifizierung: Erste DER-Implementierung unter FPGA-Einschränkungen mit wichtigem praktischem Wert
5. Umfassende Validierung: Validierung über gesamten dynamischen Bereich, großer unabhängiger Testsatz

Schwächen

1. Begrenzte Reichweite: Nur für einzelne spezifische Position der Kalorimeterzelle
2. Vereinfachte Annahmen: Ideale Triggering-Annahme kann von praktischer Anwendung abweichen
3. Anomalieverarbeitung: Begrenzte Fähigkeit zur Behandlung anomaler Rekonstruktionsereignisse
4. Generalisierbarkeit: Generalisierungsfähigkeit über verschiedene Positionen und Bedingungen nicht vollständig validiert

Auswirkungen

1. Technischer Beitrag: Bietet neue Lösungen für Echtzeitdatenverarbeitung in Hochenergiephysik-Experimenten
2. Methodologie: Hardwareeinschränkungs-Optimierungsmethode kann auf andere FPGA-Anwendungen übertragen werden
3. Praktischer Wert: Direkt dienlich für ATLAS-Experiment-Aufrüstung mit wichtigem Ingenieurwert
4. Interdisziplinäre Verbindung: Fördert tiefe Integration von maschinellem Lernen und Hochenergiephysik-Instrumentierung

Anwendungsszenarien

1. Hochenergiephysik: Ähnliche Kalorimeter-Energierekonstruktionsaufgaben
2. Echtzeitsysteme: Anwendungen mit niedriger Latenz und hoher Genauigkeit der Signalverarbeitung
3. FPGA-Anwendungen: Neuronale Netzwerk-Bereitstellung in ressourcenbeschränkten Umgebungen
4. Unsicherheitsquantifizierung: Ingenieuranwendungen, die Echtzeitunsicherheitsschätzung erfordern

Referenzen

Dieses Papier zitiert 28 wichtige Referenzen, die ATLAS-Experimentdesign, LHC-Aufrüstungspläne, FPGA-Neuronale-Netzwerk-Implementierung, Theorie der tiefgreifenden evidenzgestützten Regression und andere Schlüsselbereiche abdecken und eine solide theoretische und technische Grundlage für die Forschung bieten.

Gesamtbewertung: Dies ist ein hochqualitatives angewandtes Forschungspapier, das ein gutes Gleichgewicht zwischen theoretischer Innovation und Ingenieurpraxis erreicht. Die Forschung dient direkt den Aufrüstungsanforderungen großer wissenschaftlicher Geräte, die Methodengestaltung ist vernünftig, die experimentelle Validierung ist umfassend, und sie hat wichtige Werte für sowohl Hochenergiephysik-Experimente als auch FPGA-Anwendungsfelder.