2025-11-18T21:19:13.596005

Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs

Aad, Bertrand, Laatu et al.

A study of neural network architectures for the reconstruction of the energy deposited in the cells of the ATLAS liquid-argon calorimeters under high pile-up conditions expected at the HL-LHC is presented. These networks are designed to run on the FPGA-based readout hardware of the calorimeters under strict size and latency constraints. Several architectures, including Dense, Recurrent (RNN), and Convolutional (CNN) neural networks, are optimised using a Bayesian procedure that balances energy resolution against network size. The optimised Dense, CNN, and combined Dense+RNN architectures achieve a transverse energy resolution of approximately 80 MeV, outperforming both the optimal filtering (OF) method currently in use and RNNs of similar complexity. A detailed comparison across the full dynamic range shows that Dense, CNN, and Dense+RNN accurately reproduce the energy scale, while OF and RNNs underestimate the energy. Deep Evidential Regression is implemented within the Dense architecture to address the need for reliable per-event energy uncertainties. This approach provides predictive uncertainty estimates with minimal increase in network size. The predicted uncertainty is found to be consistent, on average, with the difference between the true deposited energy and the predicted energy.

academic

ATLAS कैलोरीमीटर डेटा के ऑनलाइन प्रोसेसिंग के लिए FPGAs पर अनुकूलित तंत्रिका नेटवर्क

मूल जानकारी

पेपर ID: 2510.11469
शीर्षक: Optimised neural networks for online processing of ATLAS calorimeter data on FPGAs
लेखक: Georges Aad, Raphaël Bertrand, Lauri Laatu, Emmanuel Monnier, Arno Straessner, Nairit Sur, Johann C. Voigt
वर्गीकरण: physics.ins-det (भौतिकी - उपकरण और संसूचक)
प्रकाशन तिथि: 13 अक्टूबर 2025
पेपर लिंक: https://arxiv.org/abs/2510.11469v1

सारांश

यह अनुसंधान उच्च-प्रकाश्यता बड़े हैड्रॉन कोलाइडर (HL-LHC) की अपेक्षित उच्च पाइलअप स्थितियों के तहत ATLAS तरल आर्गन कैलोरीमीटर इकाई ऊर्जा जमा पुनर्निर्माण के लिए तंत्रिका नेटवर्क आर्किटेक्चर का गहन अध्ययन करता है। ये नेटवर्क कैलोरीमीटर FPGA-आधारित पठन हार्डवेयर पर कठोर आकार और विलंबता बाधाओं के तहत संचालित होने के लिए डिज़ाइन किए गए हैं। बेयेसियन अनुकूलन प्रक्रिया के माध्यम से, घने नेटवर्क (Dense), पुनरावर्ती तंत्रिका नेटवर्क (RNN) और कनवोल्यूशनल तंत्रिका नेटवर्क (CNN) सहित कई आर्किटेक्चर को अनुकूलित किया गया, ऊर्जा संकल्प और नेटवर्क आकार के बीच संतुलन प्राप्त किया गया। अनुकूलित Dense, CNN और Dense+RNN संयोजन आर्किटेक्चर ने लगभग 80 MeV का अनुप्रस्थ ऊर्जा संकल्प प्राप्त किया, जो वर्तमान में उपयोग की जाने वाली इष्टतम फ़िल्टरिंग (OF) विधि और समान जटिलता के RNN से काफी बेहतर है। पूर्ण गतिशील श्रेणी की विस्तृत तुलना से पता चलता है कि Dense, CNN और Dense+RNN ऊर्जा पैमाने को सटीक रूप से पुनः प्रस्तुत करते हैं, जबकि OF और RNN ऊर्जा को कम आंकते हैं। इसके अतिरिक्त, विश्वसनीय प्रति-घटना ऊर्जा अनिश्चितता आवश्यकताओं को पूरा करने के लिए Dense आर्किटेक्चर में गहन साक्ष्य प्रतिगमन लागू किया गया।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या पृष्ठभूमि

उच्च-प्रकाश्यता LHC चुनौतियाँ: HL-LHC 2026-2030 के बाद 200 तक समवर्ती प्रोटॉन-प्रोटॉन टकराव उत्पन्न करेगा, जिससे गंभीर संकेत पाइलअप समस्या होगी
हार्डवेयर बाधाएँ: ATLAS तरल आर्गन कैलोरीमीटर में 182,468 इकाइयाँ हैं, जो प्रति सेकंड सैकड़ों TB डेटा उत्पन्न करती हैं, जिन्हें विशेष इलेक्ट्रॉनिक बोर्ड द्वारा संसाधित किया जाना चाहिए
विलंबता आवश्यकताएँ: ऊर्जा पुनर्निर्माण एल्गोरिदम को ट्रिगर सिस्टम की तीव्र प्रतिक्रिया आवश्यकताओं को पूरा करने के लिए 125 ns के भीतर पूरा होना चाहिए
मौजूदा विधि सीमाएँ: वर्तमान में उपयोग किया जाने वाला इष्टतम फ़िल्टरिंग (OF) एल्गोरिदम उच्च पाइलअप स्थितियों में काफी खराब प्रदर्शन करता है

अनुसंधान प्रेरणा

FPGA प्रोसेसिंग क्षमता में सुधार डेटा प्रोसेसिंग श्रृंखला के प्रारंभिक चरण में आधुनिक मशीन लर्निंग एल्गोरिदम लागू करने के लिए अद्वितीय अवसर प्रदान करता है
कठोर हार्डवेयर बाधाओं के तहत चलने वाली और OF एल्गोरिदम से बेहतर प्रदर्शन करने वाली नई विधियाँ विकसित करने की आवश्यकता
प्रति-घटना ऊर्जा अनिश्चितता अनुमान को लागू करना, बाद के डेटा अधिग्रहण और पुनर्निर्माण चरणों की सटीकता में सुधार करना

मुख्य योगदान

बहु-आर्किटेक्चर अनुकूलन: चार तंत्रिका नेटवर्क आर्किटेक्चर (Dense, RNN, CNN, Dense+RNN) का प्रस्ताव और अनुकूलन, बेयेसियन अनुकूलन के माध्यम से ऊर्जा संकल्प और नेटवर्क आकार के बीच सर्वोत्तम संतुलन प्राप्त करना
हार्डवेयर बाधा उद्देश्य फ़ंक्शन: MAC इकाई संख्या पर विचार करते हुए एक खंडित दंड उद्देश्य फ़ंक्शन डिज़ाइन करना, नेटवर्क आकार को प्रभावी ढंग से नियंत्रित करना
प्रदर्शन सुधार: इष्टतम आर्किटेक्चर लगभग 80 MeV अनुप्रस्थ ऊर्जा संकल्प प्राप्त करता है, OF एल्गोरिदम की तुलना में लगभग 8% सुधार
अनिश्चितता परिमाणीकरण: FPGA बाधाओं के तहत गहन साक्ष्य प्रतिगमन (DER) को पहली बार लागू करना, प्रति-घटना ऊर्जा अनिश्चितता अनुमान प्रदान करना
पूर्ण गतिशील श्रेणी सत्यापन: 0-130 GeV ऊर्जा श्रेणी में विधि की प्रभावशीलता और ऊर्जा पैमाने की सटीकता को सत्यापित करना

विधि विवरण

कार्य परिभाषा

इनपुट: कैलोरीमीटर इकाई के डिजिटलीकृत पल्स नमूनों का अनुक्रम

4 जमा-पश्चात नमूने (लक्ष्य ऊर्जा जमा के BC से शुरू)
अधिकतम 28 जमा-पूर्व नमूने (पूर्व ऊर्जा जमा के कारण विकृति को सुधारने के लिए)

आउटपुट: विशिष्ट BC पर वास्तविक अनुप्रस्थ ऊर्जा $E_T^{true}$ बाधाएँ: नेटवर्क आकार <500 MAC इकाइयाँ, विलंबता <125 ns

मॉडल आर्किटेक्चर

1. CNN आर्किटेक्चर

संरचना: दो कनवोल्यूशनल परतें + इनपुट आउटपुट परत
पहली परत: 5 समानांतर 1D फ़िल्टर, कर्नल आकार 7, 25 इनपुट नमूनों पर स्लाइडिंग
दूसरी परत: 6 2D फ़िल्टर, कर्नल आकार 11×5, इनपुट 19×5
आउटपुट परत: एकल फ़िल्टर, कर्नल आकार 9×6
लाभ: स्लाइडिंग विंडो पैटर्न, पूर्व गणना परिणामों का पुन: उपयोग, विलंबता में कमी

2. RNN आर्किटेक्चर

संरचना: 5 RNN इकाइयों का अनुक्रम + अंतिम घनी परत
इकाइयाँ: सरल vanilla इकाइयाँ, आयाम 8, ReLU सक्रियण
विशेषताएँ: डेटा नमूना आगमन के साथ सिंक्रोनाइज़ गणना, पैरामीटर साझाकरण लेकिन सीमित पुन: उपयोग

3. Dense+RNN आर्किटेक्चर

नवीन डिज़ाइन: घनी परत जमा-पूर्व नमूनों को RNN इकाई को आरंभ करने के लिए संसाधित करती है
लाभ: RNN लाभों को बनाए रखते हुए लंबे अनुक्रम गणना लागत को कम करना
संरचना: घनी परत (जमा-पूर्व) → RNN अनुक्रम (जमा-पश्चात) → अंतिम घनी परत

4. Staged Dense आर्किटेक्चर

दो-चरण डिज़ाइन:
- पहला चरण: जमा-पूर्व नमूने पल्स विकृति को सुधारते हैं
- दूसरा चरण: जमा-पश्चात नमूनों को संयोजित करके पल्स आकार को कैप्चर करना
विलंबता अनुकूलन: पहले चरण की पूर्व-गणना की जा सकती है

तकनीकी नवाचार बिंदु

1. हार्डवेयर बाधा उद्देश्य फ़ंक्शन

f(M,σ) = {
  σ̃                           यदि M ≤ 500
  σ̃ + 0.3(M̃ - 0.3)          यदि M ∈ ]500; 850]
  σ̃ + 0.3(M̃ - 0.3) + e^(M̃-0.65) - 1  अन्यथा
}

खंडित दंड तंत्र FPGA बाधाओं के भीतर नेटवर्क सुनिश्चित करता है
ऊर्जा संकल्प और कम्प्यूटेशनल जटिलता को संतुलित करता है

2. गहन साक्ष्य प्रतिगमन (DER)

NIG वितरण पैरामीटरीकरण: γ (अपेक्षित मान), ν (संज्ञानात्मक विचरण), α, β (यादृच्छिक विचरण पैरामीटर)
अनिश्चितता विघटन: यादृच्छिक अनिश्चितता + संज्ञानात्मक अनिश्चितता
कार्यान्वयन: अंतिम घनी परत को DenseNormalGamma परत से प्रतिस्थापित करना

प्रायोगिक सेटअप

डेटासेट

सिमुलेशन उपकरण: AREUS टूलकिट
प्रशिक्षण सेट: 10 लाख घटनाएँ
सत्यापन सेट: 15 लाख घटनाएँ
परीक्षण सेट: 25 लाख घटनाएँ
अंतिम मूल्यांकन: 1.3 करोड़ स्वतंत्र घटनाएँ
ऊर्जा श्रेणी: 0-130 GeV समान वितरण (80% उच्च-लाभ पठन गतिशील श्रेणी को कवर करता है)
पाइलअप स्थितियाँ: औसत 200 समवर्ती टकराव (⟨μ⟩=200)

मूल्यांकन मेट्रिक्स

मुख्य मेट्रिक: अनुप्रस्थ ऊर्जा संकल्प σ(E_T^pred - E_T^true)
ऊर्जा पैमाना: ⟨E_T^pred - E_T^true⟩ vs E_T^true
अनिश्चितता मूल्यांकन: Pull वितरण (E_T^pred - E_T^true)/δ_pred

तुलना विधियाँ

आधारभूत: इष्टतम फ़िल्टरिंग (OF) एल्गोरिदम
नेटवर्क तुलना: RNN, Dense, CNN, Dense+RNN

कार्यान्वयन विवरण

ढाँचा: TensorFlow Keras
अनुकूलन: बेयेसियन अनुकूलन, 30-100 पुनरावृत्तियाँ
प्रॉक्सी मॉडल: 5/2 Matérn कर्नल गाऊसी प्रक्रिया
अधिग्रहण फ़ंक्शन: अपेक्षित सुधार मानदंड

प्रायोगिक परिणाम

मुख्य परिणाम

ऊर्जा संकल्प तुलना

आर्किटेक्चर	ऊर्जा संकल्प (MeV)	MAC इकाइयाँ	OF के सापेक्ष सुधार
OF	~90	-	-
RNN	~90	368	0%
Dense	~80	240	~11%
CNN	~80	419	~11%
Dense+RNN	~80	392	~11%

ऊर्जा पैमाने की सटीकता

Dense, CNN, Dense+RNN: ऊर्जा पैमाने को सटीक रूप से पुनः प्रस्तुत करते हैं, विचलन शून्य के करीब
OF: ऊर्जा को व्यवस्थित रूप से कम आंकता है (डिज़ाइन अपेक्षा, औसत समवर्ती पाइलअप घटक को शामिल नहीं करता)
RNN: निम्न ऊर्जा पर हल्का कम आंकना, उच्च ऊर्जा पर विचलन बढ़ता है

विलोपन प्रयोग

जमा-पूर्व नमूनों की महत्ता

सभी अनुकूलित नेटवर्क (RNN को छोड़कर) >20 जमा-पूर्व नमूनों का उपयोग करते हैं
पूर्व ऊर्जा जमा विकृति को कैप्चर करने की महत्ता को प्रमाणित करता है
RNN लंबे अनुक्रम गणना लागत के कारण सीमित है

नेटवर्क आकार अनुकूलन

बेयेसियन अनुकूलन प्रक्रिया दिखाती है:

पहली 10 यादृच्छिक मूल्यांकन के बाद नेटवर्क आकार में तेज़ी से कमी
20 मूल्यांकन के बाद ऊर्जा संकल्प पुनः प्राप्त होता है और नेटवर्क आकार स्थिर होता है
बाद की 100 मूल्यांकन केवल सूक्ष्म सुधार दिखाती हैं

DER अनिश्चितता विश्लेषण

Pull वितरण विशेषताएँ

माध्य: -0.06 (शून्य के करीब, हल्का अधिक-अनुमान प्रवृत्ति)
मानक विचलन: 0.75 (अनिश्चितता का हल्का अधिक-अनुमान)
कुल मिलाकर अनिश्चितता अनुमान वास्तविक विचलन के साथ सुसंगत है

अनिश्चितता विघटन

संज्ञानात्मक अनिश्चितता: प्रमुख (72-79 MeV)
यादृच्छिक अनिश्चितता: छोटी (30-42 MeV)
99% घटनाएँ संकीर्ण बैंड श्रेणी में हैं, मॉडल पूर्वानुमान स्थिरता को दर्शाता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

प्रदर्शन सुधार: Dense और CNN आर्किटेक्चर ~8% ऊर्जा संकल्प सुधार प्राप्त करते हैं
हार्डवेयर व्यवहार्यता: सभी अनुकूलित नेटवर्क <500 MAC इकाइयाँ, FPGA बाधाओं को पूरा करते हैं
ऊर्जा पैमाना: तंत्रिका नेटवर्क पूर्ण गतिशील श्रेणी ऊर्जा पैमाने को सटीक रूप से पुनः प्रस्तुत करते हैं
अनिश्चितता: DER सफलतापूर्वक प्रति-घटना अनिश्चितता अनुमान प्रदान करता है

सीमाएँ

एकल इकाई: अनुसंधान एकल कैलोरीमीटर इकाई तक सीमित है
आदर्श ट्रिगर: पूर्ण हार्ड-स्कैटर घटना पहचान मान लिया गया है
उच्च-लाभ: केवल उच्च-लाभ पठन सेटअप पर विचार किया गया है
विसंगति पहचान: वर्तमान अनिश्चितता अनुमान पुनर्निर्माण विसंगति घटनाओं की पहचान करना कठिन है

भविष्य की दिशाएँ

बहु-इकाई विस्तार: कई कैलोरीमीटर इकाइयों के संयुक्त प्रोसेसिंग तक विस्तार
ट्रिगर एकीकरण: बंच क्रॉसिंग असाइनमेंट कार्यक्षमता को संयोजित करना
विसंगति पहचान: शोर विस्फोट और गैर-समान बंच संरचना के प्रोसेसिंग की खोज
आर्किटेक्चर अनुकूलन: बड़े प्रशिक्षण डेटासेट और परिष्कृत आर्किटेक्चर

गहन मूल्यांकन

शक्तियाँ

व्यावहारिकता: HL-LHC वास्तविक आवश्यकताओं का सीधा सामना, कठोर हार्डवेयर बाधाओं पर विचार
विधि व्यापकता: कई आर्किटेक्चर की व्यवस्थित तुलना, बेयेसियन अनुकूलन निष्पक्ष तुलना सुनिश्चित करता है
नवीन डिज़ाइन: Dense+RNN आर्किटेक्चर प्रदर्शन और कम्प्यूटेशनल लागत को चतुराई से संतुलित करता है
अनिश्चितता परिमाणीकरण: FPGA बाधाओं के तहत DER का पहली बार कार्यान्वयन, महत्वपूर्ण व्यावहारिक मूल्य
पर्याप्त सत्यापन: पूर्ण गतिशील श्रेणी सत्यापन, बड़े स्वतंत्र परीक्षण सेट

कमियाँ

श्रेणी सीमा: केवल कैलोरीमीटर इकाई के एकल विशिष्ट स्थान के लिए
सरलीकृत मान्यताएँ: आदर्श ट्रिगर मान्यता वास्तविक अनुप्रयोग से भिन्न हो सकती है
विसंगति प्रबंधन: पुनर्निर्माण विसंगति घटनाओं के प्रबंधन की क्षमता सीमित है
सामान्यीकरण: विभिन्न स्थानों, विभिन्न स्थितियों के तहत सामान्यीकरण क्षमता पर्याप्त रूप से सत्यापित नहीं है

प्रभाव

तकनीकी योगदान: उच्च ऊर्जा भौतिकी प्रयोगों के वास्तविक समय डेटा प्रोसेसिंग के लिए नया समाधान प्रदान करता है
पद्धति विज्ञान: हार्डवेयर बाधा अनुकूलन विधि अन्य FPGA अनुप्रयोगों तक विस्तारित की जा सकती है
व्यावहारिक मूल्य: ATLAS प्रयोग उन्नयन को सीधे सेवा प्रदान करता है, महत्वपूर्ण इंजीनियरिंग मूल्य
विषय अंतर्संबंध: मशीन लर्निंग और उच्च ऊर्जा भौतिकी उपकरणों के गहन एकीकरण को बढ़ावा देता है

लागू परिदृश्य

उच्च ऊर्जा भौतिकी: समान कैलोरीमीटर ऊर्जा पुनर्निर्माण कार्य
वास्तविक समय प्रणाली: कम विलंबता, उच्च सटीकता संकेत प्रोसेसिंग अनुप्रयोग
FPGA अनुप्रयोग: संसाधन-सीमित वातावरण में तंत्रिका नेटवर्क तैनाती
अनिश्चितता परिमाणीकरण: वास्तविक समय अनिश्चितता अनुमान की आवश्यकता वाले इंजीनियरिंग अनुप्रयोग

संदर्भ

यह पेपर 28 महत्वपूर्ण संदर्भों का हवाला देता है, जिसमें ATLAS प्रयोग डिज़ाइन, LHC उन्नयन योजनाएँ, FPGA तंत्रिका नेटवर्क कार्यान्वयन, गहन साक्ष्य प्रतिगमन सिद्धांत और अन्य महत्वपूर्ण क्षेत्र शामिल हैं, जो अनुसंधान के लिए ठोस सैद्धांतिक और तकनीकी आधार प्रदान करते हैं।

कुल मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुप्रयुक्त अनुसंधान पेपर है जो सैद्धांतिक नवाचार और इंजीनियरिंग अभ्यास के बीच अच्छा संतुलन प्राप्त करता है। अनुसंधान प्रमुख वैज्ञानिक उपकरण उन्नयन आवश्यकताओं को सीधे सेवा प्रदान करता है, विधि डिज़ाइन तर्कसंगत है, प्रायोगिक सत्यापन पर्याप्त है, और उच्च ऊर्जा भौतिकी प्रयोग और FPGA अनुप्रयोग क्षेत्रों दोनों के लिए महत्वपूर्ण मूल्य है।