2025-11-21T08:13:14.953259

Applying Graph Explanation to Operator Fusion

Mills, Qharabagh, Qiu et al.

Layer fusion techniques are critical to improving the inference efficiency of deep neural networks (DNN) for deployment. Fusion aims to lower inference costs by reducing data transactions between an accelerator's on-chip buffer and DRAM. This is accomplished by grouped execution of multiple operations like convolution and activations together into single execution units - fusion groups. However, on-chip buffer capacity limits fusion group size and optimizing fusion on whole DNNs requires partitioning into multiple fusion groups. Finding the optimal groups is a complex problem where the presence of invalid solutions hampers traditional search algorithms and demands robust approaches. In this paper we incorporate Explainable AI, specifically Graph Explanation Techniques (GET), into layer fusion. Given an invalid fusion group, we identify the operations most responsible for group invalidity, then use this knowledge to recursively split the original fusion group via a greedy tree-based algorithm to minimize DRAM access. We pair our scheme with common algorithms and optimize DNNs on two types of layer fusion: Line-Buffer Depth First (LBDF) and Branch Requirement Reduction (BRR). Experiments demonstrate the efficacy of our scheme on several popular and classical convolutional neural networks like ResNets and MobileNets. Our scheme achieves over 20% DRAM Access reduction on EfficientNet-B3.

academic

ग्राफ व्याख्या को ऑपरेटर फ्यूजन में लागू करना

मूल जानकारी

पेपर ID: 2501.00636
शीर्षक: ग्राफ व्याख्या को ऑपरेटर फ्यूजन में लागू करना
लेखक: Keith G. Mills, Muhammad Fetrat Qharabagh, Weichen Qiu, Fred X. Han, Mohammad Salameh, Wei Lu, Shangling Jui, Di Niu
वर्गीकरण: cs.LG cs.CV
प्रकाशन समय: 31 दिसंबर 2024 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2501.00636

सारांश

परत फ्यूजन तकनीकें गहन तंत्रिका नेटवर्क (DNN) के अनुमान दक्षता में सुधार के लिए महत्वपूर्ण हैं। फ्यूजन का लक्ष्य त्वरक के ऑन-चिप बफर और DRAM के बीच डेटा लेनदेन को कम करके अनुमान लागत को कम करना है। यह कनवल्शन और सक्रियण जैसे कई ऑपरेशन को एकल निष्पादन इकाइयों - फ्यूजन समूहों में समूहीकृत निष्पादन के माध्यम से पूरा किया जाता है। हालांकि, ऑन-चिप बफर क्षमता फ्यूजन समूह आकार को सीमित करती है और संपूर्ण DNN पर फ्यूजन को अनुकूलित करने के लिए कई फ्यूजन समूहों में विभाजन की आवश्यकता होती है। इष्टतम समूह खोजना एक जटिल समस्या है जहां अमान्य समाधानों की उपस्थिति पारंपरिक खोज एल्गोरिदम को बाधित करती है और मजबूत दृष्टिकोण की मांग करती है। इस पेपर में हम व्याख्यायोग्य AI, विशेष रूप से ग्राफ व्याख्या तकनीकों (GET) को परत फ्यूजन में शामिल करते हैं। एक अमान्य फ्यूजन समूह दिए जाने पर, हम समूह अमान्यता के लिए सबसे अधिक जिम्मेदार ऑपरेशन की पहचान करते हैं, फिर DRAM पहुंच को कम करने के लिए एक लालची वृक्ष-आधारित एल्गोरिदम के माध्यम से मूल फ्यूजन समूह को पुनरावर्ती रूप से विभाजित करने के लिए इस ज्ञान का उपयोग करते हैं। हम अपनी योजना को सामान्य एल्गोरिदम के साथ जोड़ते हैं और दो प्रकार की परत फ्यूजन पर DNN को अनुकूलित करते हैं: Line-Buffer Depth First (LBDF) और Branch Requirement Reduction (BRR)। प्रयोग ResNets और MobileNets जैसे कई लोकप्रिय और शास्त्रीय कनवल्शनल तंत्रिका नेटवर्क पर हमारी योजना की प्रभावकारिता प्रदर्शित करते हैं। हमारी योजना EfficientNet-B3 पर 20% से अधिक DRAM पहुंच में कमी प्राप्त करती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान द्वारा समाधान की जाने वाली मूल समस्या गहन तंत्रिका नेटवर्क की परत फ्यूजन (Layer Fusion) अनुकूलन समस्या है। परत फ्यूजन एक अनुमान त्वरण तकनीक है जो कई DNN ऑपरेशन परतों (जैसे कनवल्शन और ReLU) को एकल निष्पादन इकाई में फ्यूज करके, तंत्रिका त्वरक चिप पर बफर और DRAM के बीच डेटा ट्रांसमिशन की संख्या को कम करती है, जिससे अनुमान विलंबता और बिजली खपत में कमी आती है।

समस्या की महत्ता

प्रदर्शन बाधा: जैसे-जैसे DNN मॉडल बड़े और गहरे होते जाते हैं, DRAM पहुंच मुख्य प्रदर्शन और बिजली खपत की बाधा बन जाती है
तैनाती आवश्यकताएं: एज डिवाइस और मोबाइल प्लेटफॉर्म पर DNN तैनात करते समय, मेमोरी बैंडविड्थ और बिजली खपत की सीमाएं विशेष रूप से गंभीर होती हैं
हार्डवेयर बाधाएं: ऑन-चिप कैश क्षमता सीमित है, फ्यूजन प्रभाव को अधिकतम करने के लिए ऑपरेशन को बुद्धिमानी से समूहीकृत करने की आवश्यकता है

मौजूदा विधियों की सीमाएं

कम खोज दक्षता: पारंपरिक खोज एल्गोरिदम (जैसे विकासवादी एल्गोरिदम, स्थानीय खोज) अमान्य फ्यूजन समूहों का सामना करते समय कम दक्षता प्रदर्शित करते हैं
यादृच्छिक विभाजन: मौजूदा विधियां आमतौर पर अमान्य फ्यूजन समूहों को यादृच्छिक रूप से विभाजित करती हैं, DRAM पहुंच लागत को इष्टतम बनाने की गारंटी नहीं दे सकती हैं
व्याख्यायोग्यता की कमी: फ्यूजन समूह को अमान्य बनाने वाले विशिष्ट ऑपरेशन की पहचान नहीं कर सकते, लक्षित अनुकूलन करना कठिन है

अनुसंधान प्रेरणा

लेखक परत फ्यूजन अनुकूलन में व्याख्यायोग्य AI तकनीक को शामिल करने का प्रस्ताव करते हैं, ग्राफ व्याख्या तकनीकों (Graph Explanation Techniques, GET) के माध्यम से फ्यूजन समूह को अमान्य बनाने वाले महत्वपूर्ण ऑपरेशन की पहचान करते हैं, फिर लालची वृक्ष एल्गोरिदम का उपयोग करके DRAM पहुंच लागत को कम करने के लिए बुद्धिमान विभाजन करते हैं।

मूल योगदान

परत फ्यूजन अनुकूलन में ग्राफ व्याख्या तकनीक का पहला अनुप्रयोग: व्याख्यायोग्य AI और हार्डवेयर अनुकूलन क्षेत्र का नवीन संयोजन
पुनरावर्ती वृक्ष विभाजन एल्गोरिदम का प्रस्ताव: लालची रणनीति पर आधारित एक पुनरावर्ती विभाजन योजना डिजाइन की गई है जो अमान्य फ्यूजन समूहों को बुद्धिमानी से संभाल सकती है
क्रॉस-फ्यूजन विधि सत्यापन: LBDF और BRR दोनों विभिन्न परत फ्यूजन विधियों पर योजना की प्रभावकारिता को सत्यापित किया गया है
उल्लेखनीय प्रदर्शन सुधार: EfficientNet-B3 पर 20% से अधिक DRAM पहुंच में कमी प्राप्त की गई है

विधि विवरण

कार्य परिभाषा

एक गहन तंत्रिका नेटवर्क के कम्प्यूटेशनल ग्राफ G और ऑन-चिप कैश क्षमता β दी गई है, परत फ्यूजन अनुकूलन का लक्ष्य इष्टतम विभाजन योजना Φ खोजना है, जैसे कि:

min_Φ Σ_{φn∈Φ} F_D(φn)
s.t. ∀φn ∈ Φ | F_β(φn) < β

जहां F_D DRAM पहुंच लागत की गणना करता है, F_β कैश आवश्यकता की गणना करता है, प्रत्येक फ्यूजन समूह φn की मेमोरी आवश्यकता कैश क्षमता β से अधिक नहीं हो सकती है।

मॉडल आर्किटेक्चर

1. ग्राफ तंत्रिका नेटवर्क वर्गीकरणकर्ता

4-परत k-GNN का उपयोग, छिपी हुई आयाम 128
ReLU सक्रियण फ़ंक्शन और योग एकत्रीकरण
फ्यूजन समूह वैधता को द्विआधारी वर्गीकरण समस्या में परिवर्तित करता है: Validity = σ(p(y|φ, β, θ))

2. ग्राफ व्याख्या तकनीक एकीकरण

तीन मुख्य ग्राफ व्याख्या विधियों का समर्थन करता है:

GNNExplainer (GNNE): पारस्परिक सूचना अधिकतमकरण पर आधारित
PGExplainer (PG): पूर्व-प्रशिक्षित पैरामीटरीकृत व्याख्याकार
RG-Explainer (RG): सुदृढ़ शिक्षा पर आधारित जुड़ा हुआ उप-ग्राफ जनरेशन

3. पुनरावर्ती लालची विभाजन एल्गोरिदम

एल्गोरिदम विभाजन समाधान को तीन श्रेणियों में विभाजित करता है:

श्रेणी 1: दोनों नए फ्यूजन समूह वैध हैं (पसंदीदा समाधान)
श्रेणी 2: एक वैध है, एक अमान्य है (मध्यवर्ती समाधान)
श्रेणी 3: दोनों अमान्य हैं (सबसे खराब स्थिति)

तकनीकी नवाचार बिंदु

1. स्किप कनेक्शन हैंडलिंग

आधुनिक DNN में अवशिष्ट कनेक्शन सरल किनारे हटाने को फ्यूजन समूहों को अलग करने में असमर्थ बनाते हैं। एल्गोरिदम टोपोलॉजिकल सॉर्टिंग और पुनरावर्ती जांच के माध्यम से, नेस्टेड स्किप कनेक्शन को सही तरीके से संभालना सुनिश्चित करता है।

2. स्मृति अनुकूलन

विभाजन परिणामों और लागत गणनाओं को संग्रहीत करने के लिए कैशिंग तंत्र का उपयोग करता है, दोहराई गई गणना से बचता है, खोज दक्षता में सुधार करता है।

3. बहु-स्तरीय लालची रणनीति

दो वैध फ्यूजन समूह उत्पन्न करने वाले समाधानों को प्राथमिकता दी जाती है
मध्यवर्ती समाधानों में सबसे अधिक नोड्स वाले वैध फ्यूजन समूह का चयन करता है
सभी वैध होने तक अमान्य फ्यूजन समूहों को पुनरावर्ती रूप से संभालता है

प्रयोग सेटअप

डेटासेट

कई शास्त्रीय और आधुनिक CNN आर्किटेक्चर के ONNX मॉडल का उपयोग:

शास्त्रीय नेटवर्क: VGG16, SqueezeNet, ResNet-18/50/101/152
आधुनिक नेटवर्क: MobileNetV2/V3, EfficientNet-B0/B3
विभाजन नेटवर्क: DeepLabV3+MobileNetV3

कुल 54k से अधिक फ्यूजन समूह नमूने उत्पन्न किए गए हैं, जो 5 विभिन्न कैश आकारों (128KB-2048KB) को कवर करते हैं।

मूल्यांकन मेट्रिक्स

DRAM पहुंच लागत: MB में डेटा ट्रांसमिशन की मात्रा
अधिकतम कैश उपयोग दर (MBU): विभाजन योजना में सबसे बड़े फ्यूजन समूह की कैश आवश्यकता
मरम्मत दर: GET द्वारा अमान्य फ्यूजन समूहों को सफलतापूर्वक ठीक करने का प्रतिशत

तुलनात्मक विधियां

खोज एल्गोरिदम: Random Search (RS), Local Search (LS), NSGA-II
आधार विधियां: GET का उपयोग न करने वाली मूल खोज एल्गोरिदम
GET वेरिएंट: GNNE, PG, RG तीन ग्राफ व्याख्या तकनीकें

कार्यान्वयन विवरण

GNN प्रशिक्षण 50 राउंड, 95% से अधिक सटीकता और F1 स्कोर प्राप्त करता है
खोज बजट: 1k-5k विभाजन योजनाएं
NSGA-II कार्यान्वयन के लिए OpenBox का उपयोग, जनसंख्या आकार K=10

प्रयोग परिणाम

मुख्य परिणाम

बड़े नेटवर्क प्रदर्शन सुधार

256KB कैश, 5k खोज बजट के तहत परिणाम:

नेटवर्क	विधि	DRAM पहुंच(MB)	सुधार
EfficientNet-B3	LS आधार	90.500	-
	LS+GNNE	78.007	13.8%
	NSGA-II+PG	61.792	31.7%
ResNet-152	NSGA-II आधार	77.205	-
	NSGA-II+RG	66.621	13.7%

क्रॉस-फ्यूजन विधि सत्यापन

128KB कैश के तहत BRR और LBDF परिणाम दिखाते हैं कि GET-वर्धित विधियां लगभग सभी नेटवर्क पर आधार से बेहतर हैं, विशेष रूप से MobileNetV2 जैसे जटिल नेटवर्क पर 10% से अधिक सुधार प्राप्त करती हैं।

विलोपन प्रयोग

GET विधि तुलना

मरम्मत दर: RG-Explainer सर्वोच्च (91.4%-94.0%), PG सबसे कम (50.7%-59.1%)
कम्प्यूटेशनल दक्षता: PG सबसे तेज़, GNNE सबसे धीमा, RG मध्य में
समग्र प्रदर्शन: RG मरम्मत दर और दक्षता के बीच सर्वोत्तम संतुलन प्राप्त करता है

खोज बजट विश्लेषण

प्रयोग दिखाते हैं कि GET का उपयोग करके 1k बजट खोज आधार के 4k बजट प्रदर्शन को पार कर सकती है, विधि की उच्च दक्षता को प्रमाणित करता है।

केस विश्लेषण

Figure 4 EfficientNet अमान्य फ्यूजन समूहों के लिए विभिन्न GET विधियों की व्याख्या दिखाता है:

सभी विधियां मुख्य स्किप कनेक्शन (Conv से Matmul) की पहचान करती हैं
सभी ने LBDF के लिए अनुकूल नहीं पैडिंग ऑपरेशन का चयन किया है
विभिन्न GET द्वारा चुने गए किनारे सेट में थोड़ा अंतर है लेकिन सभी महत्वपूर्ण बाधाओं को पकड़ते हैं

प्रयोग निष्कर्ष

स्केल प्रभाव: अधिक बड़े और जटिल नेटवर्क पर, GET का लाभ अधिक स्पष्ट है
सार्वभौमिकता: विधि विभिन्न खोज एल्गोरिदम और फ्यूजन प्रकारों के लिए प्रभावी है
दक्षता सुधार: खोज प्रक्रिया में अमान्य योजनाओं के उत्पादन में उल्लेखनीय कमी

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

ग्राफ व्याख्या तकनीकें फ्यूजन समूह को अमान्य बनाने वाले महत्वपूर्ण ऑपरेशन की प्रभावी पहचान कर सकती हैं
पुनरावर्ती लालची विभाजन एल्गोरिदम जटिल नेटवर्क संरचना को बुद्धिमानी से संभाल सकता है
विधि कई नेटवर्क आर्किटेक्चर और हार्डवेयर कॉन्फ़िगरेशन के तहत उल्लेखनीय प्रदर्शन सुधार प्रदर्शित करती है

सीमाएं

हार्डवेयर मॉडल सरलीकरण: वर्तमान में केवल कैश क्षमता बाधा पर विचार करता है, अधिक जटिल हार्डवेयर विशेषताओं को शामिल नहीं करता है
फ्यूजन प्रकार सीमा: BRR आधुनिक नेटवर्क संरचना (जैसे SE मॉड्यूल) के लिए सीमित समर्थन प्रदान करता है
कम्प्यूटेशनल ओवरहेड: GNN प्रशिक्षण और GET निष्पादन पूर्व-प्रसंस्करण लागत में वृद्धि करता है

भविष्य की दिशाएं

अधिक हार्डवेयर बाधाओं तक विस्तार: बैंडविड्थ, विलंबता आदि अधिक कारकों पर विचार करना
नई नेटवर्क संरचना का समर्थन: Transformer, ग्राफ तंत्रिका नेटवर्क आदि के अनुकूल
अंत-से-अंत अनुकूलन: परत फ्यूजन को अन्य संकलन अनुकूलन तकनीकों के साथ संयोजित करना

गहन मूल्यांकन

शक्तियां

मजबूत नवीनता: व्याख्यायोग्य AI तकनीक को हार्डवेयर अनुकूलन में पहली बार लागू करता है, अनुसंधान की नई दिशा खोलता है
पूर्ण विधि: समस्या मॉडलिंग से एल्गोरिदम डिजाइन से प्रयोग सत्यापन तक पूर्ण लूप बनाता है
व्यापक प्रयोग: कई नेटवर्क, फ्यूजन विधियों और खोज एल्गोरिदम का व्यापक सत्यापन
उच्च व्यावहारिक मूल्य: वास्तविक तैनाती परिदृश्य में सीधे अनुप्रयोग मूल्य है

कमियां

सैद्धांतिक विश्लेषण की कमी: विधि के अभिसरण और इष्टतमता के लिए सैद्धांतिक गारंटी की कमी है
अपर्याप्त हार्डवेयर सत्यापन: प्रयोग मुख्य रूप से सिमुलेशन पर आधारित हैं, वास्तविक हार्डवेयर प्लेटफॉर्म सत्यापन की कमी है
स्केलेबिलिटी अज्ञात: बड़े पैमाने के नेटवर्क के लिए प्रसंस्करण क्षमता की पुष्टि की जानी बाकी है

प्रभाव

शैक्षणिक योगदान: सिस्टम अनुकूलन में व्याख्यायोग्य AI के अनुप्रयोग के लिए उदाहरण प्रदान करता है
व्यावहारिक मूल्य: गहन शिक्षण संकलक और तैनाती उपकरणों में सीधे अनुप्रयोग के लिए
प्रेरणा महत्व: अधिक AI4Systems अनुसंधान कार्य को प्रेरित कर सकता है

लागू परिदृश्य

एज डिवाइस DNN तैनाती अनुकूलन
मोबाइल प्लेटफॉर्म अनुमान त्वरण
डेटा सेंटर ऊर्जा दक्षता अनुकूलन
गहन शिक्षण संकलक विकास

संदर्भ

पेपर परत फ्यूजन, ग्राफ तंत्रिका नेटवर्क, व्याख्यायोग्य AI आदि कई क्षेत्रों के महत्वपूर्ण कार्यों का संदर्भ देता है, जिसमें शामिल हैं:

Sze et al. (2017): गहन शिक्षण कुशल प्रसंस्करण सर्वेक्षण
Ying et al. (2019): GNNExplainer मूल पेपर
Luo et al. (2020): PGExplainer विधि
Shan et al. (2021): RG-Explainer तकनीक

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला अंतः-अनुशासनात्मक अनुसंधान पेपर है जो व्याख्यायोग्य AI तकनीक को हार्डवेयर अनुकूलन समस्या में सफलतापूर्वक लागू करता है, विधि नवीन है और प्रयोग व्यापक हैं। हालांकि सैद्धांतिक विश्लेषण और हार्डवेयर सत्यापन के पहलुओं में सुधार की गुंजाइश है, लेकिन इसकी नवीनता और व्यावहारिकता इसे गहन शिक्षण प्रणाली अनुकूलन क्षेत्र में महत्वपूर्ण मूल्य प्रदान करती है।