A non-commutative algorithm for multiplying 4x4 matrices using 48 non-complex multiplications
Dumas, Pernet, Sedoglavic
The quest for non-commutative matrix multiplication algorithms in small dimensions has seen a lot of recent improvements recently. In particular, the number of scalar multiplications required to multiply two $4\times4$ matrices was first reduced in \cite{Fawzi:2022aa} from 49 (two recursion levels of Strassen's algorithm) to 47 but only in characteristic 2 or more recently to 48 in \cite{alphaevolve} but over complex numbers. We propose an algorithm in 48 multiplications with only rational coefficients, hence removing the complex number requirement. It was derived from the latter one, under the action of an isotropy which happen to project the algorithm on the field of rational numbers. We also produce a straight line program of this algorithm, reducing the leading constant in the complexity, as well as an alternative basis variant of it, leading to an algorithm running in $7 n^{2+\frac{\log_2 3}{2}} +o\left(n^{2+\frac{log_2 3}{2}}\right)$ operations over any ring containing an inverse of 2.
academic
४८ गैर-जटिल गुणा का उपयोग करके ४×४ मैट्रिक्स गुणा करने के लिए एक गैर-क्रमविनिमेय एल्गोरिदम
इस पत्र में ४८ अदिश गुणा का उपयोग करके ४×४ मैट्रिक्स गुणा की गणना के लिए एक गैर-क्रमविनिमेय एल्गोरिदम प्रस्तुत किया गया है, जो केवल परिमेय संख्या गुणांक का उपयोग करता है, जटिल संख्याओं की आवश्यकता नहीं है। यह AlphaEvolve११ द्वारा प्रस्तावित जटिल डोमेन एल्गोरिदम का सुधार है, जिसे समदैशिकता (isotropy) द्वारा परिमेय संख्या डोमेन में प्रक्षेपित किया गया है। लेख एक सीधी रेखा कार्यक्रम (straight-line program) कार्यान्वयन भी प्रदान करता है, और एक वैकल्पिक आधार संस्करण देता है, जो २ के व्युत्क्रम युक्त किसी भी वलय पर ७n२+२log२३+o(n२+२log२३) की गणना जटिलता प्राप्त करता है।
१. मुख्य समस्या: छोटे आयाम मैट्रिक्स गुणा के लिए इष्टतम गैर-क्रमविनिमेय एल्गोरिदम खोजना, विशेष रूप से आवश्यक अदिश गुणा की संख्या को कम करना। मैट्रिक्स गुणा कंप्यूटर विज्ञान और संख्यात्मक गणना में एक मूलभूत संक्रिया है, जिसकी दक्षता कई अनुप्रयोगों के प्रदर्शन को सीधे प्रभावित करती है।
२. महत्व:
मैट्रिक्स गुणा की समय जटिलता रैखिक बीजगणित गणना, मशीन शिक्षण, वैज्ञानिक गणना आदि क्षेत्रों की दक्षता को सीधे प्रभावित करती है
Strassen एल्गोरिदम (१९६९) ने पहली बार जटिलता को O(n३) से O(n२.८१) तक घटाया, जिससे तीव्र मैट्रिक्स गुणा शोध शुरू हुआ
छोटे आयाम मैट्रिक्स गुणा एल्गोरिदम को पुनरावर्ती रूप से बड़े मैट्रिक्स पर लागू किया जा सकता है, जिसका व्यावहारिक अनुप्रयोग मूल्य है
३. मौजूदा विधियों की सीमाएं:
Strassen एल्गोरिदम को ४×४ मैट्रिक्स पर ४९ गुणा (दो स्तर पुनरावर्तन) की आवश्यकता होती है
Fawzi आदि ५ ने विशेषता २ के डोमेन पर ४७ गुणा प्राप्त किया
AlphaEvolve११ ने बड़े भाषा मॉडल और विकासात्मक कोडिंग प्रॉक्सी का उपयोग करके ४८ गुणा का एल्गोरिदम पाया, लेकिन जटिल संख्या गुणांक की आवश्यकता है
जटिल संख्या गुणांक कुछ वलयों (जैसे पूर्णांक वलय, परिमित क्षेत्र) पर एल्गोरिदम के अनुप्रयोग को सीमित करता है
४. शोध प्रेरणा:
जटिल संख्या आवश्यकता को समाप्त करना, एल्गोरिदम को व्यापक बीजगणितीय संरचनाओं पर लागू करना
टेंसर विघटन सिद्धांत में समरूपता (समदैशिकता समूह क्रिया) का उपयोग करके एल्गोरिदम को व्यवस्थित रूप से रूपांतरित करना
व्यावहारिक सीधी रेखा कार्यक्रम कार्यान्वयन प्रदान करना, स्थिरांक पदों को अनुकूलित करना
१. मुख्य सैद्धांतिक योगदान: AlphaEvolve एल्गोरिदम के समदैशिकता कक्षा (isotropy orbit) में परिमेय बिंदुओं के अस्तित्व को सिद्ध किया, ४८ गुणा के साथ पूर्णतः परिमेय गुणांक एल्गोरिदम प्रस्तुत किया
२. पद्धतिगत योगदान: टेंसर विघटन के समदैशिकता समूह सिद्धांत को व्यवस्थित रूप से लागू किया, समदैशिकता रूपांतरण (समीकरण २४) द्वारा जटिल डोमेन एल्गोरिदम को परिमेय संख्या डोमेन में प्रक्षेपित किया
३. व्यावहारिकता योगदान:
पूर्ण सीधी रेखा कार्यक्रम कार्यान्वयन (सूची १-४) प्रदान किया, कुल ३४१ संक्रियाएं
सैद्धांतिक जटिलता सीमा ११.६५६२५n२.७९२−१०.६५६२५n२
वैकल्पिक आधार संस्करण प्रदान किया, केवल ६ संक्रियाओं (१+२+३) की आवश्यकता, जटिलता ७n२.७९२
४. सार्वभौमिकता: एल्गोरिदम २ के व्युत्क्रम युक्त किसी भी वलय पर लागू होता है, अनुप्रयोग सीमा का विस्तार करता है
५. मुक्तस्रोत कार्यान्वयन: सभी मैट्रिक्स और कोड PLinOpt लाइब्रेरी में सार्वजनिक रूप से उपलब्ध हैं
इनपुट: दो ४×४ मैट्रिक्स A=(aij) और B=(bij), तत्व २१ युक्त वलय R से आउटपुट: गुणनफल मैट्रिक्स C=A⋅B=(cij) प्रतिबंध: अदिश गुणा की संख्या को न्यूनतम करना, केवल परिमेय संख्या गुणांक का उपयोग करना (जटिल संख्याओं से बचना)
इस पत्र का मुख्य नवाचार विशिष्ट समदैशिकता रूपांतरण (समीकरण २४) को खोजना है:
I००−१०१−I००I−१०I००१⊗I००−I०−I−I००−II०१००१⊗१००००१००००१००००१
उपरोक्त समदैशिकता लागू करने के बाद, ४८ रैंक एक टेंसर का विघटन (समीकरण २५-७२) प्राप्त होता है, प्रत्येक का रूप:
mi=(∑j,kαjk(i)ajk)⊗(∑j,kβjk(i)bjk)⊗(∑j,kγjk(i)cjk)
मुख्य विशेषताएं:
सभी गुणांक α,β,γ∈{−१,−२१,०,२१,१} (परिमेय संख्याएं)
टेंसर प्रकार १६X२Y२Z२+३२XYZ (१६ रैंक २×२×२, ३२ रैंक १×१×१)
१. व्यवस्थित समरूपता उपयोग: परीक्षण खोज के बजाय, स्थिर उपसमूह (C२×D४)⋊C२ और सैद्धांतिक निर्देशित अनुमान का उपयोग करके समदैशिकता रूपांतरण पाया गया
२. जटिल से परिमेय तक प्रक्षेपण: यह सिद्ध किया गया कि उच्च-आयामी जटिल अंतरिक्ष में पाए गए एल्गोरिदम को परिमेय उप-अंतरिक्ष में प्रक्षेपित किया जा सकता है, यह एक गैर-तुच्छ परिणाम है
३. सीधी रेखा कार्यक्रम अनुकूलन:
PLinOpt उपकरण का उपयोग करके स्वचालित रूप से अनुकूलित सीधी रेखा कार्यक्रम उत्पन्न किया गया
कर्नेल विघटन (kernel decomposition) द्वारा संक्रियाओं की संख्या कम की गई
भले ही R मैट्रिक्स गुणांक सरल हैं, इष्टतम SLP को गैर-तुच्छ गुणा की आवश्यकता हो सकती है
४. वैकल्पिक आधार विधि: आधार परिवर्तन (change of basis) द्वारा और सरलीकरण करके, संक्रियाओं को ३३६ तक कम किया गया (मूल ३४१ की तुलना में)
१. टेंसर रैंक: आवश्यक अदिश गुणा की संख्या (४८)
२. कुल संक्रियाएं: योग और शिफ्ट संक्रियाओं की कुल संख्या
३. अनंतस्पर्शी जटिलता: O(nlog४३)≈O(n२.७९२)
४. स्थिरांक पद: प्रमुख स्थिरांक और निम्न-क्रम पद गुणांक
१. अस्तित्व प्रमाण: यह सिद्ध किया गया कि AlphaEvolve एल्गोरिदम के समदैशिकता कक्षा में वास्तव में परिमेय बिंदु मौजूद हैं, यह स्पष्ट नहीं था
२. गुणांक सरलता: सभी गुणांक {−१,−२१,०,२१,१} हैं, कार्यान्वयन में आसान
३. अनुकूलन सिद्धांत: भले ही R मैट्रिक्स गुणांक केवल {−१,०,१} हैं, इष्टतम सीधी रेखा कार्यक्रम को अभी भी गैर-तुच्छ गुणा की आवश्यकता है (कर्नेल विघटन के कारण)
४. वैकल्पिक आधार श्रेष्ठता: आधार परिवर्तन द्वारा प्रमुख स्थिरांक को ११.६६ से ७.०० तक कम किया जा सकता है, कीमत o(n२.७९२) का आधार परिवर्तन लागत है
१. Strassen (१९६९): पहला O(n२.८१) एल्गोरिदम, ७ गुणा से २×२ मैट्रिक्स
२. de Groote (१९७८): समदैशिकता समूह और इष्टतम एल्गोरिदम के बीजगणितीय ज्यामिति का अध्ययन
३. प्रमेय २.२: सिद्ध किया कि सभी ७ गुणा २×२ एल्गोरिदम एकल कक्षा बनाते हैं
१. Fawzi et al. (२०२२) ५: सुदृढ़ शिक्षण का उपयोग करके विशेषता २ पर ४७ गुणा एल्गोरिदम खोजा
२. Kaporin (२०२४) ८: गैर-रैखिक न्यूनतम वर्ग का उपयोग करके Brent समीकरण के जटिल समाधान हल किए
३. AlphaEvolve (२०२५) ११: बड़े भाषा मॉडल और विकासात्मक प्रॉक्सी का उपयोग करके ४८ गुणा (जटिल) और ६३ गुणा (३×४×७) एल्गोरिदम खोजे
१. सैद्धांतिक कठोरता: समदैशिकता समूह सिद्धांत पर आधारित, न कि केवल अनुमानी खोज पर
२. सार्वभौमिकता: परिमेय गुणांक एल्गोरिदम को व्यापक बीजगणितीय संरचनाओं पर लागू करते हैं
३. पुनरावर्तनीयता: पूर्ण मैट्रिक्स निरूपण और मुक्तस्रोत कार्यान्वयन
१. AlphaEvolve के जटिल एल्गोरिदम को सफलतापूर्वक परिमेय संख्या एल्गोरिदम में परिवर्तित किया, ४८ गुणा बनाए रखा
२. समदैशिकता समूह क्रिया एल्गोरिदम अंतरिक्ष की व्यवस्थित खोज के लिए एक प्रभावी उपकरण है
३. दो कार्यान्वयन प्रदान किए: मानक संस्करण (३४१ संक्रियाएं) और वैकल्पिक आधार संस्करण (६+३३६ संक्रियाएं)
४. एल्गोरिदम २१ युक्त किसी भी वलय पर लागू होता है, अनुप्रयोग सीमा का विस्तार करता है
१. वलय की सीमा: २ व्युत्क्रमणीय की आवश्यकता है, विशेषता २ डोमेन पर लागू नहीं
२. बड़े स्थिरांक पद: मानक संस्करण का स्थिरांक ११.६६ बड़ा है, केवल पर्याप्त बड़े मैट्रिक्स पर लाभदायक
३. संख्यात्मक स्थिरता अज्ञात: अभी तक २ जैसी संख्यात्मक सटीकता विश्लेषण नहीं किया गया
४. गैर-रचनात्मक: समदैशिकता रूपांतरण की खोज अभी भी "शिक्षित अनुमान" पर निर्भर है, पूर्णतः स्वचालित नहीं
१. ३×४×७ एल्गोरिदम: जुड़वां पत्र ३ AlphaEvolve के दूसरे जटिल एल्गोरिदम को संभालता है
२. संख्यात्मक विश्लेषण: इस एल्गोरिदम की त्रुटि प्रसार और कंडीशन संख्या का अध्ययन
३. स्वचालित खोज: समदैशिकता रूपांतरण की व्यवस्थित खोज के लिए विधि विकसित करना
४. अन्य आयाम: समान विधि को ५×५, ३×३×३ आदि स्थितियों पर लागू करना
५. वास्तविक प्रदर्शन: वास्तविक हार्डवेयर पर प्रदर्शन का परीक्षण, कैश, समानांतरता आदि कारकों पर विचार करना
१. सिद्धांत और व्यवहार का सेतु: AI द्वारा खोजे गए एल्गोरिदम को गणितीय सिद्धांत द्वारा उपयोगी रूप में परिवर्तित किया
२. पद्धतिगत प्रदर्शन: एल्गोरिदम अनुकूलन में समदैशिकता समूह सिद्धांत के व्यावहारिक अनुप्रयोग को प्रदर्शित किया
३. अनुवर्ती शोध के लिए प्रेरणा: अन्य AI-खोजे गए जटिल एल्गोरिदम को संभालने के लिए टेम्पलेट प्रदान किया
१. मध्यम: बड़े स्थिरांक पद (११.६६) के कारण, केवल बड़े मैट्रिक्स (n>१००) पर लाभदायक
२. विशिष्ट क्षेत्र: सटीक परिमेय संख्या गणना की आवश्यकता वाले प्रतीकात्मक गणना प्रणालियों में अधिक मूल्यवान
३. शैक्षिक महत्व: टेंसर विघटन और समदैशिकता समूह सिद्धांत अनुप्रयोग का उत्कृष्ट उदाहरण
१. प्रतीकात्मक गणना प्रणालियां: Maple, Mathematica में सटीक मैट्रिक्स संक्रियाएं
२. परिमित क्षेत्र गणना: विषम विशेषता परिमित क्षेत्रों पर रैखिक बीजगणित
३. बड़े मैट्रिक्स: पुनरावर्तन द्वारा n≥१२८ मैट्रिक्स पर लागू
४. सैद्धांतिक शोध: तीव्र एल्गोरिदम और टेंसर रैंक के अध्ययन के लिए उपकरण के रूप में
१. छोटे मैट्रिक्स: एकल ४×४ मैट्रिक्स के लिए, प्राथमिक एल्गोरिदम (६४ गुणा) छोटे स्थिरांक पद के कारण तेज हो सकता है
२. प्लवमान बिंदु गणना: संख्यात्मक स्थिरता अज्ञात, पारंपरिक एल्गोरिदम जितना अच्छा नहीं हो सकता
३. विशेषता २ डोमेन: Fawzi का ४७ गुणा एल्गोरिदम बेहतर
४. हार्डवेयर त्वरण: आधुनिक GPU अनुकूलित मैट्रिक्स गुणा तेज हो सकता है
१. १३ Strassen (१९६९): "Gaussian elimination is not optimal" - तीव्र मैट्रिक्स गुणा का आधारभूत कार्य
२. ६,७ de Groote (१९७८): समदैशिकता समूह सिद्धांत के मूल पत्र
३. ११ Novikov et al. (२०२५): AlphaEvolve - इस पत्र द्वारा सुधारित मूल जटिल एल्गोरिदम
४. १० Landsberg (२०१६): "Geometry and complexity theory" - सैद्धांतिक आधार
५. २ Dumas et al. (२०२४): Strassen एल्गोरिदम की संख्यात्मक सटीकता विश्लेषण
यह एक उच्च गुणवत्ता वाला सैद्धांतिक कंप्यूटर विज्ञान पत्र है, जो AI द्वारा खोजे गए जटिल डोमेन एल्गोरिदम को सफलतापूर्वक परिमेय संख्या डोमेन एल्गोरिदम में परिवर्तित करता है, जिसका महत्वपूर्ण सैद्धांतिक महत्व और कुछ व्यावहारिक मूल्य है। पत्र के मुख्य गुण हैं:
१. वास्तविक समस्या का समाधान: AlphaEvolve की जटिल संख्या गुणांक सीमा ने अनुप्रयोग सीमा को सीमित किया
२. कठोर विधि: परिपक्व टेंसर विघटन और समदैशिकता समूह सिद्धांत पर आधारित
३. पूर्ण कार्यान्वयन: पुनरावर्तनीय मुक्तस्रोत कार्यान्वयन प्रदान किया
मुख्य दोष हैं:
१. समदैशिकता रूपांतरण की खोज अभी भी मानव अनुमान पर निर्भर है
२. वास्तविक प्रदर्शन और संख्यात्मक स्थिरता विश्लेषण का अभाव
३. बड़े स्थिरांक पद व्यावहारिकता को सीमित करते हैं
सिफारिश सूचकांक: ⭐⭐⭐⭐ (४/५)
प्रतीकात्मक गणना, टेंसर विघटन, तीव्र एल्गोरिदम में रुचि रखने वाले शोधकर्ताओं के लिए पढ़ने योग्य। व्यावहारिक अनुप्रयोगों के लिए, विशिष्ट परिदृश्य के आधार पर मूल्यांकन करना होगा कि क्या यह पारंपरिक विधियों से बेहतर है।