We study the algorithmic problem of multiplying large matrices that are rectangular. We prove that the method that has been used to construct the fastest algorithms for rectangular matrix multiplication cannot give algorithms with complexity $n^{p + 1}$ for $n \times n$ by $n \times n^p$ matrix multiplication. In fact, we prove a precise numerical barrier for this method. Our barrier improves the previously known barriers, both in the numerical sense, as well as in its generality. In particular, we prove that any lower bound on the dual exponent of matrix multiplication $α$ via the big Coppersmith-Winograd tensors cannot exceed 0.6218.
- पेपर ID: 2003.03019
- शीर्षक: आयताकार मैट्रिक्स गुणन के लिए बाधाएं
- लेखक: Matthias Christandl, François Le Gall, Vladimir Lysikov, Jeroen Zuiddam
- वर्गीकरण: cs.CC (कम्प्यूटेशनल जटिलता), math.AC (क्रमविनिमेय बीजगणित)
- प्रकाशन समय: 10 नवंबर, 2025 (arXiv संस्करण)
- पेपर लिंक: https://arxiv.org/abs/2003.03019
यह पेपर बड़े आयताकार मैट्रिक्स गुणन की एल्गोरिथ्मिक समस्या का अध्ययन करता है। लेखकों ने प्रमाणित किया है कि सबसे तेज़ आयताकार मैट्रिक्स गुणन एल्गोरिदम बनाने के लिए उपयोग की जाने वाली विधियां n×n को n×np से गुणा करने के लिए np+1 जटिलता वाला एल्गोरिदम प्रदान नहीं कर सकती हैं। वास्तव में, लेखकों ने इस विधि के लिए सटीक संख्यात्मक बाधाएं प्रमाणित की हैं। यह बाधा संख्यात्मक अर्थ और सामान्यता दोनों में पहले ज्ञात बाधाओं में सुधार करती है। विशेष रूप से, लेखकों ने प्रमाणित किया है कि बड़े Coppersmith-Winograd टेंसर के माध्यम से प्राप्त मैट्रिक्स गुणन द्वैत घातांक α की कोई भी निचली सीमा 0.6218 से अधिक नहीं हो सकती।
- मैट्रिक्स गुणन जटिलता समस्या: दो बड़े मैट्रिक्स दिए गए हों, तो उनके मैट्रिक्स गुणनफल की गणना के लिए कितने अदिश अंकगणितीय संचालन की आवश्यकता है? दो n×n वर्ग मैट्रिक्स के लिए मानक एल्गोरिदम को लगभग 2n3 संचालन की आवश्यकता है, लेकिन सैद्धांतिक निचली सीमा केवल n2 है।
- आयताकार मैट्रिक्स गुणन: व्यावहारिक अनुप्रयोगों में, गुणा किए जाने वाले मैट्रिक्स आमतौर पर वर्गाकार के बजाय आयताकार होते हैं। किसी भी गैर-नकारात्मक वास्तविक संख्या p के लिए, n×⌈np⌉ मैट्रिक्स और ⌈np⌉×n मैट्रिक्स दिए गए हों, तो उनके गुणनफल की गणना के लिए कितने संचालन की आवश्यकता है?
- घातांक परिभाषा: ω(p) किसी भी अंकगणितीय एल्गोरिदम द्वारा आवश्यक संचालन की संख्या में n के इष्टतम घातांक को दर्शाता है, पूर्व सीमा max(2,1+p)≤ω(p)≤2+p है।
- सैद्धांतिक महत्व: ω(p) को समझना न केवल आयताकार मैट्रिक्स गुणन के लिए महत्वपूर्ण है, बल्कि ω=2 (वर्ग मैट्रिक्स गुणन का इष्टतम घातांक) को प्रमाणित करने का एक साधन भी है।
- व्यावहारिक अनुप्रयोग: आयताकार मैट्रिक्स गुणन का रैखिक प्रोग्रामिंग समाधान, अनुभवजन्य जोखिम न्यूनीकरण आदि क्षेत्रों में प्रत्यक्ष अनुप्रयोग है।
- तकनीकी सीमाएं: वर्तमान तकनीक ऊपरी सीमा में सुधार के संदर्भ में एक बाधा का सामना कर रही है, इसकी मूल सीमाओं को समझने की आवश्यकता है।
- सामान्य बाधा ढांचा स्थापित किया: वर्तमान आयताकार मैट्रिक्स गुणन एल्गोरिदम बनाने की मुख्य तकनीकों के लिए सटीक संख्यात्मक बाधाएं स्थापित की।
- संख्यात्मक सीमाओं में सुधार: संख्यात्मक अर्थ और सामान्यता दोनों में पहली बाधा परिणामों में सुधार किया।
- आभासी मैट्रिक्स गुणन टेंसर पेश किया: गैर-पूर्णांक p के मामले को संभालने के लिए नए गणितीय उपकरण पेश किए।
- उत्प्रेरक विधियों का विश्लेषण: उत्प्रेरक टेंसर युक्त अधिक जटिल एल्गोरिदम संरचनाओं का अध्ययन किया।
- द्वैत घातांक की सटीक सीमाएं: प्रमाणित किया कि Coppersmith-Winograd टेंसर के माध्यम से प्राप्त α की निचली सीमा 0.6218 से अधिक नहीं हो सकती।
आयताकार मैट्रिक्स गुणन समस्या का अध्ययन: n×⌈np⌉ मैट्रिक्स A और ⌈np⌉×n मैट्रिक्स B दिए गए हों, गुणनफल AB की गणना के लिए आवश्यक अंकगणितीय संचालन की संख्या। लक्ष्य वर्तमान तकनीकों द्वारा जटिलता ऊपरी सीमा ω(p) में सुधार के संदर्भ में मूल सीमाओं को समझना है।
मैट्रिक्स गुणन समस्या टेंसर परिवार के अनुरूप है:
- ℓ×m मैट्रिक्स को m×n मैट्रिक्स से गुणा करना टेंसर के अनुरूप है: ⟨ℓ,m,n⟩=∑i=1ℓ∑j=1m∑k=1nxijyjkzki
- इकाई समस्या विकर्ण टेंसर के अनुरूप है: ⟨n⟩=∑i=1nxiyizi
विभिन्न टेंसर अपचयन प्रकारों को परिभाषित किया:
- प्रतिबंध (S≤T): रैखिक मानचित्र मौजूद हैं जैसे कि S=T∘(A,B,C)
- अपकर्षण (S◃T): S=limϵ→0T(A(ϵ)x,B(ϵ)y,C(ϵ)z)
- एकपदी प्रतिबंध/अपकर्षण: मैट्रिक्स A,B,C की प्रत्येक पंक्ति और स्तंभ में अधिकतम एक गैर-शून्य तत्व
उपयुक्त टेंसर पैरामीटर वर्ग F को परिभाषित किया, जिसे निम्नलिखित को संतुष्ट करना चाहिए:
- ≤-एकरसता: S≤T⇒F(S)≤F(T)
- ⊗-उप-गुणात्मकता: F(S⊗T)≤F(S)⋅F(T)
- MaMu-⊗-गुणात्मकता: F(⟨ℓ1ℓ2,m1m2,n1n2⟩)=F(⟨ℓ1,m1,n1⟩)⋅F(⟨ℓ2,m2,n2⟩)
- स्व-⊕-योगात्मकता: F(T⊕s)=s⋅F(T)
- स्पर्शोन्मुख रैंक सीमा: F(T)≤R~(T)
वास्तविक संख्या p को संभालने के लिए, औपचारिक प्रतीक ⟨2,2,2p⟩ पेश किया:
- जब p=logab (a,b सकारात्मक पूर्णांक हैं): F(⟨2,2,2p⟩)=2logaF(⟨a,a,b⟩)
- अन्यथा अवरोही सीमा द्वारा परिभाषित: F(⟨2,2,2p⟩)=inf{F(⟨2,2,2P⟩)∣P≥p,∃a,b∈Z≥0:P=logab}
उपयुक्त पैरामीटर F,G को एल्गोरिदम श्रृंखला के दोनों सिरों पर लागू करके:
⟨n,n,m⟩⊕s≤T⊗k≤⟨r⟩⊗kb
प्राप्त किया:
logF(T)logF(⟨2,2,2p⟩)logR~(T)≤ω(p)
Strassen के ऊपरी समर्थन कार्यात्मक का उपयोग उपयुक्त पैरामीटर के रूप में:
ζθ(T)=minS≅TmaxP∈P(supp(S))2∑i∈[3]θiH(Pi)
जहां θ=(θ1,θ2,θ3)∈P([3]), H Shannon एंट्रॉपी है।
CW टेंसर का विश्लेषण:
CWq(x,y,z)=x0y0zq+1+x0yq+1z0+xq+1y0z0+∑i=1q(x0yizi+xiy0zi+xiyiz0)
ज्ञात है कि R~(CWq)=q+2।
बाधा गणना उत्तल अनुकूलन समस्या में रूपांतरित:
maxθmaxP∑i=13θiH(Pi)2θ1+(p+1)(θ2+θ3)log2(q+2)
CW_qटेंसरकेलिए,\omega(2)$ की बाधा मान:
| q | ω(2)≥ | इष्टतम θ1 |
|---|
| 2 | 3.0626 | 0.096 |
| 6 | 3.1039 | 0.136 |
| 10 | 3.1409 | 0.165 |
| 14 | 3.1714 | 0.185 |
| q | α बाधा |
|---|
| 2 | 0.6218 |
| 6 | 0.5408 |
| 10 | 0.4914 |
| 14 | 0.4529 |
मुख्य परिणाम: किसी भी CWq (किसी भी q के लिए) के माध्यम से प्राप्त α की निचली सीमा 0.6218 से अधिक नहीं हो सकती।
- Alman-Vassilevska Williams AW18a: एकपदी अपकर्षण CW6 के माध्यम से केवल α≥0.871 दे सकता है
- यह पेपर: अधिक मजबूत अपकर्षण CW6 के माध्यम से केवल α≥0.543 दे सकता है
- वर्तमान सर्वश्रेष्ठ निचली सीमा: α>0.321334 WXXZ24
κ-उत्प्रेरक विधि के लिए, बाधा को मजबूत किया:
ω(p)≥logF(T)logF(⟨2,2,2p⟩)logR~(T)+κ(logF(T)logR~(T)−1)
- Ambainis-Filmus-Le Gall AFLG15: मैट्रिक्स गुणन में पहली बार बाधाएं प्रमाणित कीं, दिखाया कि कुछ विधियां ω=2 तक नहीं पहुंच सकती हैं।
- Alman-Vassilevska Williams AW18a,AW18b:
- एकपदी अपकर्षण तक विस्तारित
- पहली बार आयताकार मैट्रिक्स गुणन बाधाओं का अध्ययन किया
- स्पर्शोन्मुख स्वतंत्रता संख्या विश्लेषण पर आधारित
- Blasiak आदि BCC+17a,BCC+17b: समूह सैद्धांतिक विधियों की बाधाओं का अध्ययन।
- Christandl-Vrana-Zuiddam CVZ19:
- अधिक सामान्य अपकर्षण बाधाएं
- टेंसर अपरिवर्तनीयता पर आधारित
- क्वांटम कार्यात्मक और समर्थन कार्यात्मक का उपयोग
- उच्च संख्यात्मक सीमाएं: पूर्व कार्य की तुलना में अधिक कड़ी बाधाएं प्राप्त
- व्यापक प्रयोज्यता: केवल 0≤p≤1 के लिए नहीं, बल्कि p≥1 के लिए भी
- एकीकृत ढांचा: सभी ज्ञात अपचयन अवधारणाओं को शामिल करता है
- मिश्रित विधि विश्लेषण: मिश्रित मध्यवर्ती टेंसर विधियों का पहली बार व्यवस्थित विश्लेषण
- मूल सीमाएं: वर्तमान मुख्यधारा तकनीकें (Coppersmith-Winograd टेंसर के अपकर्षण पर आधारित) आयताकार मैट्रिक्स गुणन जटिलता में सुधार के संदर्भ में मूल सीमाओं का सामना करती हैं।
- सटीक संख्यात्मक सीमाएं: किसी भी CWq टेंसर के माध्यम से प्राप्त द्वैत घातांक α की निचली सीमा 0.6218 से अधिक नहीं हो सकती, जो सैद्धांतिक अधिकतम मान 1 से बहुत कम है।
- तकनीकी बाधा: प्रमाणित किया कि वर्तमान तकनीकें ω(p) ऊपरी और निचली सीमाओं के बीच के अंतर को महत्वपूर्ण रूप से कम क्यों नहीं कर सकती हैं।
- विधि विशिष्टता: बाधाएं केवल विशिष्ट मध्यवर्ती टेंसर (जैसे CW टेंसर) पर आधारित विधियों पर लागू होती हैं, अन्य संभावित एल्गोरिदम डिजाइन विचारों को बाहर नहीं करती हैं।
- निचली सीमा की प्रकृति: ये समस्या ही की निचली सीमाएं नहीं बल्कि पद्धति संबंधी बाधाएं हैं, बेहतर एल्गोरिदम के अस्तित्व को बाहर नहीं करती हैं।
- गणना जटिलता: संख्यात्मक गणना उत्तल अनुकूलन पर निर्भर करती है, बड़े टेंसर के लिए गणना चुनौतियों का सामना कर सकती है।
- नए मध्यवर्ती टेंसर: वर्तमान बाधाओं से अप्रभावित नई प्रकार के मध्यवर्ती टेंसर खोजना।
- गैर-टेंसर विधियां: टेंसर अपकर्षण पर आधारित नहीं होने वाली पूरी तरह से नई एल्गोरिदम डिजाइन प्रतिमा का अन्वेषण।
- बाधाओं की कड़ाई: प्रमाणित बाधाएं कड़ी हैं या नहीं, इसका अध्ययन।
- अन्य अपचयन प्रकार: अधिक सामान्य अपचयन अवधारणाओं के तहत बाधाओं का विश्लेषण।
- सैद्धांतिक गहराई: पूर्ण बाधा सिद्धांत ढांचा स्थापित किया, गणितीय कठोरता उच्च है।
- तकनीकी नवाचार:
- आभासी मैट्रिक्स गुणन टेंसर का परिचय गैर-पूर्णांक घातांक समस्या को चतुराई से संभालता है
- उपयुक्त टेंसर पैरामीटर का अमूर्तकरण विश्लेषण के लिए एकीकृत उपकरण प्रदान करता है
- व्यावहारिक मूल्य: सटीक संख्यात्मक परिणाम एल्गोरिदम डिजाइनरों को स्पष्ट तकनीकी सीमाओं का मार्गदर्शन प्रदान करते हैं।
- व्यापकता: मूल सिद्धांत से लेकर ठोस गणना तक पूर्ण श्रृंखला को शामिल करता है।
- बाधाओं की सीमितता: केवल विशिष्ट प्रकार की एल्गोरिदम पर लागू, इन बाधाओं को दरकिनार करने की विधियां मौजूद हो सकती हैं।
- गणना निर्भरता: संख्यात्मक परिणाम समर्थन कार्यात्मक की गणना पर निर्भर करते हैं, अधिक जटिल टेंसर के लिए संभवतः कठिन।
- अंतराल विश्लेषण: हालांकि बाधाएं प्रमाणित की गई हैं, लेकिन बाधा और वर्तमान सर्वश्रेष्ठ परिणामों के बीच के अंतराल का गहन विश्लेषण नहीं किया गया है।
- सैद्धांतिक योगदान: जटिलता सिद्धांत के लिए नए विश्लेषण उपकरण और दृष्टिकोण प्रदान करता है।
- व्यावहारिक मार्गदर्शन: शोधकर्ताओं को वर्तमान तकनीकों की सीमाओं को समझने में मदद करता है, भविष्य के अनुसंधान दिशा का मार्गदर्शन करता है।
- पद्धति मूल्य: बाधा विश्लेषण ढांचा अन्य एल्गोरिदम डिजाइन समस्याओं पर लागू हो सकता है।
- एल्गोरिदम डिजाइन: मैट्रिक्स गुणन एल्गोरिदम डिजाइनरों को सैद्धांतिक मार्गदर्शन प्रदान करता है।
- जटिलता विश्लेषण: अन्य बीजगणितीय समस्याओं की बाधा विश्लेषण के लिए पद्धति संबंधी संदर्भ।
- अनुकूलन सिद्धांत: ऐसे परिदृश्यों में अनुप्रयोग मूल्य जहां एल्गोरिदम की मूल सीमाओं को समझने की आवश्यकता है।
मुख्य संबंधित कार्य में शामिल हैं:
- AFLG15 Ambainis, Filmus, Le Gall: तेज़ मैट्रिक्स गुणन सीमाएं
- AW18a Alman, Vassilevska Williams: ज्ञात दृष्टिकोणों की अतिरिक्त सीमाएं
- CVZ19 Christandl, Vrana, Zuiddam: अपरिवर्तनीयता से बाधाएं
- CW90 Coppersmith, Winograd: अंकगणितीय प्रगति के माध्यम से मैट्रिक्स गुणन
- Str91 Strassen: द्विरेखीय मानचित्रों की अपकर्षण और जटिलता