A non-commutative algorithm for multiplying 4x4 matrices using 48 non-complex multiplications
Dumas, Pernet, Sedoglavic
The quest for non-commutative matrix multiplication algorithms in small dimensions has seen a lot of recent improvements recently. In particular, the number of scalar multiplications required to multiply two $4\times4$ matrices was first reduced in \cite{Fawzi:2022aa} from 49 (two recursion levels of Strassen's algorithm) to 47 but only in characteristic 2 or more recently to 48 in \cite{alphaevolve} but over complex numbers. We propose an algorithm in 48 multiplications with only rational coefficients, hence removing the complex number requirement. It was derived from the latter one, under the action of an isotropy which happen to project the algorithm on the field of rational numbers. We also produce a straight line program of this algorithm, reducing the leading constant in the complexity, as well as an alternative basis variant of it, leading to an algorithm running in $7 n^{2+\frac{\log_2 3}{2}} +o\left(n^{2+\frac{log_2 3}{2}}\right)$ operations over any ring containing an inverse of 2.
academic
Ein nicht-kommutativer Algorithmus zur Multiplikation von 4×4-Matrizen mit 48 nicht-komplexen Multiplikationen
Die vorliegende Arbeit präsentiert einen nicht-kommutativen Algorithmus zur Berechnung der Multiplikation von 4×4-Matrizen mit 48 skalaren Multiplikationen, der ausschließlich rationale Koeffizienten verwendet und keine komplexen Zahlen benötigt. Dies stellt eine Verbesserung des von AlphaEvolve11 vorgeschlagenen Algorithmus im komplexen Körper dar, der durch Isotropie-Transformationen in den rationalen Körper projiziert wird. Der Artikel liefert auch eine Implementierung als geradliniges Programm (straight-line program) und präsentiert eine alternative Basis-Variante, die auf beliebigen Ringen mit Inversen von 2 eine Rechenkomplexität von 7n2+2log23+o(n2+2log23) erreicht.
Kernproblem: Suche nach optimalen nicht-kommutativen Algorithmen für Matrizenmultiplikation kleiner Dimensionen, insbesondere zur Reduzierung der erforderlichen Anzahl skalarer Multiplikationen. Die Matrizenmultiplikation ist eine grundlegende Operation in der Informatik und numerischen Berechnung, deren Effizienz die Leistung zahlreicher Anwendungen direkt beeinflusst.
Bedeutung:
Die Zeitkomplexität der Matrizenmultiplikation beeinflusst direkt die Effizienz von Berechnungen in linearer Algebra, maschinellem Lernen und wissenschaftlichen Berechnungen
Der Strassen-Algorithmus (1969) reduzierte die Komplexität erstmals von O(n3) auf O(n2.81) und eröffnete die Forschung zu schneller Matrizenmultiplikation
Algorithmen für Matrizenmultiplikation kleiner Dimensionen können durch rekursive Anwendung auf große Matrizen übertragen werden und haben praktischen Anwendungswert
Einschränkungen bestehender Methoden:
Der Strassen-Algorithmus benötigt 49 Multiplikationen für 4×4-Matrizen (zwei Rekursionsebenen)
Fawzi et al.5 erreichten 47 Multiplikationen über Körpern der Charakteristik 2
AlphaEvolve11 fand einen Algorithmus mit 48 Multiplikationen unter Verwendung großer Sprachmodelle und evolutionärer Codierungs-Agenten, benötigt aber komplexe Koeffizienten
Komplexe Koeffizienten beschränken die Anwendbarkeit des Algorithmus auf bestimmte Ringe (wie Ganzzahlen, endliche Körper)
Forschungsmotivation:
Beseitigung der Anforderung komplexer Zahlen, um den Algorithmus auf breitere algebraische Strukturen anwendbar zu machen
Systematische Nutzung von Symmetrien aus der Tensorzerlegungstheorie (Isotropie-Gruppenoperationen) zur Transformation von Algorithmen
Bereitstellung praktischer Implementierungen als geradlinige Programme mit optimierten Konstanten
Haupttheoretischer Beitrag: Beweis, dass in der Isotropie-Umlaufbahn des AlphaEvolve-Algorithmus rationale Punkte existieren; Präsentation eines Algorithmus mit 48 Multiplikationen mit rein rationalen Koeffizienten
Methodologischer Beitrag: Systematische Anwendung der Isotropie-Gruppentheorie der Tensorzerlegung; Projektion des Algorithmus vom komplexen Körper in den rationalen Körper durch Isotropie-Transformationen (Gleichung 24)
Praktischer Beitrag:
Vollständige Implementierung als geradliniges Programm (Listings 1-4) mit insgesamt 341 Operationen
Eingabe: Zwei 4×4-Matrizen A=(aij) und B=(bij) mit Elementen aus einem Ring R, der 21 enthält Ausgabe: Produktmatrix C=A⋅B=(cij) Einschränkung: Minimierung der Anzahl skalarer Multiplikationen unter ausschließlicher Verwendung rationaler Koeffizienten (Vermeidung komplexer Zahlen)
Die Kernneuerung dieser Arbeit ist die Identifikation einer spezifischen Isotropie-Transformation (Gleichung 24):
I00−101−I00I−10I001⊗I00−I0−I−I00−II01001⊗1000010000100001
Nach Anwendung der obigen Isotropie-Transformation erhält man eine Zerlegung von 48 Rang-eins-Tensoren (Gleichungen 25-72), jeweils von der Form:
mi=(∑j,kαjk(i)ajk)⊗(∑j,kβjk(i)bjk)⊗(∑j,kγjk(i)cjk)
Schlüsseleigenschaften:
Alle Koeffizienten α,β,γ∈{−1,−21,0,21,1} (rationale Zahlen)
Systematisierte Symmetrienutzung: Nicht durch Probieren und Irren, sondern durch Nutzung der Stabilisatorgruppe (C2×D4)⋊C2 und theoriegestützte Vermutungen zur Identifikation der Isotropie-Transformation
Projektion von komplexen zu rationalen Zahlen: Beweis, dass in hochdimensionalen komplexen Räumen gefundene Algorithmen in rationale Unterräume projiziert werden können – ein nicht-triviales Ergebnis
Optimierung geradliniger Programme:
Automatische Generierung optimierter geradliniger Programme mit dem PLinOpt-Werkzeug
Reduktion der Operationszahl durch Kernzerlegung (kernel decomposition)
Selbst wenn R-Matrixkoeffizienten einfach sind, kann das optimale SLP nicht-triviale Multiplikationen erfordern
Alternative Basis-Methode: Weitere Vereinfachung durch Basiswechsel (change of basis), Reduktion der Operationen auf 336 (im Vergleich zu ursprünglichen 341)
Existenzbeweis: Beweis, dass in der Isotropie-Umlaufbahn des AlphaEvolve-Algorithmus tatsächlich rationale Punkte existieren – dies ist nicht offensichtlich
Koeffizienteneinfachheit: Alle Koeffizienten sind {−1,−21,0,21,1}, leicht zu implementieren
Optimierungsparadoxon: Obwohl die R-Matrixkoeffizienten nur {−1,0,1} sind, benötigt das optimale geradlinige Programm dennoch nicht-triviale Multiplikationen (aufgrund der Kernzerlegung)
Vorteil der alternativen Basis: Durch Basiswechsel kann die führende Konstante von 11.66 auf 7.00 reduziert werden, mit Kosten von o(n2.792) für den Basiswechsel
Fawzi et al. (2022) 5: Verwendung von Reinforcement Learning zur Entdeckung eines 47-Multiplikations-Algorithmus über Körpern der Charakteristik 2
Kaporin (2024) 8: Verwendung nichtlinearer Kleinste-Quadrate zur Lösung komplexer Lösungen der Brent-Gleichung
AlphaEvolve (2025) 11: Verwendung großer Sprachmodelle und evolutionärer Agenten zur Entdeckung von 48-Multiplikations-Algorithmen (komplex) und 63-Multiplikations-Algorithmen (3×4×7)
Dies ist ein hochqualitatives Papier der theoretischen Informatik, das erfolgreich einen von KI entdeckten Algorithmus im komplexen Körper in einen Algorithmus im rationalen Körper umwandelt und von bedeutender theoretischer und gewissem praktischen Wert ist. Die Hauptstärken des Papiers sind:
Lösung eines praktischen Problems: Beseitigung der Komplexe-Koeffizienten-Einschränkung von AlphaEvolve
Strenge Methodik: Basierend auf etablierter Tensorzerlegung und Isotropie-Gruppentheorie
Entdeckung der Isotropie-Transformation erfordert noch manuelle Vermutung
Fehlende praktische Leistungs- und numerische Stabilitätsanalyse
Große Konstante begrenzt praktische Anwendbarkeit
Empfehlungsindex: ⭐⭐⭐⭐ (4/5)
Empfohlen für Forscher mit Interesse an symbolischer Berechnung, Tensorzerlegung und schnellen Algorithmen. Für praktische Anwendungen sollte die Überlegenheit gegenüber traditionellen Methoden je nach spezifischem Szenario bewertet werden.