A non-commutative algorithm for multiplying 4x4 matrices using 48 non-complex multiplications
Dumas, Pernet, Sedoglavic
The quest for non-commutative matrix multiplication algorithms in small dimensions has seen a lot of recent improvements recently. In particular, the number of scalar multiplications required to multiply two $4\times4$ matrices was first reduced in \cite{Fawzi:2022aa} from 49 (two recursion levels of Strassen's algorithm) to 47 but only in characteristic 2 or more recently to 48 in \cite{alphaevolve} but over complex numbers. We propose an algorithm in 48 multiplications with only rational coefficients, hence removing the complex number requirement. It was derived from the latter one, under the action of an isotropy which happen to project the algorithm on the field of rational numbers. We also produce a straight line program of this algorithm, reducing the leading constant in the complexity, as well as an alternative basis variant of it, leading to an algorithm running in $7 n^{2+\frac{\log_2 3}{2}} +o\left(n^{2+\frac{log_2 3}{2}}\right)$ operations over any ring containing an inverse of 2.
academic
৪×৪ ম্যাট্রিক্স গুণনের জন্য ৪৮টি অ-জটিল গুণনের একটি অ-পরিবর্তনশীল অ্যালগরিদম
এই পেপারটি ৪৮টি স্কেলার গুণন ব্যবহার করে ৪×৪ ম্যাট্রিক্স গুণনের জন্য একটি অ-পরিবর্তনশীল অ্যালগরিদম উপস্থাপন করে, যা শুধুমাত্র মূলদ সংখ্যা সহগ ব্যবহার করে, জটিল সংখ্যার প্রয়োজন নেই। এটি AlphaEvolve11 দ্বারা প্রস্তাবিত জটিল ক্ষেত্রের অ্যালগরিদমের একটি উন্নতি, সমদূরবর্তী রূপান্তর (isotropy) এর মাধ্যমে এটিকে মূলদ ক্ষেত্রে প্রজেক্ট করে। নিবন্ধটি সরল-রেখা প্রোগ্রাম (straight-line program) বাস্তবায়নও প্রদান করে এবং একটি বিকল্প ভিত্তি রূপান্তর দেয় যা ২-এর বিপরীত সহ যেকোনো বলয়ে 7n2+2log23+o(n2+2log23) গণনা জটিলতা অর্জন করে।
১. মূল সমস্যা: ছোট মাত্রার ম্যাট্রিক্স গুণনের জন্য সর্বোত্তম অ-পরিবর্তনশীল অ্যালগরিদম খুঁজে বের করা, বিশেষত প্রয়োজনীয় স্কেলার গুণনের সংখ্যা হ্রাস করা। ম্যাট্রিক্স গুণন কম্পিউটার বিজ্ঞান এবং সংখ্যাসূচক গণনায় একটি মৌলিক ক্রিয়াকলাপ, যার দক্ষতা অসংখ্য প্রয়োগের কর্মক্ষমতা সরাসরি প্রভাবিত করে।
२. গুরুত্ব:
ম্যাট্রিক্স গুণনের সময় জটিলতা রৈখিক বীজগণিত গণনা, যন্ত্র শিক্ষা, বৈজ্ঞানিক গণনা ইত্যাদি ক্ষেত্রের দক্ষতা সরাসরি প্রভাবিত করে
Strassen অ্যালগরিদম (১৯৬৯) প্রথমবারের মতো জটিলতা O(n3) থেকে O(n2.81) এ হ্রাস করেছিল, দ্রুত ম্যাট্রিক্স গুণনের গবেষণা শুরু করেছিল
ছোট মাত্রার ম্যাট্রিক্স গুণন অ্যালগরিদম বড় ম্যাট্রিক্সে পুনরাবৃত্তিমূলকভাবে প্রয়োগ করা যায়, যার ব্যবহারিক প্রয়োগ মূল্য রয়েছে
३. বিদ্যমান পদ্ধতির সীমাবদ্ধতা:
Strassen অ্যালগরিদম ৪×৪ ম্যাট্রিক্সে ৪৯টি গুণন প্রয়োজন (দুটি স্তরের পুনরাবৃত্তি)
Fawzi ইত্যাদি 5 বৈশিষ্ট্য ২ এর ক্ষেত্রে ৪৭টি গুণন অর্জন করেছেন
AlphaEvolve 11 বড় ভাষা মডেল এবং বিবর্তনীয় কোডিং এজেন্ট ব্যবহার করে ৪৮টি গুণনের অ্যালগরিদম খুঁজে পেয়েছে, কিন্তু জটিল সংখ্যা সহগ প্রয়োজন
জটিল সংখ্যা সহগ নির্দিষ্ট বলয় (যেমন পূর্ণসংখ্যা বলয়, সীমিত ক্ষেত্র) এ অ্যালগরিদমের প্রয়োগ সীমিত করে
४. গবেষণা প্রেরণা:
জটিল সংখ্যার প্রয়োজনীয়তা দূর করা, অ্যালগরিদমকে আরও বিস্তৃত বীজগণিত কাঠামোতে প্রয়োগযোগ্য করা
টেনসর বিয়োজনের তত্ত্বে সমরূপতা (সমদূরবর্তী গোষ্ঠী ক্রিয়া) ব্যবহার করে অ্যালগরিদম পদ্ধতিগতভাবে রূপান্তরিত করা
ব্যবহারিক সরল-রেখা প্রোগ্রাম বাস্তবায়ন প্রদান করা, ধ্রুবক পদ অপ্টিমাইজ করা
१. প্রধান তাত্ত্বিক অবদান: AlphaEvolve অ্যালগরিদমের সমদূরবর্তী কক্ষপথে (isotropy orbit) মূলদ সংখ্যা বিন্দু বিদ্যমান প্রমাণ করা, ৪৮টি গুণন সহ বিশুদ্ধ মূলদ সহগ অ্যালগরিদম প্রস্তাব করা
२. পদ্ধতিগত অবদান: টেনসর বিয়োজনের সমদূরবর্তী গোষ্ঠী তত্ত্ব পদ্ধতিগতভাবে প্রয়োগ করা, সমদূরবর্তী রূপান্তরের মাধ্যমে (সমীকরণ ২৪) জটিল ক্ষেত্রের অ্যালগরিদমকে মূলদ ক্ষেত্রে প্রজেক্ট করা
३. ব্যবহারিক অবদান:
সম্পূর্ণ সরল-রেখা প্রোগ্রাম বাস্তবায়ন প্রদান করা (তালিকা ১-४), মোট ३४१টি ক্রিয়াকলাপ
তাত্ত্বিক জটিলতা সীমা 11.65625n2.792−10.65625n2
বিকল্প ভিত্তি রূপান্তর প্রদান করা, শুধুমাত্র ६টি ক্রিয়াকলাপ প্রয়োজন (१+२+३), জটিলতা 7n2.792
४. সর্বজনীনতা: অ্যালগরিদম ২-এর বিপরীত সহ যেকোনো বলয়ে প্রয়োগযোগ্য, প্রয়োগের পরিসীমা প্রসারিত করা
५. খোলা উৎস বাস্তবায়ন: সমস্ত ম্যাট্রিক্স এবং কোড PLinOpt লাইব্রেরিতে জনসাধারণের জন্য উপলব্ধ
ইনপুট: দুটি ४×४ ম্যাট্রিক্স A=(aij) এবং B=(bij), উপাদান 21 সহ বলয় R থেকে আউটপুট: পণ্য ম্যাট্রিক্স C=A⋅B=(cij) সীমাবদ্ধতা: স্কেলার গুণনের সংখ্যা ন্যূনতম করা, শুধুমাত্র মূলদ সংখ্যা সহগ ব্যবহার করা (জটিল সংখ্যা এড়ানো)
এই পেপারের মূল উদ্ভাবন নির্দিষ্ট সমদূরবর্তী রূপান্তর খুঁজে বের করা (সমীকরণ २४):
I00−101−I00I−10I001⊗I00−I0−I−I00−II01001⊗1000010000100001
উপরোক্ত সমদূরবর্তী প্রয়োগ করার পর, ४८টি র্যাঙ্ক-এক টেনসরের বিয়োজন পাওয়া যায় (সমীকরণ २५-७२), প্রতিটি ফর্ম:
mi=(∑j,kαjk(i)ajk)⊗(∑j,kβjk(i)bjk)⊗(∑j,kγjk(i)cjk)
মূল বৈশিষ্ট্য:
সমস্ত সহগ α,β,γ∈{−1,−21,0,21,1} (মূলদ সংখ্যা)
টেনসর প্রকার 16X2Y2Z2+32XYZ (१६টি র্যাঙ্ক २×२×२, ३२টি র্যাঙ্ক १×१×१)
१. সমরূপতার পদ্ধতিগত ব্যবহার: পরীক্ষামূলক অনুসন্ধানের পরিবর্তে, স্থিতিশীল উপগোষ্ঠী (C2×D4)⋊C2 এবং তাত্ত্বিক নির্দেশিত অনুমান ব্যবহার করে সমদূরবর্তী রূপান্তর খুঁজে বের করা
२. জটিল থেকে মূলদ সংখ্যায় প্রজেকশন: উচ্চ-মাত্রার জটিল স্থানে পাওয়া অ্যালগরিদম মূলদ সংখ্যা উপস্থানে প্রজেক্ট করা যায় প্রমাণ করা, এটি একটি অ-তুচ্ছ ফলাফল
३. সরল-রেখা প্রোগ্রাম অপ্টিমাইজেশন:
PLinOpt সরঞ্জাম ব্যবহার করে অপ্টিমাইজড সরল-রেখা প্রোগ্রাম স্বয়ংক্রিয়ভাবে উৎপন্ন করা
কার্নেল বিয়োজন (kernel decomposition) ব্যবহার করে ক্রিয়াকলাপের সংখ্যা হ্রাস করা
এমনকি R ম্যাট্রিক্স সহগ সহজ হলেও, সর্বোত্তম SLP অ-তুচ্ছ গুণন প্রয়োজন হতে পারে
४. বিকল্প ভিত্তি পদ্ধতি: ভিত্তি রূপান্তরের মাধ্যমে আরও সরলীকরণ, ক্রিয়াকলাপ ३३६টিতে হ্রাস করা (মূল ३४१টির তুলনায়)
१. টেনসর র্যাঙ্ক: প্রয়োজনীয় স্কেলার গুণনের সংখ্যা (४८)
२. মোট ক্রিয়াকলাপ: যোগ এবং স্থানান্তর ক্রিয়াকলাপের মোট সংখ্যা
३. অ্যাসিম্পটোটিক জটিলতা: O(nlog43)≈O(n2.792)
४. ধ্রুবক পদ: প্রধান ধ্রুবক এবং নিম্ন-ক্রম পদ সহগ
१. অস্তিত্ব প্রমাণ: AlphaEvolve অ্যালগরিদমের সমদূরবর্তী কক্ষপথে সত্যিই মূলদ সংখ্যা বিন্দু বিদ্যমান প্রমাণ করা, এটি স্পষ্ট নয়
२. সহগ সরলতা: সমস্ত সহগ {−1,−21,0,21,1}, বাস্তবায়ন সহজ
३. অপ্টিমাইজেশন প্যারাডক্স: যদিও R ম্যাট্রিক্স সহগ শুধুমাত্র {−1,0,1}, সর্বোত্তম সরল-রেখা প্রোগ্রাম এখনও অ-তুচ্ছ গুণন প্রয়োজন (কার্নেল বিয়োজনের কারণে)
४. বিকল্প ভিত্তি সুবিধা: ভিত্তি রূপান্তরের মাধ্যমে প্রধান ধ্রুবক ११.६६ থেকে ७.०० এ হ্রাস করা যায়, খরচ o(n2.792) ভিত্তি রূপান্তর
१. Strassen (१९६९): প্রথম O(n2.81) অ্যালগরিদম, २×२ ম্যাট্রিক্স গণনার জন্য ७টি গুণন
२. de Groote (१९७८): সমদূরবর্তী গোষ্ঠী এবং সর্বোত্তম অ্যালগরিদমের বীজগণিত জ্যামিতি গবেষণা
३. উপপাদ্য २.२: সমস্ত ७-গুণন २×२ অ্যালগরিদম একটি একক কক্ষপথ গঠন করে প্রমাণ
१. Fawzi ইত্যাদি (२०२२) 5: শক্তিশালী শিক্ষা ব্যবহার করে বৈশিষ্ট্য २ এ ४७-গুণন অ্যালগরিদম আবিষ্কার
२. Kaporin (२०२४) 8: অ-রৈখিক ন্যূনতম বর্গ ব্যবহার করে Brent সমীকরণের জটিল সমাধান সমাধান
३. AlphaEvolve (२०२५) 11: বড় ভাষা মডেল এবং বিবর্তনীয় এজেন্ট ব্যবহার করে ४८-গুণন (জটিল) এবং ६३-গুণন (३×४×७) অ্যালগরিদম আবিষ্কার
१. তাত্ত্বিক কঠোরতা: সমদূরবর্তী গোষ্ঠী তত্ত্বের উপর ভিত্তি করে, বিশুদ্ধ অনুমান অনুসন্ধানের পরিবর্তে
२. সর্বজনীনতা: মূলদ সহগ অ্যালগরিদমকে আরও বিস্তৃত বীজগণিত কাঠামোতে প্রয়োগযোগ্য করে
३. পুনরুৎপাদনযোগ্যতা: সম্পূর্ণ ম্যাট্রিক্স প্রতিনিধিত্ব এবং খোলা উৎস বাস্তবায়ন
१. AlphaEvolve এর জটিল সংখ্যা অ্যালগরিদম সফলভাবে মূলদ সংখ্যা অ্যালগরিদমে রূপান্তরিত, ४८টি গুণন বজায় রেখে
२. সমদূরবর্তী গোষ্ঠী ক্রিয়া অ্যালগরিদম স্থান পদ্ধতিগতভাবে অন্বেষণের জন্য কার্যকর সরঞ্জাম
३. দুটি বাস্তবায়ন প্রদান: মান সংস্করণ (३४१ ক্রিয়াকলাপ) এবং বিকল্প ভিত্তি সংস্করণ (६+३३६ ক্রিয়াকলাপ)
४. অ্যালগরিদম 21 সহ যেকোনো বলয়ে প্রয়োগযোগ্য, প্রয়োগের পরিসীমা প্রসারিত করে
१. বলয়ের সীমাবদ্ধতা: २ বিপরীত প্রয়োজন, বৈশিষ্ট্য २ এর ক্ষেত্রে প্রয়োগযোগ্য নয়
२. বড় ধ্রুবক পদ: মান সংস্করণ ধ্রুবক ११.६६ বড়, শুধুমাত্র যথেষ্ট বড় ম্যাট্রিক্সে সুবিধা আছে
३. সংখ্যাগত স্থিতিশীলতা অজানা: এখনও २ এর মতো সংখ্যাগত নির্ভুলতা বিশ্লেষণ সম্পন্ন হয়নি
४. অ-গঠনমূলক: সমদূরবর্তী রূপান্তরের আবিষ্কার এখনও "শিক্ষিত অনুমান" এর উপর নির্ভর করে, সম্পূর্ণভাবে স্বয়ংক্রিয় নয়
१. ३×४×७ অ্যালগরিদম: যমজ পেপার ३ AlphaEvolve এর অন্য জটিল অ্যালগরিদম পরিচালনা করে
२. সংখ্যাগত বিশ্লেষণ: এই অ্যালগরিদমের ত্রুটি প্রসার এবং শর্ত সংখ্যা গবেষণা
३. স্বয়ংক্রিয় আবিষ্কার: সমদূরবর্তী রূপান্তর স্বয়ংক্রিয়ভাবে অনুসন্ধানের জন্য পদ্ধতিগত পদ্ধতি উন্নয়ন
४. অন্যান্য মাত্রা: ५×५, ३×३×३ ইত্যাদি ক্ষেত্রে একই পদ্ধতি প্রয়োগ
५. ব্যবহারিক কর্মক্ষমতা: প্রকৃত হার্ডওয়্যারে কর্মক্ষমতা পরীক্ষা, ক্যাশে, সমান্তরালতা ইত্যাদি বিবেচনা
१. তত্ত্ব এবং অনুশীলন সেতু: AI আবিষ্কৃত অ্যালগরিদম গণিত তত্ত্বে রূপান্তরিত করে ব্যবহারযোগ্য ফর্মে
२. পদ্ধতিগত প্রদর্শন: অ্যালগরিদম অপ্টিমাইজেশনে সমদূরবর্তী গোষ্ঠী তত্ত্বের ব্যবহারিক প্রয়োগ প্রদর্শন
३. পরবর্তী গবেষণা অনুপ্রেরণা: অন্যান্য AI আবিষ্কৃত জটিল অ্যালগরিদম পরিচালনার জন্য টেমপ্লেট প্রদান
१. মধ্যম: বড় ধ্রুবক পদ (११.६६) এর কারণে, শুধুমাত্র বড় স্কেল ম্যাট্রিক্সে (n>100) সুবিধা আছে
२. নির্দিষ্ট ক্ষেত্র: নির্ভুল মূলদ সংখ্যা গণনা প্রয়োজন এমন প্রতীকী গণনা সিস্টেমে উচ্চতর মূল্য
३. শিক্ষামূলক তাৎপর্য: টেনসর বিয়োজন এবং সমদূরবর্তী গোষ্ঠী তত্ত্ব প্রয়োগের চমৎকার কেস স্টাডি
१. প্রতীকী গণনা সিস্টেম: Maple, Mathematica ইত্যাদিতে নির্ভুল ম্যাট্রিক্স ক্রিয়াকলাপ
२. সীমিত ক্ষেত্র গণনা: বিজোড় বৈশিষ্ট্য সীমিত ক্ষেত্রে রৈখিক বীজগণিত
३. বড় স্কেল ম্যাট্রিক্স: পুনরাবৃত্তিমূলক প্রয়োগের মাধ্যমে n≥128 ম্যাট্রিক্সে
४. তাত্ত্বিক গবেষণা: দ্রুত অ্যালগরিদম এবং টেনসর র্যাঙ্ক গবেষণার সরঞ্জাম
१. ছোট ম্যাট্রিক্স: একক ४×४ ম্যাট্রিক্সের জন্য, নিষ্পাপ অ্যালগরিদম (६४ গুণন) ছোট ধ্রুবক পদের কারণে দ্রুত হতে পারে
२. ভাসমান বিন্দু গণনা: সংখ্যাগত স্থিতিশীলতা অজানা, ঐতিহ্যবাহী অ্যালগরিদমের চেয়ে কম স্থিতিশীল হতে পারে
३. বৈশিষ্ট্য २ ক্ষেত্র: Fawzi এর ४७-গুণন অ্যালগরিদম আরও ভাল
४. হার্ডওয়্যার ত্বরণ: আধুনিক GPU অপ্টিমাইজড ম্যাট্রিক্স গুণন দ্রুত হতে পারে
१. १३ Strassen (१९६९): "Gaussian elimination is not optimal" - দ্রুত ম্যাট্রিক্স গুণনের ভিত্তিপ্রস্তর কাজ
२. ६,७ de Groote (१९७८): সমদূরবর্তী গোষ্ঠী তত্ত্বের মূল পেপার
३. ११ Novikov ইত্যাদি (२०२५): AlphaEvolve - এই পেপার উন্নত মূল জটিল অ্যালগরিদম
४. १० Landsberg (२०१६): "Geometry and complexity theory" - তাত্ত্বিক ভিত্তি
५. २ Dumas ইত্যাদি (२०२४): Strassen অ্যালগরিদমের সংখ্যাগত নির্ভুলতা বিশ্লেষণ
এটি একটি উচ্চ মানের তাত্ত্বিক কম্পিউটার বিজ্ঞান পেপার, যা সফলভাবে AI আবিষ্কৃত জটিল ক্ষেত্রের অ্যালগরিদমকে মূলদ ক্ষেত্রের অ্যালগরিদমে রূপান্তরিত করে, উল্লেখযোগ্য তাত্ত্বিক তাৎপর্য এবং নির্দিষ্ট ব্যবহারিক মূল্য রয়েছে। পেপারের প্রধান সুবিধা:
१. ব্যবহারিক সমস্যা সমাধান: AlphaEvolve এর জটিল সংখ্যা সহগ সীমাবদ্ধতা সমাধান করা
२. পদ্ধতি কঠোর: পরিপক্ক টেনসর বিয়োজন এবং সমদূরবর্তী গোষ্ঠী তত্ত্যের উপর ভিত্তি করে
३. বাস্তবায়ন সম্পূর্ণ: পুনরুৎপাদনযোগ্য খোলা উৎস বাস্তবায়ন প্রদান করা
প্রধান অপূর্ণতা:
१. সমদূরবর্তী রূপান্তরের আবিষ্কার এখনও মানব অনুমানের প্রয়োজন
२. প্রকৃত কর্মক্ষমতা এবং সংখ্যাগত স্থিতিশীলতা বিশ্লেষণ অভাব
३. বড় ধ্রুবক পদ ব্যবহারিক প্রয়োগ সীমিত করে
সুপারিশ সূচক: ⭐⭐⭐⭐ (५ এর মধ্যে ४)
প্রতীকী গণনা, টেনসর বিয়োজন, দ্রুত অ্যালগরিদমে আগ্রহী গবেষকদের জন্য পড়ার যোগ্য। ব্যবহারিক প্রয়োগের জন্য, নির্দিষ্ট পরিস্থিতিতে ঐতিহ্যবাহী পদ্ধতির চেয়ে উন্নত কিনা তা মূল্যায়ন করা প্রয়োজন।