In this work, we investigate the universal representation capacity of the Matrix Product States (MPS) from the perspective of boolean functions and continuous functions. We show that MPS can accurately realize arbitrary boolean functions by providing a construction method of the corresponding MPS structure for an arbitrarily given boolean gate. Moreover, we prove that the function space of MPS with the scale-invariant sigmoidal activation is dense in the space of continuous functions defined on a compact subspace of the $n$-dimensional real coordinate space $\mathbb{R^{n}}$. We study the relation between MPS and neural networks and show that the MPS with a scale-invariant sigmoidal function is equivalent to a one-hidden-layer neural network equipped with a kernel function. We construct the equivalent neural networks for several specific MPS models and show that non-linear kernels such as the polynomial kernel which introduces the couplings between different components of the input into the model appear naturally in the equivalent neural networks. At last, we discuss the realization of the Gaussian Process (GP) with infinitely wide MPS by studying their equivalent neural networks.
- পেপার আইডি: 2103.08277
- শিরোনাম: ম্যাট্রিক্স প্রোডাক্ট স্টেটসের জন্য প্রতিনিধিত্ব উপপাদ্য
- লেখক: Erdong Guo, David Draper (ক্যালিফোর্নিয়া বিশ্ববিদ্যালয়, সান্তা ক্রুজ)
- শ্রেণীবিভাগ: stat.ML cs.LG cs.NE quant-ph
- প্রকাশনার সময়: ২০২১ সালের ১৫ মার্চ (arXiv প্রিপ্রিন্ট)
- পেপার লিঙ্ক: https://arxiv.org/abs/2103.08277
এই পেপারটি বুলিয়ান ফাংশন এবং ক্রমাগত ফাংশনের দৃষ্টিকোণ থেকে ম্যাট্রিক্স প্রোডাক্ট স্টেটস (MPS) এর সার্বজনীন প্রতিনিধিত্ব ক্ষমতা অধ্যয়ন করে। লেখকরা প্রমাণ করেছেন যে MPS যেকোনো বুলিয়ান ফাংশন সঠিকভাবে বাস্তবায়ন করতে পারে এবং যেকোনো প্রদত্ত বুলিয়ান গেটের জন্য সংশ্লিষ্ট MPS কাঠামোর একটি নির্মাণ পদ্ধতি প্রদান করেছেন। অতিরিক্তভাবে, স্কেল-অপরিবর্তনীয় সিগময়েড সক্রিয়করণ ফাংশন সহ MPS ফাংশন স্পেস n-মাত্রিক বাস্তব স্থানাঙ্ক স্পেসের সংক্ষিপ্ত উপসেটে সংজ্ঞায়িত ক্রমাগত ফাংশন স্পেসে ঘন প্রমাণ করেছেন। MPS এবং নিউরাল নেটওয়ার্কের সম্পর্ক অধ্যয়ন করেছেন, যা দেখায় যে স্কেল-অপরিবর্তনীয় সিগময়েড ফাংশন সহ MPS কার্নেল ফাংশন সজ্জিত একক লুকানো স্তরের নিউরাল নেটওয়ার্কের সমতুল্য। অবশেষে, অসীম প্রস্থের MPS দ্বারা গাউসিয়ান প্রক্রিয়া (GP) বাস্তবায়নের সমস্যা সমতুল্য নিউরাল নেটওয়ার্ক অধ্যয়নের মাধ্যমে আলোচনা করেছেন।
- টেনসর নেটওয়ার্কের উত্থান: টেনসর নেটওয়ার্ক বহু-শরীর কোয়ান্টাম সিস্টেম প্রতিনিধিত্বের জন্য একটি শক্তিশালী গ্রাফিক্যাল ভাষা হিসাবে, কোয়ান্টাম তথ্য, ঘনীভূত পদার্থ পদার্থবিজ্ঞান, প্রয়োগ করা গণিত এবং কম্পিউটার বিজ্ঞান সহ একাধিক ক্ষেত্রে ব্যাপক প্রয়োগ পেয়েছে।
- MPS এর প্রতিনিধিত্ব ক্ষমতা সমস্যা: যদিও MPS কোয়ান্টাম পদার্থবিজ্ঞানে গুরুত্বপূর্ণ ভৌত অর্থ রয়েছে, যখন এটিকে মেশিন লার্নিংয়ে একটি বীজগণিত সরঞ্জাম হিসাবে ব্যবহার করা হয়, একটি প্রাকৃতিক প্রশ্ন হল: বীজগণিত মেশিন হিসাবে MPS এর প্রতিনিধিত্ব ক্ষমতা কতটা শক্তিশালী?
- সার্বজনীন অনুমান তত্ত্বের প্রয়োজন: নিউরাল নেটওয়ার্কের সার্বজনীন অনুমান উপপাদ্যের মতো, MPS এর প্রতিনিধিত্ব ক্ষমতার সীমানা তাত্ত্বিকভাবে প্রমাণ করার প্রয়োজন।
- তাত্ত্বিক শূন্যতা পূরণ: বিদ্যমান গবেষণা প্রধানত MPS এর ভৌত বৈশিষ্ট্যের উপর দৃষ্টি নিবদ্ধ করে, ফাংশন অনুমানকারী হিসাবে এর তাত্ত্বিক বিশ্লেষণের অভাব রয়েছে।
- MPS এবং নিউরাল নেটওয়ার্কের মধ্যে সংযোগ স্থাপন: MPS এবং ক্লাসিক্যাল মেশিন লার্নিং মডেলের (বিশেষত নিউরাল নেটওয়ার্ক) মধ্যে সমতুল্য সম্পর্ক অন্বেষণ করা।
- ব্যবহারিক বিবেচনা: বাস্তব প্রয়োগে, সম্পূর্ণ ভিত্তি সাধারণত অসীম-মাত্রিক, তাই মৃদু অনুমানের অধীনে MPS কতটা বড় ফাংশন স্পেস "বিস্তৃত" করতে পারে তা অধ্যয়ন করার প্রয়োজন।
- বুলিয়ান ফাংশনের সঠিক প্রতিনিধিত্ব: প্রমাণ করেছেন যে MPS যেকোনো বুলিয়ান ফাংশন সঠিকভাবে বাস্তবায়ন করতে পারে এবং একটি গঠনমূলক প্রমাণ পদ্ধতি প্রদান করেছেন।
- ক্রমাগত ফাংশনের সার্বজনীন অনুমান: প্রমাণ করেছেন যে স্কেল-অপরিবর্তনীয় সিগময়েড সক্রিয়করণ সহ MPS ফাংশন স্পেস ক্রমাগত ফাংশন স্পেসে ঘন (সর্বোচ্চ নর্মের সাপেক্ষে)।
- MPS এবং নিউরাল নেটওয়ার্কের সমতুল্যতা: MPS এবং একক লুকানো স্তরের নিউরাল নেটওয়ার্কের মধ্যে সমতুল্য সম্পর্ক স্থাপন করেছেন, কার্নেল ফাংশনের MPS-এ প্রাকৃতিক উপস্থিতি প্রকাশ করেছেন।
- গাউসিয়ান প্রক্রিয়ার বাস্তবায়ন: অসীম প্রস্থের MPS এর মাধ্যমে গাউসিয়ান প্রক্রিয়া বাস্তবায়নের সমস্যা আলোচনা করেছেন।
মূল MPS মডেল সংজ্ঞায়িত করা হয়:
Ψl(x∣w,B)=∑{α,s}Aα1α2s1⋯Alαiαi+1si⋯Aαnα1snΦs1⋯sn(x)
যেখানে কার্নেল ফাংশন সংজ্ঞায়িত করা হয়:
Φs1⋯sn(x)=ϕs1(x1)⊗⋯⊗ϕsi(xi)⋯⊗ϕsn(xn)
সার্বজনীন অনুমান বাস্তবায়নের জন্য, লেখকরা সংশোধিত MPS কাঠামো প্রস্তাব করেছেন:
Ψ(x∣w,B)=∑lσ(∑{α,s}Aα1α2s1⋯Alαiαi+1si⋯Aαnα1snΦs1⋯sn(x))
যেখানে σ(⋅) একটি স্কেল-অপরিবর্তনীয় সিগময়েড ফাংশন:
σ(x)→{0Cx→−∞x→+∞
AND গেট বাস্তবায়ন (উপপাদ্য 2.1):
- কার্নেল ফাংশন: ϕi(Xi)=[Xi,1−Xi]
- টেনসর নোড: Asi=[1,0], বন্ড মাত্রা ∣α∣=1
OR গেট বাস্তবায়ন (উপপাদ্য 2.2):
- কার্নেল ফাংশন: ϕi(Xi)=[Xi,1−Xi]
- টেনসর নোড বন্ড মাত্রা: ∣α∣=3
- নির্দিষ্ট টেনসর কাঠামো:
Aα1α2s1=[[1,0,1],[0,1,0]]Aα2α1s2=[[0,1,1],[1,0,0]]
NOT গেট বাস্তবায়ন (উপপাদ্য 2.3):
- কার্নেল ফাংশন: ϕ1(X1)=1−X1
- টেনসর নোড: As1=1
সার্বজনীন AND গেট (উপপাদ্য 2.4):
n ইনপুট ভেরিয়েবলের জন্য, নিম্নলিখিত বাস্তবায়ন করা যায়:
Ψ(X1,⋯,Xn)=(⋀i=1lXi)⋀(⋀j=l+1nXj)
যেকোনো বুলিয়ান ফাংশন (উপপাদ্য 2.5):
যেকোনো বুলিয়ান ফাংশনকে সার্বজনীন AND গেটের বিচ্ছিন্ন স্বাভাবিক রূপে প্রতিনিধিত্ব করে, সংশ্লিষ্ট MPS নির্মাণ করা যায়। নির্মাণ নিয়ম:
- বুলিয়ান ফাংশনকে সত্য সারণীর সংশ্লিষ্ট বিচ্ছিন্ন স্বাভাবিক রূপে লিখুন
- বন্ড মাত্রা বিচ্ছিন্ন পদের সংখ্যা m এ সেট করুন
- নির্দিষ্ট নিয়ম অনুযায়ী টেনসর উপাদান পূরণ করুন
MPS ফাংশন স্পেস C0(In) (একক ঘনকে ক্রমাগত ফাংশন স্পেস) এ ঘন, অর্থাৎ যেকোনো f(x)∈C0(In) এবং যেকোনো ε>0 এর জন্য, একটি MPS ফাংশন Ψ(x) বিদ্যমান যেমন:
supx∣Ψ(x)−f(x)∣<ε
রৈখিকতা প্রমাণ (লেম্মা 3.2):
MPS ফাংশন পরিবার M যে C0(In) এর একটি রৈখিক উপস্থান তা প্রমাণ করুন:
- স্কেলার গুণনের জন্য বন্ধ: স্কেল-অপরিবর্তনীয়তা ব্যবহার করুন
- যোগের জন্য বন্ধ: দুটি MPS এর যোগ প্রতিনিধিত্ব করার জন্য নতুন MPS নির্মাণ করুন
বৈষম্যমূলক বৈশিষ্ট্য (লেম্মা 3.4):
স্কেল-অপরিবর্তনীয় সিগময়েড ফাংশন বৈষম্যমূলক বৈশিষ্ট্য রয়েছে তা প্রমাণ করুন: যদি একটি সীমিত স্বাক্ষর পরিমাপ μ সমস্ত MPS ফাংশনের সমাকল শূন্য করে, তবে μ=0।
প্রধান উপপাদ্য প্রমাণ:
Hahn-Banach উপপাদ্য এবং Riesz প্রতিনিধিত্ব উপপাদ্যের বিরোধাভাসী যুক্তি ব্যবহার করুন:
- ধরুন M হল C0(In) এর একটি প্রকৃত উপসেট
- Hahn-Banach উপপাদ্য দ্বারা, একটি অ-তুচ্ছ ফাংশনাল বিদ্যমান যা M কে বিলুপ্ত করে
- Riesz প্রতিনিধিত্ব উপপাদ্য দ্বারা, একটি অ-তুচ্ছ পরিমাপের সাথে সংশ্লিষ্ট
- বৈষম্যমূলক বৈশিষ্ট্য দ্বারা, এই পরিমাপ অবশ্যই শূন্য হতে হবে, একটি বিরোধাভাস তৈরি করে
স্কেল-অপরিবর্তনীয় সিগময়েড সক্রিয়করণ সহ MPS কার্নেল ফাংশন সজ্জিত একক লুকানো স্তরের নিউরাল নেটওয়ার্কের সমতুল্য।
অভ্যন্তরীণ সূচক {αi} সংকোচনের মাধ্যমে, MPS লেখা যায়:
Ψ(x)=∑lσ(∑sWslΦs(x))
এটি ঠিক একক লুকানো স্তরের নিউরাল নেটওয়ার্কের রূপ, যেখানে:
- Wsl হল ওজন পরামিতি
- Φs(x) হল কার্নেল ফাংশন, ইনপুট উপাদানগুলির মধ্যে প্রাকৃতিকভাবে সংযোগ প্রবর্তন করে
নির্দিষ্ট উদাহরণের মাধ্যমে দেখান হয়েছে কীভাবে বহুপদী কার্নেল ইত্যাদি অ-রৈখিক কার্নেল সমতুল্য নিউরাল নেটওয়ার্কে প্রাকৃতিকভাবে উপস্থিত হয়, উদাহরণস্বরূপ:
(Φs)T=[x1x2x3,x2x3,x1x3,x1x2,x1,x2,x3,1]
3-ইনপুট OR গেট:
বুলিয়ান অভিব্যক্তি: f(X1,X2,X3)=X1∨X2∨X3
সংশ্লিষ্ট MPS টেনসর কাঠামো পদ্ধতি অংশে বিস্তারিতভাবে দেওয়া হয়েছে।
3-ইনপুট প্যারিটি গেট:
বুলিয়ান অভিব্যক্তি: f(X1,X2,X3)=X1⊕X2⊕X3
সমতুল্য নিউরাল নেটওয়ার্ক ওজন: Ws=[1,0,0,1,0,1,1,0]
থ্রেশহোল্ড গেট Th₃²:
যখন কমপক্ষে 2টি ইনপুট 1 হয় তখন 1 আউটপুট করার থ্রেশহোল্ড ফাংশন।
n-ইনপুট বুলিয়ান গেটের জন্য, চরম ক্ষেত্রে বন্ড মাত্রা O(2n) প্রয়োজন, কিন্তু Karnaugh ম্যাপ সরলীকরণের মাধ্যমে এটি O(2n−1) এ হ্রাস করা যায়, মোট পরামিতি সংখ্যা O(n2n−1), একক লুকানো স্তরের নিউরাল নেটওয়ার্কের দক্ষতার সাথে তুলনীয়।
- Penrose (1971) এর টেনসর গণনা গ্রাফিক্যাল প্রতীক সিস্টেম
- Vidal (2003, 2007) এর Schmidt বিয়োজন এবং DMRG পদ্ধতি
- Perez-Garcia এবং অন্যান্য (2006) এর MPS বৈশিষ্ট্যের সিস্টেমেটিক গবেষণা
- Stoudenmire & Schwab (2016) এর তত্ত্বাবধানে শেখার প্রয়োগ
- রিগ্রেশন, শ্রেণীবিভাগ এবং ঘনত্ব অনুমানে বিভিন্ন টেনসর নেটওয়ার্ক প্রয়োগ
- Cybenko (1989), Hornik (1991) নিউরাল নেটওয়ার্ক সার্বজনীন অনুমান সম্পর্কে ক্লাসিক কাজ
- এই পেপার অনুরূপ ফাংশনাল বিশ্লেষণ কৌশল গ্রহণ করে
- তাত্ত্বিক সম্পূর্ণতা: MPS যেকোনো বুলিয়ান ফাংশন প্রতিনিধিত্ব এবং যেকোনো ক্রমাগত ফাংশন অনুমান করার ক্ষমতা রয়েছে
- সমতুল্যতা প্রকাশ: MPS মূলত কার্নেল ফাংশন সহ একক লুকানো স্তরের নিউরাল নেটওয়ার্কের সমতুল্য
- কার্নেল ফাংশনের গুরুত্ব: কার্নেল ফাংশন Φs1⋯sn হল MPS প্রতিনিধিত্ব ক্ষমতার চাবিকাঠি, বন্ড সূচক {αi} নয়
- ব্যবহারিক সমস্যা: বুলিয়ান ফাংশনের MPS বাস্তবায়ন সূচকীয় স্তরের বন্ড মাত্রা প্রয়োজন
- ভৌত অর্থ হারানো: বিশুদ্ধ বীজগণিত সরঞ্জাম হিসাবে, MPS কোয়ান্টাম পদার্থবিজ্ঞানে জড়িততা ইত্যাদি গুরুত্বপূর্ণ বৈশিষ্ট্য হারায়
- কার্নেল ফাংশন ডিজাইন: পর্যাপ্ত প্রতিনিধিত্ব ক্ষমতা অর্জনের জন্য কার্নেল ফাংশন সাবধানে ডিজাইন করা প্রয়োজন
- দক্ষ নির্মাণ পদ্ধতি: আরও দক্ষ MPS নির্মাণ পদ্ধতি খুঁজে বের করুন, জটিলতা হ্রাস করুন
- গভীর কাঠামো: গভীর নিউরাল নেটওয়ার্কের সাথে সাদৃশ্যপূর্ণ বহু-স্তরের MPS কাঠামো অন্বেষণ করুন
- কোয়ান্টাম সুবিধা: কোয়ান্টাম কম্পিউটিং পরিবেশে MPS এর অনন্য সুবিধা অন্বেষণ করুন
- বড় তাত্ত্বিক অবদান: প্রথমবারের মতো ফাংশন অনুমান দৃষ্টিকোণ থেকে সিস্টেমেটিকভাবে MPS এর প্রতিনিধিত্ব ক্ষমতা বিশ্লেষণ করেছেন
- কঠোর প্রমাণ: ফাংশনাল বিশ্লেষণের ক্লাসিক্যাল সরঞ্জাম ব্যবহার করে, প্রমাণ প্রক্রিয়া কঠোর
- সংযোগ অন্তর্দৃষ্টি: MPS এবং নিউরাল নেটওয়ার্কের গভীর সংযোগ প্রকাশ করেছেন, ক্রস-ডোমেইন বোঝার জন্য একটি সেতু প্রদান করেছেন
- গঠনমূলক প্রমাণ: শুধুমাত্র অস্তিত্ব প্রমাণ করেনি, বরং নির্দিষ্ট নির্মাণ পদ্ধতি প্রদান করেছেন
- সীমিত ব্যবহারিকতা: তাত্ত্বিক ফলাফল বাস্তব প্রয়োগে মাত্রা বিস্ফোরণের সম্মুখীন হতে পারে
- অপর্যাপ্ত পরীক্ষামূলক যাচাইকরণ: তাত্ত্বিক ফলাফল যাচাই করার জন্য বড় আকারের সংখ্যাসূচক পরীক্ষার অভাব
- অপ্টিমাইজেশন অ্যালগরিদম অনুপস্থিত: এই ধরনের MPS মডেল দক্ষতার সাথে প্রশিক্ষণ দেওয়ার উপায় আলোচনা করা হয়নি
- তুলনামূলক বিশ্লেষণ অপর্যাপ্ত: অন্যান্য সার্বজনীন অনুমানকারীদের সাথে বিস্তারিত তুলনামূলক বিশ্লেষণ অপর্যাপ্ত
- উচ্চ তাত্ত্বিক মূল্য: মেশিন লার্নিংয়ে টেনসর নেটওয়ার্ক প্রয়োগের জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করেছেন
- ক্রস-ডোমেইন অর্থ: কোয়ান্টাম পদার্থবিজ্ঞান এবং মেশিন লার্নিং দুটি ক্ষেত্রকে সংযুক্ত করেছেন
- শক্তিশালী অনুপ্রেরণা: টেনসর নেটওয়ার্কের প্রতিনিধিত্ব ক্ষমতা এবং অপ্টিমাইজেশন পদ্ধতি অধ্যয়নের জন্য পরবর্তী গবেষণার জন্য গুরুত্বপূর্ণ রেফারেন্স প্রদান করেছেন
- তাত্ত্বিক গবেষণা: টেনসর নেটওয়ার্ক প্রতিনিধিত্ব তত্ত্বের ভিত্তি সাহিত্য হিসাবে উপযুক্ত
- শিক্ষা উদ্দেশ্য: MPS এবং নিউরাল নেটওয়ার্কের সম্পর্ক ব্যাখ্যা করতে ব্যবহার করা যায়
- অ্যালগরিদম ডিজাইন: MPS-ভিত্তিক মেশিন লার্নিং অ্যালগরিদম ডিজাইনের জন্য তাত্ত্বিক নির্দেশনা প্রদান করেছেন
- কোয়ান্টাম মেশিন লার্নিং: কোয়ান্টাম মেশিন লার্নিং অ্যালগরিদম ডিজাইনের জন্য তাত্ত্বিক সহায়তা প্রদান করেছেন
এই পেপারটি টেনসর নেটওয়ার্ক, কোয়ান্টাম তথ্য, মেশিন লার্নিং এবং ফাংশনাল বিশ্লেষণ সহ একাধিক ক্ষেত্রের গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করেছে, যার মধ্যে রয়েছে:
- টেনসর নেটওয়ার্ক মৌলিক তত্ত্ব (Penrose, 1971; Vidal, 2007; Perez-Garcia et al., 2006)
- নিউরাল নেটওয়ার্ক সার্বজনীন অনুমান তত্ত্ব (Cybenko, 1989; Hornik, 1991)
- মেশিন লার্নিংয়ে টেনসর নেটওয়ার্ক প্রয়োগ (Stoudenmire & Schwab, 2016; ইত্যাদি)
- ফাংশনাল বিশ্লেষণ তাত্ত্বিক ভিত্তি (Folland, 2013)