2025-11-19T08:52:13.731098

Nonnegative Tensor Decomposition Via Collaborative Neurodynamic Optimization

Ahmadi-Asl, Leplat, Phan et al.

This paper introduces a novel collaborative neurodynamic model for computing nonnegative Canonical Polyadic Decomposition (CPD). The model relies on a system of recurrent neural networks to solve the underlying nonconvex optimization problem associated with nonnegative CPD. Additionally, a discrete-time version of the continuous neural network is developed. To enhance the chances of reaching a potential global minimum, the recurrent neural networks are allowed to communicate and exchange information through particle swarm optimization (PSO). Convergence and stability analyses of both the continuous and discrete neurodynamic models are thoroughly examined. Experimental evaluations are conducted on random and real-world datasets to demonstrate the effectiveness of the proposed approach.

academic

অ-নেতিবাচক টেন্সর বিয়োজন সহযোগী স্নায়ুবিজ্ঞান গতিশীলতা অপ্টিমাইজেশনের মাধ্যমে

মৌলিক তথ্য

পেপার আইডি: 2411.18127
শিরোনাম: Nonnegative Tensor Decomposition Via Collaborative Neurodynamic Optimization
লেখক: Salman Ahmadi-Asl, Valentin Leplat, Anh-Huy Phan, Andrzej Cichocki
শ্রেণীবিভাগ: math.NA cs.NA
প্রকাশনার সময়: arXiv-তে ২০২৫ সালের ১ জানুয়ারি জমা দেওয়া হয়েছে
পেপার লিঙ্ক: https://arxiv.org/abs/2411.18127

সারসংক্ষেপ

এই পেপারটি অ-নেতিবাচক ক্যানোনিক্যাল পলিয়াডিক বিয়োজন (Canonical Polyadic Decomposition, CPD) গণনা করার জন্য একটি উদ্ভাবনী সহযোগী স্নায়ুবিজ্ঞান গতিশীলতা মডেল প্রস্তাব করে। এই মডেলটি অ-নেতিবাচক CPD-এর সাথে সম্পর্কিত অন্তর্নিহিত অ-উত্তল অপ্টিমাইজেশন সমস্যা সমাধানের জন্য পুনরাবৃত্তিমূলক স্নায়ু নেটওয়ার্ক সিস্টেমের উপর নির্ভর করে। অতিরিক্তভাবে, ক্রমাগত স্নায়ু নেটওয়ার্কের একটি বিচ্ছিন্ন সময় সংস্করণ বিকশিত করা হয়েছে। সম্ভাব্য বৈশ্বিক ন্যূনতমে পৌঁছানোর সুযোগ বৃদ্ধি করার জন্য, পুনরাবৃত্তিমূলক স্নায়ু নেটওয়ার্কগুলি কণা ঝাঁক অপ্টিমাইজেশন (PSO) এর মাধ্যমে যোগাযোগ এবং তথ্য বিনিময় করে। ক্রমাগত এবং বিচ্ছিন্ন স্নায়ুবিজ্ঞান গতিশীলতা মডেলের সংগতি এবং স্থিতিশীলতার গভীর বিশ্লেষণ পরিচালিত হয়েছে। এলোমেলো এবং বাস্তব ডেটাসেটে পরীক্ষামূলক মূল্যায়ন প্রস্তাবিত পদ্ধতির কার্যকারিতা প্রমাণ করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যার পটভূমি

টেন্সর বিয়োজন মেশিন লার্নিং এবং ডেটা বিজ্ঞানে একটি গুরুত্বপূর্ণ সরঞ্জাম, বিশেষত ক্যানোনিক্যাল পলিয়াডিক বিয়োজন (CPD), যা উচ্চ-ক্রমের টেন্সরকে সর্বনিম্ন সংখ্যক র‍্যাঙ্ক-১ টেন্সরের যোগফলে বিয়োজিত করে। অ-নেতিবাচক CPD অনেক বাস্তব প্রয়োগে গুরুত্বপূর্ণ, যেমন ডেটা সংকোচন, ম্যাট্রিক্স সমাপ্তি, হ্যামারস্টাইন সনাক্তকরণ এবং ক্লাস্টারিং।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

স্থানীয় সর্বোত্তম সমস্যা: ক্রমবর্ধমান বিকল্প সর্বনিম্ন বর্গ (HALS) এবং বিকল্প সর্বনিম্ন বর্গ (ALS) এর মতো ঐতিহ্যবাহী পুনরাবৃত্তিমূলক অ্যালগরিদম স্থানীয় সর্বোত্তম সমাধানে আটকে যায়
সংগতির গতি: উচ্চ সহরেখীয় ফ্যাক্টর ম্যাট্রিক্স সহ কঠিন টেন্সরের জন্য, বিদ্যমান পদ্ধতিগুলি ধীরে ধীরে সংগতিশীল হয়
বৈশ্বিক অপ্টিমাইজেশন চ্যালেঞ্জ: অ-নেতিবাচক CPD একটি অ-উত্তল অপ্টিমাইজেশন সমস্যা, বৈশ্বিক সর্বোত্তম সমাধান খুঁজে পাওয়া চ্যালেঞ্জিং

গবেষণা প্রেরণা

যদিও সহযোগী স্নায়ুবিজ্ঞান গতিশীলতা অপ্টিমাইজেশন উত্তল এবং অ-উত্তল অপ্টিমাইজেশন সমস্যায় শক্তিশালী ক্ষমতা প্রদর্শন করেছে, টেন্সর বিয়োজনে এর প্রয়োগ সম্পর্কিত গবেষণা সীমিত। এই পেপারটি এই ফাঁক পূরণ করার লক্ষ্য রাখে, সহযোগী স্নায়ুবিজ্ঞান গতিশীলতার উপর ভিত্তি করে অ-নেতিবাচক টেন্সর বিয়োজন পদ্ধতি প্রস্তাব করে।

মূল অবদান

CPD গণনার জন্য সহযোগী স্নায়ুবিজ্ঞান গতিশীলতা মডেল প্রস্তাব করা, যা টেন্সর বিয়োজনে সহযোগী স্নায়ুবিজ্ঞান গতিশীলতা অপ্টিমাইজেশন প্রয়োগের প্রথম সম্পূর্ণ গবেষণা
অ-নেতিবাচক CPD-এর জন্য বিচ্ছিন্ন সময় প্রজেকশন স্নায়ু নেটওয়ার্ক বিকশিত করা, ক্রমাগত মডেলের একটি ব্যবহারিক বিচ্ছিন্ন সংস্করণ প্রদান করে
হেসিয়ান প্রি-কন্ডিশনিং কৌশলের মাধ্যমে ত্বরিত সংস্করণ বিকশিত করা, ক্রমাগত এবং বিচ্ছিন্ন স্নায়ুবিজ্ঞান গতিশীলতা মডেলের সংগতির গতি উন্নত করে
ব্যাপক সংগতি এবং স্থিতিশীলতা তাত্ত্বিক বিশ্লেষণ প্রদান করা, অ্যালগরিদমের বৈশ্বিক সংগতি প্রমাণ করে
উচ্চ সহরেখীয় ডেটা টেন্সরে উচ্চতর কর্মক্ষমতা প্রদর্শন করা, বিশেষত কঠিন টেন্সর বিয়োজন সমস্যা পরিচালনার জন্য উপযুক্ত

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

একটি N-ক্রম টেন্সর $\mathcal{X} \in \mathbb{R}^{I_1 \times I_2 \times \cdots \times I_N}$ দেওয়া হলে, অ-নেতিবাচক CPD সমস্যা সংজ্ঞায়িত করা হয়:

$\min_{A^{(1)} \geq 0, \ldots, A^{(N)} \geq 0} \|\mathcal{X} - \llbracket A^{(1)}, A^{(2)}, \ldots, A^{(N)} \rrbracket\|_F^2$

যেখানে $A^{(n)} \in \mathbb{R}^{I_n \times R}$ হল n-তম ফ্যাক্টর ম্যাট্রিক্স এবং $R$ হল টেন্সর র‍্যাঙ্ক।

মডেল আর্কিটেকচার

১. ক্রমাগত সময় স্নায়ুবিজ্ঞান গতিশীলতা মডেল

তিন-ক্রম টেন্সরের জন্য, ক্রমাগত স্নায়ুবিজ্ঞান গতিশীলতা সিস্টেম সংজ্ঞায়িত করা হয়:

$\epsilon_1 \frac{dA}{dt} = -A + [A - \nabla_A F(A,B,C) P_A^{-1}]_+$ $\epsilon_2 \frac{dB}{dt} = -B + [B - \nabla_B F(A,B,C) P_B^{-1}]_+$ $\epsilon_3 \frac{dC}{dt} = -C + [C - \nabla_C F(A,B,C) P_C^{-1}]_+$

যেখানে:

$F(A,B,C) = \frac{1}{2}\|\mathcal{X} - \llbracket A,B,C \rrbracket\|_F^2$ হল উদ্দেশ্য ফাংশন
$P_A = (C^T C) * (B^T B)$ হল হেসিয়ান প্রি-কন্ডিশনিং ম্যাট্রিক্স
$[\cdot]_+$ অ-নেতিবাচক অর্ধ-স্থানে প্রজেকশন সক্রিয়করণ ফাংশন নির্দেশ করে

২. বিচ্ছিন্ন সময় প্রজেকশন স্নায়ু নেটওয়ার্ক (DTPNN)

ক্রমাগত মডেলের বিচ্ছিন্নকরণ সংস্করণ:

$A_{k+1} = A_k + \lambda_k(-A_k + [\tilde{A}_k]_+)$ $B_{k+1} = B_k + \lambda_k(-B_k + [\tilde{B}_k]_+)$ $C_{k+1} = C_k + \lambda_k(-C_k + [\tilde{C}_k]_+)$

যেখানে $\tilde{A}_k = A_k - \nabla_A F(A_k, B_k, C_k)$ ।

३. সহযোগী প্রক্রিয়া

কণা ঝাঁক অপ্টিমাইজেশন (PSO) এর মাধ্যমে একাধিক স্নায়ু নেটওয়ার্কের সহযোগিতা বাস্তবায়ন করা হয়:

$v_n^{(k+1)} = \alpha v_n^{(k)} + \beta_1 \gamma_1 (p_n^{(k)} - x_n^{(k)}) + \beta_2 \gamma_2 (p_{best}^{(k)} - x_n^{(k)})$ $x_n^{(k+1)} = x_n^{(k)} + v_n^{(k+1)}$

যেখানে $p_n^{(k)}$ হল n-তম কণার সেরা অবস্থান এবং $p_{best}^{(k)}$ হল বৈশ্বিক সেরা অবস্থান।

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

বহু-সময়-স্কেল স্নায়ুবিজ্ঞান গতিশীলতা: বিভিন্ন সময় ধ্রুবক $\epsilon_1, \epsilon_2, \epsilon_3$ ব্যবহার করে ফ্যাক্টর ম্যাট্রিক্সগুলিকে বিভিন্ন গতিতে আপডেট করার অনুমতি দেয়
হেসিয়ান প্রি-কন্ডিশনিং: $P_A^{-1}$ এর মতো প্রি-কন্ডিশনিং ম্যাট্রিক্সের মাধ্যমে সংগতি ত্বরান্বিত করে
ওয়েভলেট মিউটেশন মেকানিজম: যখন কণা বৈচিত্র্য খুব কম থাকে তখন গ্যাবর ওয়েভলেট ফাংশন ব্যবহার করে অনুসন্ধান ক্ষমতা বৃদ্ধি করে
লগারিদমিক বাধা পদ্ধতি: সীমাবদ্ধ অপ্টিমাইজেশনকে সীমাহীন অপ্টিমাইজেশনে রূপান্তরের একটি বিকল্প প্রদান করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

সিন্থেটিক ডেটাসেট:
- কঠিন টেন্সর: 9×9×9, র‍্যাঙ্ক R=10-16
- উচ্চ সহরেখীয় টেন্সর: 20×20×20, র‍্যাঙ্ক R=10
- বড় আকারের টেন্সর: 70×70×70, র‍্যাঙ্ক R=75
বাস্তব ডেটাসেট:
- COIL20: 32×32×1440 ইমেজ ডেটাসেট
- YALE: 32×32×165 মুখ ডেটাসেট
- ORL: 32×32×400 মুখ ডেটাসেট
- হাইপারস্পেকট্রাল ইমেজ: Cuprite (120×120×180)、Urban (120×120×162)、Jasper Ridge (100×100×198)

মূল্যায়ন মেট্রিক্স

আপেক্ষিক ত্রুটি সংজ্ঞায়িত করা হয়: $\text{Relative error} = \frac{\|\mathcal{X} - \llbracket A^{(1)}, A^{(2)}, A^{(3)} \rrbracket\|_F}{\|\mathcal{X}\|_F}$

তুলনামূলক পদ্ধতি

HALS (Hierarchical Alternating Least Squares)
MUR (Multiplicative Updating Rules)
CCG, CGP, BFGSP, GradP এবং অন্যান্য অপ্টিমাইজেশন পদ্ধতি
ANLS (Alternating Nonnegative Least Squares)
Proco-ALS

বাস্তবায়ন বিবরণ

PSO প্যারামিটার: α=0.5, β₁=β₂=0.01
বৈচিত্র্য থ্রেশহোল্ড δ ওয়েভলেট মিউটেশন ট্রিগার করতে ব্যবহৃত হয়
ধাপের আকার নির্ধারণের জন্য ব্যাকট্র্যাকিং লাইন সার্চ ব্যবহার করা হয়
জনসংখ্যার আকার q=5-30 (পরীক্ষার প্রয়োজন অনুযায়ী সামঞ্জস্য করা হয়)

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

১. কঠিন টেন্সর বিয়োজন

9×9×9, র‍্যাঙ্ক R=10 এর টেন্সরে, CNO-CPD 600 পুনরাবৃত্তির মধ্যে 10⁻⁶ এর আপেক্ষিক ত্রুটিতে পৌঁছায়, সমস্ত বেসলাইন পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে ভাল। ANLS পদ্ধতি একাধিক পরীক্ষায় ব্যর্থ হয়, যখন CNO-CPD স্থিরভাবে কাজ করে।

२. উচ্চ সহরেখীয় টেন্সর

উচ্চ সহরেখীয় ফ্যাক্টর ম্যাট্রিক্স (μ≥0.96) সহ টেন্সরের জন্য:

কেস I (একটি উচ্চ সহরেখীয় ফ্যাক্টর ম্যাট্রিক্স): CNO-CPD 200 পুনরাবৃত্তির মধ্যে 10⁻⁶ ত্রুটিতে সংগতিশীল হয়
কেস II (দুটি উচ্চ সহরেখীয় ফ্যাক্টর ম্যাট্রিক্স): CNO-CPD একইভাবে চমৎকার কর্মক্ষমতা প্রদর্শন করে, বেসলাইন পদ্ধতিগুলি ধীরে ধীরে সংগতিশীল হয়

३. বড় আকারের টেন্সর

70×70×70, র‍্যাঙ্ক R=75 এর টেন্সরে, BFGSP এবং Proco-ALS পদ্ধতি ব্যর্থ হয়, যখন CNO-CPD সফলভাবে সংগতিশীল হয় এবং অন্যান্য পদ্ধতির চেয়ে ভাল।

४. বাস্তব ডেটাসেট কর্মক্ষমতা

COIL20, YALE, ORL: CNO-CPD সমস্ত ডেটাসেটে কম উদ্দেশ্য ফাংশন মান অর্জন করে
হাইপারস্পেকট্রাল ইমেজ: Cuprite, Urban এবং Jasper Ridge ডেটাসেটে, CNO-CPD দ্রুত সংগতির গতি প্রদর্শন করে

অ্যাবলেশন পরীক্ষা

জনসংখ্যার আকারের প্রভাব: জনসংখ্যার আকার 5 থেকে 30 এ বৃদ্ধির সাথে সাথে আপেক্ষিক ত্রুটি উল্লেখযোগ্যভাবে হ্রাস পায়, সহযোগী প্রক্রিয়ার কার্যকারিতা প্রমাণ করে
বিচ্ছিন্ন বনাম ক্রমাগত: অর্ধ-অন্তর্নিহিত বিচ্ছিন্ন পদ্ধতি সম্পূর্ণ স্পষ্ট এবং ঘন নিয়মিতকরণ পদ্ধতির চেয়ে ভাল কাজ করে
ক্লাসিক্যাল ODE বনাম লগারিদমিক বাধা: ক্লাসিক্যাল ODE সূত্র লগারিদমিক বাধা পদ্ধতির চেয়ে উচ্চতর

কেস বিশ্লেষণ

t-SNE ভিজুয়ালাইজেশনের মাধ্যমে দেখা যায় যে CNO-CPD দ্বারা নিষ্কাশিত ফ্যাক্টর ম্যাট্রিক্সগুলি ক্লাস্টারিং কাজের জন্য কার্যকরভাবে ব্যবহার করা যায়, COIL20, ORL এবং YALE ডেটাসেটে ভাল ক্লাস্টারিং কাঠামো প্রদর্শন করে।

গণনামূলক দক্ষতা

যদিও CNO-CPD এর একক পুনরাবৃত্তির জটিলতা বেশি (পুনরায় শুরু এবং ODE সমাধানকারীর কারণে), উচ্চ সহরেখীয় টেন্সরের জন্য, CNO-CPD 20 সেকেন্ডের মধ্যে 10⁻⁴ নির্ভুলতায় পৌঁছায়, যখন HALS 10⁻¹ নির্ভুলতায় পৌঁছাতে 100 সেকেন্ড প্রয়োজন।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

CNO-CPD অ-নেতিবাচক টেন্সর বিয়োজন সমস্যা কার্যকরভাবে সমাধান করতে পারে, বিশেষত উচ্চ সহরেখীয় কঠিন টেন্সরের জন্য উপযুক্ত
তাত্ত্বিক বিশ্লেষণ অ্যালগরিদমের বৈশ্বিক সংগতি প্রমাণ করে
পরীক্ষামূলক ফলাফল একাধিক ডেটাসেটে পদ্ধতির উচ্চতর কর্মক্ষমতা যাচাই করে

সীমাবদ্ধতা

গণনামূলক জটিলতা: ঐতিহ্যবাহী পদ্ধতির তুলনায়, একক পুনরাবৃত্তির গণনামূলক জটিলতা বেশি
প্যারামিটার সামঞ্জস্য: একাধিক PSO প্যারামিটার সামঞ্জস্য করতে হবে, ব্যবহারের জটিলতা বৃদ্ধি করে
স্কেলেবিলিটি: অতি বড় আকারের টেন্সর পরিচালনার ক্ষমতা আরও যাচাইকরণের প্রয়োজন

গভীর মূল্যায়ন

সুবিধা

তাত্ত্বিক সম্পূর্ণতা: ক্রমাগত এবং বিচ্ছিন্ন মডেলের সম্পূর্ণ সংগতি এবং স্থিতিশীলতা বিশ্লেষণ প্রদান করে
পদ্ধতির নতুনত্ব: প্রথমবারের মতো সিস্টেমেটিকভাবে সহযোগী স্নায়ুবিজ্ঞান গতিশীলতা টেন্সর বিয়োজনে প্রয়োগ করে
পরীক্ষার পর্যাপ্ততা: সিন্থেটিক এবং বাস্তব ডেটাসেটে ব্যাপক পরীক্ষামূলক যাচাইকরণ পরিচালিত হয়েছে
ব্যবহারিক মূল্য: উচ্চ সহরেখীয় কঠিন টেন্সর বিয়োজন সমস্যা পরিচালনার জন্য বিশেষভাবে উপযুক্ত

অপূর্ণতা

গণনামূলক দক্ষতা: ঐতিহ্যবাহী পদ্ধতির তুলনায়, একক পুনরাবৃত্তির গণনামূলক জটিলতা বেশি
প্যারামিটার টিউনিং: একাধিক PSO প্যারামিটার সামঞ্জস্য করতে হবে, ব্যবহারের জটিলতা বৃদ্ধি করে
স্কেলেবিলিটি: অতি বড় আকারের টেন্সর পরিচালনার ক্ষমতা আরও যাচাইকরণের প্রয়োজন

প্রভাব

একাডেমিক অবদান: টেন্সর বিয়োজন ক্ষেত্রে নতুন অপ্টিমাইজেশন প্যারাডাইম প্রবর্তন করে
প্রয়োগের সম্ভাবনা: মেশিন লার্নিং, সংকেত প্রক্রিয়াকরণ এবং ডেটা মাইনিং ইত্যাদি ক্ষেত্রে ব্যাপক প্রয়োগের সম্ভাবনা রয়েছে
পুনরুৎপাদনযোগ্যতা: লেখক কোড বাস্তবায়ন প্রদান করেছেন, পুনরুৎপাদন এবং আরও গবেষণা সহজ করে

প্রযোজ্য পরিস্থিতি

উচ্চ সহরেখীয় ফ্যাক্টর ম্যাট্রিক্সের টেন্সর বিয়োজন
বৈশ্বিক অপ্টিমাইজেশন প্রয়োজন এমন অ-নেতিবাচক টেন্সর বিয়োজন সমস্যা
বিয়োজন গুণমানের উচ্চ প্রয়োজনীয়তা সহ প্রয়োগ পরিস্থিতি (যেমন হাইপারস্পেকট্রাল ইমেজ প্রক্রিয়াকরণ, ক্লাস্টারিং বিশ্লেষণ ইত্যাদি)

রেফারেন্স

এই পেপারটি 55টি সম্পর্কিত রেফারেন্স উদ্ধৃত করে, যা টেন্সর বিয়োজন, স্নায়ুবিজ্ঞান গতিশীলতা অপ্টিমাইজেশন, কণা ঝাঁক অপ্টিমাইজেশন ইত্যাদি একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, এই গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের একাডেমিক পেপার, যা তাত্ত্বিক উদ্ভাবন, পদ্ধতির সম্পূর্ণতা এবং পরীক্ষামূলক যাচাইকরণের ক্ষেত্রে চমৎকার কর্মক্ষমতা প্রদর্শন করে। যদিও গণনামূলক দক্ষতার ক্ষেত্রে নির্দিষ্ট সীমাবদ্ধতা রয়েছে, কঠিন টেন্সর বিয়োজন সমস্যা সমাধানে এর সুবিধা এটিকে গুরুত্বপূর্ণ একাডেমিক মূল্য এবং প্রয়োগের সম্ভাবনা প্রদান করে।