গভীর নিউরাল নেটওয়ার্ক আর্কিটেকচারে সমতা প্রচার স্কেলিং

মৌলিক তথ্য

• পেপার আইডি: 2509.26003
• শিরোনাম: Scaling Equilibrium Propagation to Deeper Neural Network Architectures
• লেখক: Sankar Vinayak E P (IIT Madras), Gopalakrishnan Srinivasan (IIT Madras)
• শ্রেণীবিভাগ: cs.NE (নিউরাল এবং বিবর্তনীয় কম্পিউটিং), cs.LG (মেশিন লার্নিং)
• প্রকাশনার সময়: ২০২৫ সালের ১৩ অক্টোবর (arXiv v2)
• পেপার লিঙ্ক: https://arxiv.org/abs/2509.26003

সারসংক্ষেপ

সমতা প্রচার (Equilibrium Propagation) পশ্চাৎপ্রচার অ্যালগরিদমের জৈবিক দৃষ্টিকোণ থেকে যুক্তিসঙ্গত বিকল্প হিসাবে প্রস্তাবিত হয়েছে। এর গ্রেডিয়েন্ট গণনার স্থানীয় প্রকৃতি, একত্রিত RNN ব্যবহার করে সমতা অবস্থায় পৌঁছানোর সাথে, এই পদ্ধতিটিকে নিউরোমরফিক হার্ডওয়্যারে বাস্তবায়নের জন্য অত্যন্ত উপযুক্ত করে তোলে। তবে, সমতা প্রচার সম্পর্কে পূর্ববর্তী গবেষণা শুধুমাত্র ঘন স্তর বা তুলনামূলকভাবে ছোট আর্কিটেকচার সম্বলিত নেটওয়ার্কের মধ্যে সীমাবদ্ধ ছিল, যা পশ্চাৎপ্রচার ব্যবহার করে প্রশিক্ষিত অনুরূপ আকারের ফিডফরওয়ার্ড নেটওয়ার্কের তুলনায় উল্লেখযোগ্য নির্ভুলতার ব্যবধান প্রদর্শন করে। এই কাজটি Hopfield-Resnet আর্কিটেকচার প্রবর্তন করে, যা Hopfield নেটওয়ার্কে অবশিষ্ট সংযোগ একীভূত করে এবং ক্লিপড ReLU কে সক্রিয়করণ ফাংশন হিসাবে ব্যবহার করে। প্রস্তাবিত আর্কিটেকচার বর্ধন নেটওয়ার্ককে পূর্ববর্তী কাজে রিপোর্ট করা স্তরের সংখ্যার প্রায় দ্বিগুণ প্রশিক্ষণ দিতে সক্ষম করে। উদাহরণস্বরূপ, Hopfield-Resnet13 CIFAR-10 এ 93.92% নির্ভুলতা অর্জন করে, যা পূর্ববর্তী সেরা ফলাফলের চেয়ে প্রায় 3.5% বেশি এবং পশ্চাৎপ্রচার ব্যবহার করে প্রশিক্ষিত Resnet13 এর কর্মক্ষমতার সাথে সমতুল্য।

গবেষণার পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই গবেষণা যে মূল সমস্যা সমাধান করে তা হল গভীর নিউরাল নেটওয়ার্কে সমতা প্রচার (EP) পদ্ধতির স্কেলেবিলিটি সমস্যা। এটি নির্দিষ্টভাবে প্রকাশ পায়:

1. গভীরতার সীমাবদ্ধতা: বিদ্যমান EP পদ্ধতি শুধুমাত্র অগভীর নেটওয়ার্ক (≤6 স্তর) কার্যকরভাবে প্রশিক্ষণ দিতে পারে
2. কর্মক্ষমতার ব্যবধান: EP-প্রশিক্ষিত নেটওয়ার্ক এবং পশ্চাৎপ্রচার-প্রশিক্ষিত একই আকারের নেটওয়ার্কের মধ্যে উল্লেখযোগ্য কর্মক্ষমতা পার্থক্য রয়েছে
3. জৈবিক যুক্তিসঙ্গততার প্রয়োজন: EP পদ্ধতির জৈবিক যুক্তিসঙ্গততার সুবিধা বজায় রাখা প্রয়োজন

গুরুত্ব বিশ্লেষণ

এই সমস্যার গুরুত্ব প্রকাশ পায়:

1. জৈবিক যুক্তিসঙ্গততা: পশ্চাৎপ্রচার জৈবিকভাবে অযুক্তিসঙ্গত হিসাবে বিবেচিত হয়, কারণ এর গ্রেডিয়েন্ট গণনা অ-স্থানীয়
2. হার্ডওয়্যার অভিযোজনযোগ্যতা: EP পদ্ধতি নিউরোমরফিক হার্ডওয়্যার বাস্তবায়নের জন্য আরও উপযুক্ত, উচ্চতর শক্তি দক্ষতা সহ
3. অনলাইন শেখার সম্ভাবনা: EP ডিভাইস-এ শেখা সমর্থন করে, প্রান্ত কম্পিউটিং পরিস্থিতির জন্য উপযুক্ত

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

1. আর্কিটেকচার সীমাবদ্ধতা: পূর্ববর্তী গবেষণা VGG5 এর মতো ছোট নেটওয়ার্কের মধ্যে সীমাবদ্ধ
2. গ্রেডিয়েন্ট পক্ষপাত: তাত্ত্বিকভাবে অসীম ক্ষুদ্র nudging প্যারামিটার β প্রয়োজন, ব্যবহারিক প্রয়োগে পক্ষপাত প্রবর্তন করে
3. সংমিশ্রণ কঠিনতা: গভীর নেটওয়ার্ক স্থিতিশীল সমতা অবস্থায় পৌঁছাতে অসুবিধা পায়
4. সক্রিয়করণ ফাংশন সীমাবদ্ধতা: বিদ্যমান সক্রিয়করণ ফাংশন গভীর নেটওয়ার্কে দুর্বলভাবে কাজ করে

মূল অবদান

1. ক্লিপড ReLU সক্রিয়করণ ফাংশন প্রস্তাব: শক্তি ফাংশন এবং গ্রেডিয়েন্ট গণনা সরলীকরণ, গভীর নেটওয়ার্ক প্রশিক্ষণ স্থিতিশীলতা উন্নত করে
2. Hopfield-Resnet আর্কিটেকচার প্রবর্তন: অবশিষ্ট সংযোগের মাধ্যমে EP পদ্ধতি 12 স্তরের বেশি গভীর নেটওয়ার্ক সফলভাবে প্রশিক্ষণ দিতে সক্ষম করে
3. উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: CIFAR-10 এ 93.92% নির্ভুলতা অর্জন, পশ্চাৎপ্রচার কর্মক্ষমতার কাছাকাছি
4. বহু-ডেটাসেট যাচাইকরণ: CIFAR-10, CIFAR-100 এবং Fashion-MNIST এ পদ্ধতির কার্যকারিতা যাচাই করা হয়েছে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

এই পেপারটি চিত্র শ্রেণীবিভাগ কাজের জন্য সমতা প্রচার পদ্ধতি ব্যবহার করে গভীর কনভোলিউশনাল নিউরাল নেটওয়ার্ক প্রশিক্ষণ কীভাবে করতে হয় তা অধ্যয়ন করে। ইনপুট চিত্র x, আউটপুট শ্রেণী লেবেল y, সীমাবদ্ধতা হল EP পদ্ধতির জৈবিক যুক্তিসঙ্গততা এবং স্থানীয় গ্রেডিয়েন্ট গণনা বৈশিষ্ট্য বজায় রাখা।

সমতা প্রচার মৌলিক তত্ত্ব

EP পদ্ধতি স্ট্যাটিক একত্রিত RNN এর উপর ভিত্তি করে, নেটওয়ার্ক অবস্থা বিবর্তন অনুসরণ করে:

s^(t+1) = ∂Φ(x, s^t, θ)/∂s

যেখানে Φ হল শক্তি ফাংশন, s হল নিউরন অবস্থা, θ হল নেটওয়ার্ক প্যারামিটার।

EP প্রশিক্ষণ দুটি পর্যায় অন্তর্ভুক্ত করে:

1. মুক্ত পর্যায়: শুধুমাত্র শক্তি ফাংশনের উপর ভিত্তি করে বিবর্তন
2. দুর্বল ক্ল্যাম্পিং পর্যায়: ক্ষতি ফাংশন গ্রেডিয়েন্টের সাথে সমানুপাতী বিঘ্ন পদ যোগ করা

গ্রেডিয়েন্ট গণনা সূত্র:

-∂L/∂θ = (1/β)[∂Φ(x, s^β*, θ)/∂θ - ∂Φ(x, s*, θ)/∂θ]

Hopfield-Resnet আর্কিটেকচার ডিজাইন

অবশিষ্ট সংযোগ একীকরণ

Hopfield-Resnet ব্লক তিনটি কনভোলিউশনাল অপারেশন অন্তর্ভুক্ত করে:

• প্রধান পথ: দুটি 3×3 কনভোলিউশন
• স্কিপ সংযোগ: একটি 1×1 কনভোলিউশন

নিউরন অবস্থা আপডেট সমীকরণ সংশোধিত হয়:

s^(t+1)_n = σ(∑[i∈pre(n)] P(w_i ⋆ s^t_i) + ∑[j∈post(n)] w̃_j ⋆ P^(-1)(s^t_j))

যেখানে pre(n) এবং post(n) অবস্থা n এর সাথে সরাসরি ইন্টারঅ্যাক্ট করে এমন সমস্ত পূর্ববর্তী এবং পরবর্তী অবস্থা প্রতিনিধিত্ব করে।

নেটওয়ার্ক আর্কিটেকচার বিবরণ

• 4টি Hopfield-Resnet ব্লক + 1টি সম্পূর্ণ সংযুক্ত স্তর
• মোট 13টি প্রশিক্ষণযোগ্য প্যারামিটার গ্রুপ (12টি কনভোলিউশনাল স্তর + 1টি সম্পূর্ণ সংযুক্ত স্তর)
• 9টি আপডেটযোগ্য নিউরন অবস্থা

ক্লিপড ReLU সক্রিয়করণ ফাংশন

ReLU_α সক্রিয়করণ ফাংশন প্রস্তাব করা হয়, যা আউটপুট 0, α পরিসরে সীমাবদ্ধ করে:

• শক্তি ফাংশন বিস্ফোরক বৃদ্ধি প্রতিরোধ করে
• পরীক্ষায় ReLU_6 (α=6) সর্বোত্তম কর্মক্ষমতা অর্জন করে
• ঐতিহ্যবাহী sigmoid/tanh ফাংশনের তুলনায়, গণনা আরও সহজ

কেন্দ্রীভূত সমতা প্রচার (CEP)

গ্রেডিয়েন্ট অনুমান পক্ষপাত হ্রাস করতে CEP অ্যালগরিদম গ্রহণ করা হয়:

-∂L/∂θ = (1/2β)[∂Φ(x, s^(+β)*, θ)/∂θ - ∂Φ(x, s^(-β)*, θ)/∂θ]

পরীক্ষামূলক সেটআপ

ডেটাসেট

• CIFAR-10: 32×32 রঙিন চিত্র, 10 শ্রেণী, 50,000 প্রশিক্ষণ নমুনা
• CIFAR-100: 32×32 রঙিন চিত্র, 100 শ্রেণী, 50,000 প্রশিক্ষণ নমুনা
• Fashion-MNIST: 28×28 গ্রেস্কেল চিত্র, 10 শ্রেণী, 60,000 প্রশিক্ষণ নমুনা

মূল্যায়ন মেট্রিক্স

পরীক্ষা সেট নির্ভুলতা প্রধান মূল্যায়ন মেট্রিক হিসাবে ব্যবহৃত হয়

তুলনামূলক পদ্ধতি

• বেসলাইন পদ্ধতি: VGG5 আর্কিটেকচারের গভীর কনভোলিউশনাল Hopfield নেটওয়ার্ক (DCHN)
• পশ্চাৎপ্রচার বেসলাইন: সংশ্লিষ্ট ফিডফরওয়ার্ড নেটওয়ার্ক আর্কিটেকচার

বাস্তবায়ন বিবরণ

• অপটিমাইজার: Nesterov ত্বরিত গ্রেডিয়েন্ট অপটিমাইজার
• Nudging প্যারামিটার β: অভিজ্ঞতামূলক সুর 0.1, 0.4 পরিসরে
• সময় ধাপ: মুক্ত পর্যায় 120 ধাপ, ক্ল্যাম্পিং পর্যায় প্রতিটি 50 ধাপ (±β)
• হার্ডওয়্যার: NVIDIA RTX 4090 এবং 6000 Ada GPU
• ফ্রেমওয়ার্ক: PyTorch

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

মূল আবিষ্কার

1. উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: CIFAR-10 এ পূর্ববর্তী সেরা ফলাফলের চেয়ে 3.5% বৃদ্ধি
2. পশ্চাৎপ্রচার কর্মক্ষমতার কাছাকাছি: Hopfield-Resnet13 CIFAR-10 এ পশ্চাৎপ্রচারের চেয়ে মাত্র 0.14% কম
3. গভীর নেটওয়ার্ক সফল প্রশিক্ষণ: 12 স্তরের বেশি EP নেটওয়ার্ক সফলভাবে প্রশিক্ষণের প্রথম উদাহরণ

অ্যাবলেশন পরীক্ষা

অবশিষ্ট সংযোগের গুরুত্ব

পরীক্ষা দেখায় যে অবশিষ্ট সংযোগ ছাড়া গভীর নেটওয়ার্ক প্রশিক্ষণ ক্ষতি স্থির থাকে, যখন অবশিষ্ট সংযোগ সহ নেটওয়ার্ক সফলভাবে সংমিশ্রিত হতে পারে।

সক্রিয়করণ ফাংশন তুলনা

• ReLU_6 সর্বোত্তম কর্মক্ষমতা প্রদর্শন করে
• ReLU_1 (hard-sigmoid) দ্বিতীয় সেরা কর্মক্ষমতা
• α∈0,10 এর র্যান্ডম ইনিশিয়ালাইজেশন সহ ReLU_α মধ্যম কর্মক্ষমতা

প্রশিক্ষণ সময় বিশ্লেষণ

• Hopfield-Resnet13 প্রশিক্ষণ 300 epoch এর জন্য 30 ঘন্টার বেশি প্রয়োজন
• বড় সময় GPU kernel লঞ্চ এবং CPU-GPU সিঙ্ক্রোনাইজেশনে ব্যয় হয়
• অপটিমাইজেশনের জন্য স্থান রয়েছে

মেমরি ব্যবহার

• CEP প্রশিক্ষণ মেমরি ব্যবহার পশ্চাৎপ্রচারের সাথে তুলনীয়
• Hopfield-Resnet13 (ব্যাচ আকার 128): 1612 MiB
• সংশ্লিষ্ট Resnet13: 1324 MiB

ওজন বিতরণ বিশ্লেষণ

CEP-প্রশিক্ষিত নেটওয়ার্ক ওজন বিতরণ বৈশিষ্ট্য:

1. ছোট ওজন মান: পরম মান এবং বৈচিত্র্য উভয়ই পশ্চাৎপ্রচার-প্রশিক্ষিত নেটওয়ার্কের চেয়ে ছোট
2. গভীর স্তর ওজন শূন্যের দিকে: গভীরতার সাথে, ওজন ধীরে ধীরে শূন্যের কাছাকাছি পৌঁছায়
3. অবশিষ্ট সংযোগ প্রশমন: স্কিপ সংযোগ স্তরের শূন্য-কাছাকাছি ওজনের অনুপাত উল্লেখযোগ্যভাবে হ্রাস পায়

সম্পর্কিত কাজ

জৈবিকভাবে যুক্তিসঙ্গত শেখার অ্যালগরিদম

• ফরওয়ার্ড প্রপাগেশন: পশ্চাৎপ্রচারের অ-স্থানীয়তা এড়ানো
• পূর্বাভাস কোডিং: মুক্ত শক্তি নীতির উপর ভিত্তি করে শেখা
• বৈপরীত্যমূলক Hebbian শেখা: EP এর তাত্ত্বিক ভিত্তি

সমতা প্রচার উন্নয়ন ইতিহাস

• মূল EP: Scellier & Bengio (2017) দ্বারা মৌলিক তত্ত্ব প্রস্তাব
• CEP: ±β ব্যবহার করে গ্রেডিয়েন্ট পক্ষপাত হ্রাস করা
• HEP: জটিল সমতলে একাধিক পয়েন্ট ব্যবহার করে পক্ষপাত আরও হ্রাস করা
• কনভোলিউশনাল সম্প্রসারণ: EP কে কনভোলিউশনাল নেটওয়ার্কে সম্প্রসারিত করা

হার্ডওয়্যার বাস্তবায়ন

স্মৃতিরোধক ক্রস-বার এবং অন্যান্য নিউরোমরফিক হার্ডওয়্যারে EP বাস্তবায়নের গবেষণা ইতিমধ্যে রয়েছে, যা ডিভাইস-এ শেখার সম্ভাবনা প্রদর্শন করে।

উপসংহার এবং আলোচনা

প্রধান সিদ্ধান্ত

1. প্রযুক্তিগত অগ্রগতি: প্রথমবারের মতো EP কে 13 স্তরের গভীর নেটওয়ার্কে সফলভাবে সম্প্রসারিত করা
2. কর্মক্ষমতা উন্নতি: একাধিক ডেটাসেটে পূর্ববর্তী EP পদ্ধতিকে উল্লেখযোগ্যভাবে অতিক্রম করা
3. আর্কিটেকচার উদ্ভাবন: অবশিষ্ট সংযোগ এবং ক্লিপড ReLU এর সমন্বয় গভীরতা সম্প্রসারণ সমস্যা কার্যকরভাবে সমাধান করে

সীমাবদ্ধতা

1. গণনা দক্ষতা: প্রশিক্ষণ সময় এখনও পশ্চাৎপ্রচারের চেয়ে উল্লেখযোগ্যভাবে দীর্ঘ
2. হার্ডওয়্যার নির্ভরতা: সম্পূর্ণ সুবিধা নিতে বিশেষভাবে অপটিমাইজড হার্ডওয়্যার প্রয়োজন
3. জটিল ডেটাসেটে কর্মক্ষমতা ব্যবধান: CIFAR-100 এর মতো জটিল ডেটাসেটে এখনও কর্মক্ষমতা ব্যবধান রয়েছে
4. গভীরতা সীমাবদ্ধতা: যদিও উন্নত হয়েছে তবুও আধুনিক গভীর নেটওয়ার্কের মতো নয়

ভবিষ্যত দিকনির্দেশনা

1. আধুনিক Hopfield নেটওয়ার্ক: ক্রম শেখার আধুনিক Hopfield নেটওয়ার্কের সাথে সংমিশ্রণ
2. হার্ডওয়্যার অপটিমাইজেশন: EP এর জন্য বিশেষভাবে অভিযোজিত নিউরোমরফিক হার্ডওয়্যার উন্নয়ন
3. অ্যালগরিদম অপটিমাইজেশন: প্রশিক্ষণ সময় আরও হ্রাস এবং দক্ষতা বৃদ্ধি
4. তাত্ত্বিক বিশ্লেষণ: EP এর অনন্য প্রশিক্ষণ প্রক্রিয়ার প্রকৃতি গভীরভাবে বোঝা

গভীর মূল্যায়ন

সুবিধা

1. গুরুত্বপূর্ণ অগ্রগতি: প্রথমবারের মতো EP কে গভীর নেটওয়ার্কে সম্প্রসারিত করা, দীর্ঘস্থায়ী স্কেলেবিলিটি সমস্যা সমাধান করা
2. ব্যবহারিক উদ্ভাবন: অবশিষ্ট সংযোগ এবং ক্লিপড ReLU এর সমন্বয় সহজ এবং কার্যকর
3. ব্যাপক যাচাইকরণ: একাধিক ডেটাসেটে পর্যাপ্ত পরীক্ষামূলক যাচাইকরণ
4. গভীর বিশ্লেষণ: ওজন বিতরণ ইত্যাদি গভীর বিশ্লেষণাত্মক অন্তর্দৃষ্টি প্রদান করা
5. ওপেন সোর্স কোড: সম্পূর্ণ বাস্তবায়ন কোড প্রদান, পুনরুৎপাদনযোগ্যতা বৃদ্ধি করা

অপূর্ণতা

1. গণনা দক্ষতা: প্রশিক্ষণ সময় অত্যধিক দীর্ঘ ব্যবহারিক প্রয়োগ সীমাবদ্ধ করে
2. অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: অবশিষ্ট সংযোগ কেন কার্যকর তার তাত্ত্বিক ব্যাখ্যার অভাব
3. ডেটাসেট সীমাবদ্ধতা: প্রধানত তুলনামূলকভাবে সহজ ডেটাসেটে যাচাইকরণ
4. হার্ডওয়্যার অপটিমাইজেশন অনুপস্থিত: বর্তমান GPU এর সমান্তরাল কম্পিউটিং ক্ষমতা সম্পূর্ণভাবে ব্যবহার করা হয়নি

প্রভাব

1. একাডেমিক অবদান: EP ক্ষেত্রে গুরুত্বপূর্ণ আর্কিটেকচার উদ্ভাবন প্রদান করা
2. ব্যবহারিক মূল্য: নিউরোমরফিক কম্পিউটিংয়ের জন্য আরও ব্যবহারিক গভীর শেখার পদ্ধতি প্রদান করা
3. গবেষণা অনুপ্রেরণা: পরবর্তী EP গভীর নেটওয়ার্ক গবেষণার জন্য ভিত্তি স্থাপন করা

প্রযোজ্য পরিস্থিতি

1. নিউরোমরফিক হার্ডওয়্যার: বিশেষভাবে নিউরোমরফিক চিপে বাস্তবায়নের জন্য উপযুক্ত
2. প্রান্ত কম্পিউটিং: অনলাইন শেখার প্রয়োজন এমন প্রান্ত ডিভাইসের জন্য উপযুক্ত
3. জৈব-অনুপ্রাণিত কম্পিউটিং: আরও জৈবিকভাবে যুক্তিসঙ্গত AI সিস্টেম নির্মাণের জন্য দিকনির্দেশনা প্রদান করা
4. কম-শক্তি প্রয়োগ: শক্তি দক্ষতার জন্য অত্যন্ত উচ্চ প্রয়োজনীয়তা সহ পরিস্থিতিতে সুবিধা রয়েছে

সংদর্ভ

1. Scellier, B. & Bengio, Y. (2017). Equilibrium propagation: Bridging the gap between energy-based models and backpropagation. Frontiers in Computational Neuroscience.
2. Laborieux, A. et al. (2021). Scaling equilibrium propagation to deep convnets by drastically reducing its gradient estimator bias. Frontiers in Neuroscience.
3. Laborieux, A. & Zenke, F. (2022). Holomorphic equilibrium propagation computes exact gradients through finite size oscillations. NeurIPS.
4. He, K. et al. (2016). Deep residual learning for image recognition. CVPR.

এই পেপারটি সমতা প্রচার গভীর নেটওয়ার্ক সম্প্রসারণে একটি গুরুত্বপূর্ণ অগ্রগতি অর্জন করেছে, চতুর আর্কিটেকচার ডিজাইনের মাধ্যমে EP পদ্ধতির ব্যবহারিকতা উল্লেখযোগ্যভাবে উন্নত করেছে, নিউরোমরফিক কম্পিউটিং এবং জৈব-অনুপ্রাণিত শেখার অ্যালগরিদমের উন্নয়নে মূল্যবান অবদান রেখেছে।