2025-11-20T07:28:15.314096

Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications

Seifert, Günlü, Schaefer
The application of deep learning to the area of communications systems has been a growing field of interest in recent years. Forward-forward (FF) learning is an efficient alternative to the backpropagation (BP) algorithm, which is the typically used training procedure for neural networks. Among its several advantages, FF learning does not require the communication channel to be differentiable and does not rely on the global availability of partial derivatives, allowing for an energy-efficient implementation. In this work, we design end-to-end learned autoencoders using the FF algorithm and numerically evaluate their performance for the additive white Gaussian noise and Rayleigh block fading channels. We demonstrate their competitiveness with BP-trained systems in the case of joint coding and modulation, and in a scenario where a fixed, non-differentiable modulation stage is applied. Moreover, we provide further insights into the design principles of the FF network, its training convergence behavior, and significant memory and processing time savings compared to BP-based approaches.
academic

ऊर्जा-कुशल वायरलेस संचार के लिए फॉरवर्ड-फॉरवर्ड ऑटोएनकोडर आर्किटेक्चर

मूल जानकारी

  • पेपर ID: 2510.11418
  • शीर्षक: Forward-Forward Autoencoder Architectures for Energy-Efficient Wireless Communications
  • लेखक: Daniel Seifert, Onur Günlü, Rafael F. Schaefer
  • वर्गीकरण: cs.IT cs.LG math.IT
  • प्रकाशन तिथि: 13 अक्टूबर 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.11418

सारांश

गहन शिक्षा का संचार प्रणालियों के क्षेत्र में अनुप्रयोग हाल के वर्षों में व्यापक ध्यान आकर्षित कर रहा है। फॉरवर्ड-फॉरवर्ड (FF) शिक्षा बैकप्रोपेगेशन (BP) एल्गोरिदम का एक कुशल विकल्प है, जो तंत्रिका नेटवर्क का विशिष्ट प्रशिक्षण प्रक्रिया है। FF शिक्षा के कई लाभों में शामिल हैं: संचार चैनल की अवकलनीयता की आवश्यकता नहीं, आंशिक अवकलज की वैश्विक उपलब्धता पर निर्भरता नहीं, जिससे ऊर्जा-कुशल कार्यान्वयन संभव होता है। यह अनुसंधान FF एल्गोरिदम का उपयोग करके अंत-से-अंत शिक्षा ऑटोएनकोडर डिज़ाइन करता है और योगात्मक श्वेत गाऊसी शोर तथा रेलीघ ब्लॉक क्षीणन चैनल के तहत इसके प्रदर्शन का संख्यात्मक मूल्यांकन करता है। अनुसंधान संयुक्त कोडिंग मॉड्यूलेशन परिदृश्य और निश्चित अविकलनीय मॉड्यूलेशन चरण अनुप्रयोग परिदृश्य में BP प्रशिक्षण प्रणालियों के साथ इसकी प्रतिस्पर्धिता को प्रदर्शित करता है। इसके अतिरिक्त, FF नेटवर्क डिज़ाइन सिद्धांतों, प्रशिक्षण अभिसरण व्यवहार और BP विधि की तुलना में स्मृति और प्रसंस्करण समय में महत्वपूर्ण बचत के बारे में गहन अंतर्दृष्टि प्रदान की जाती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

1. समाधान की जाने वाली समस्याएं

पारंपरिक बैकप्रोपेगेशन एल्गोरिदम संचार प्रणालियों में तीन मुख्य समस्याएं प्रस्तुत करता है:

  • अवकलनीय पथ की आवश्यकता: BP को संपूर्ण तंत्रिका नेटवर्क के माध्यम से पूर्ण अवकलनीय पथ की आवश्यकता होती है, जबकि वास्तविक चैनल अक्सर अविकलनीय होते हैं
  • स्मृति और ऊर्जा दक्षता कम: प्रत्येक नोड के आंशिक अवकलज को संग्रहीत करने की आवश्यकता होती है, जिससे उच्च स्मृति खपत और ऊर्जा व्यय होता है
  • लॉकिंग तंत्र: पश्चगामी लॉकिंग मौजूद है, सभी परतों को बाद की परतों के ग्रेडिएंट गणना पूरी होने का इंतजार करना पड़ता है

2. समस्या की महत्ता

संचार प्रणालियों में गहन शिक्षा विधियों को तैनात करना व्यावहारिक चुनौतियों का सामना करता है, विशेष रूप से संसाधन-सीमित किनारे उपकरणों पर। पारंपरिक BP एल्गोरिदम की सीमाएं वास्तविक संचार प्रणालियों में तंत्रिका नेटवर्क के कुशल कार्यान्वयन में बाधा डालती हैं।

3. मौजूदा विधियों की सीमाएं

  • सुदृढ़ीकरण शिक्षा विधियां: प्रेषक ग्रेडिएंट का अनुमान लगाने के लिए अतिरिक्त शोर-मुक्त प्रतिक्रिया लिंक की आवश्यकता होती है
  • जनरेटिव एडवर्सेरियल नेटवर्क/विसरण मॉडल: हालांकि अवकलनीय हैं लेकिन कम्प्यूटेशनल जटिलता अधिक है
  • सीधे-माध्यम अनुमानक (STE): परिमाणीकरण परिदृश्य में प्रदर्शन में महत्वपूर्ण गिरावट

4. अनुसंधान प्रेरणा

FF एल्गोरिदम निम्नलिखित लाभ प्रदान करता है, जो इसे संचार प्रणालियों के लिए विशेष रूप से उपयुक्त बनाता है:

  • अवकलनीय चैनल की आवश्यकता नहीं
  • पूर्ण एनालॉग, कम-शक्ति सर्किट कार्यान्वयन संभव
  • पाइपलाइन प्रशिक्षण प्रक्रिया की अनुमति देता है
  • स्मृति उपयोग में महत्वपूर्ण कमी

मुख्य योगदान

  1. FF एल्गोरिदम पर आधारित अंत-से-अंत ऑटोएनकोडर आर्किटेक्चर प्रस्तावित किया, जो वायरलेस संचार प्रणालियों के लिए विशेष रूप से डिज़ाइन किया गया है
  2. विपरीत इनपुट डेटा जनरेशन रणनीति डिज़ाइन की, जिसमें सकारात्मक नमूने, नकारात्मक नमूने और तटस्थ नमूनों के निर्माण विधि शामिल हैं
  3. AWGN और रेलीघ ब्लॉक क्षीणन चैनल पर प्रतिस्पर्धी प्रदर्शन सत्यापित किया, विशेष रूप से अविकलनीय परिदृश्यों में लाभ
  4. नेटवर्क डिज़ाइन सिद्धांतों का गहन विश्लेषण प्रदान किया, जिसमें नेटवर्क गहराई, चौड़ाई का प्रदर्शन पर प्रभाव शामिल है
  5. स्मृति और प्रसंस्करण समय में महत्वपूर्ण बचत को परिमाणित किया, FF एल्गोरिदम के व्यावहारिक लाभों को प्रमाणित किया

विधि विवरण

कार्य परिभाषा

संदेश m∈M={0,…,2k−1}m \in \mathcal{M} = \{0, \ldots, 2^k-1\} दिया गया है, ऑटोएनकोडर को निम्नलिखित करने की आवश्यकता है:

  1. k-बिट संदेश को n-आयामी कोडवर्ड में एन्कोड करना
  2. शोर चैनल के माध्यम से प्रसारित करना
  3. प्राप्त अंत पर मूल संदेश को सही ढंग से डिकोड करना
  4. अनुकूलन लक्ष्य ब्लॉक त्रुटि दर (BLER) को कम करना है

मॉडल आर्किटेक्चर

समग्र आर्किटेक्चर डिज़ाइन

चित्र 1 में दिखाए गए अनुसार, FF ऑटोएनकोडर में शामिल हैं:

  • एनकोडर: L पूर्ण-संयोजित परतें, आउटपुट सामान्यीकरण/परिमाणीकरण के साथ
  • चैनल: AWGN या रेलीघ ब्लॉक क्षीणन चैनल
  • डिकोडर: K पूर्ण-संयोजित परतें
  • वर्गीकरणकर्ता: एकल परत वर्गीकरणकर्ता, softmax संभावना आउटपुट

विपरीत इनपुट डेटा निर्माण

FF एल्गोरिदम का मुख्य नवाचार विपरीत इनपुट डेटा का डिज़ाइन है:

  • सकारात्मक नमूने: v=(1m∣∣1m)v = (1_m || 1_m) (वास्तविक लेबल प्रतिलिपि)
  • नकारात्मक नमूने: v=(1m∣∣1mˉ)v = (1_m || 1_{\bar{m}}) (वास्तविक लेबल + यादृच्छिक गलत लेबल)
  • तटस्थ नमूने: v=(1m∣∣0)v = (1_m || 0) (अनुमान के लिए)

जहां 1m1_m संदेश m का वन-हॉट एन्कोडिंग दर्शाता है, ∣∣|| संयोजन ऑपरेशन दर्शाता है।

प्रशिक्षण एल्गोरिदम

प्रत्येक परत का अनुकूलन "अच्छाई" मेट्रिक gi=∣∣ai∣∣22g_i = ||a_i||_2^2 पर आधारित है, हानि फ़ंक्शन को इस प्रकार परिभाषित किया गया है:

\zeta(-(g_i - \tau_i)) & \text{सकारात्मक नमूने} \\ \zeta(g_i - \tau_i) & \text{नकारात्मक नमूने} \end{cases}$$ जहां $\zeta(x) = \log(1 + e^x)$ softplus फ़ंक्शन है, $\tau_i$ थ्रेसहोल्ड है। #### वर्गीकरणकर्ता प्रशिक्षण स्वतंत्र वर्गीकरणकर्ता $c_\kappa(\cdot)$ डिकोडर गतिविधि को मूल संदेश में मैप करना सीखता है, क्रॉस-एंट्रॉपी हानि का उपयोग करके प्रशिक्षित किया जाता है। ### तकनीकी नवाचार बिंदु 1. **वैश्विक ग्रेडिएंट की आवश्यकता नहीं**: प्रत्येक परत स्वतंत्र अनुकूलन, पश्चगामी लॉकिंग को तोड़ता है 2. **अविकलनीय संचालन को संभालना**: परिमाणीकरण जैसे अविकलनीय संचालन को स्वाभाविक रूप से समर्थन करता है 3. **विपरीत शिक्षा तंत्र**: सकारात्मक और नकारात्मक नमूनों के विपरीत के माध्यम से प्रभावी प्रतिनिधित्व सीखना 4. **अलग वर्गीकरणकर्ता**: प्रतिनिधित्व शिक्षा और वर्गीकरण कार्य को अलग करता है ## प्रयोगात्मक सेटअप ### चैनल मॉडल वास्तविक-मूल्यवान रेलीघ ब्लॉक क्षीणन (RBF) चैनल पर विचार करें: $$Y_i = HX_i + N_i$$ जहां: - $N_i \sim \mathcal{N}(0, \sigma^2)$, $\sigma^2 = (2RE_b/N_0)^{-1}$ - $H$ रेलीघ वितरण का पालन करता है (क्षीणन गुणांक आयाम) - $E_b/N_0$ प्रति बिट ऊर्जा और शोर शक्ति वर्णक्रमीय घनत्व अनुपात (SNR) है ### प्रयोगात्मक पैरामीटर - **कोड दर**: $R = k/n = 4/7$ - **प्रशिक्षण SNR**: $E_b/N_0 = 5$ dB - **नेटवर्क संरचना**: इष्टतम कॉन्फ़िगरेशन $L = K = 4$, $W = 80$ है ### तुलनात्मक विधियां 1. **BP ऑटोएनकोडर**: शास्त्रीय बैकप्रोपेगेशन प्रशिक्षण 2. **BP-RL ऑटोएनकोडर**: सुदृढ़ीकरण शिक्षा पर आधारित मॉडल-मुक्त प्रशिक्षण 3. **FF ऑटोएनकोडर**: इस पेपर द्वारा प्रस्तावित फॉरवर्ड-फॉरवर्ड प्रशिक्षण ### मूल्यांकन मेट्रिक्स - **ब्लॉक त्रुटि दर (BLER)**: $P_e = \Pr(\hat{m} \neq m)$ - **अभिसरण गति**: लक्ष्य प्रदर्शन तक पहुंचने के लिए आवश्यक प्रशिक्षण पुनरावृत्तियां - **स्मृति उपयोग**: ग्रेडिएंट भंडारण आवश्यकता - **प्रसंस्करण समय**: प्रशिक्षण समय जटिलता ## प्रयोगात्मक परिणाम ### मुख्य परिणाम #### संयुक्त कोडिंग मॉड्यूलेशन परिदृश्य निरंतर आउटपुट के साथ ऑटोएनकोडर में (चित्र 2): - **AWGN चैनल**: FF प्रदर्शन BP और BP-RL के करीब है, लेकिन उच्च SNR क्षेत्र में लगभग 1dB का प्रदर्शन अंतर है - **RBF चैनल**: FF अन्य विधियों के साथ प्रतिस्पर्धा करने में सक्षम है, चैनल व्यवधान के प्रति मजबूती प्रदर्शित करता है #### परिमाणीकृत एनकोडर आउटपुट परिदृश्य BPSK परिमाणीकरण परिदृश्य में (चित्र 3): - **FF एल्गोरिदम लाभ स्पष्ट**: मूल प्रदर्शन बनाए रखता है, जबकि BP और BP-RL प्रदर्शन में महत्वपूर्ण गिरावट - **RBF चैनल**: FF BP विधि से आगे निकल जाता है, BP-RL लगभग अंतर को बंद कर देता है - STE सन्निकटन की अपर्याप्तता को प्रमाणित करता है ### नेटवर्क क्षमता विश्लेषण तालिका I विभिन्न नेटवर्क आकारों का BLER प्रदर्शन दिखाती है: - FF नेटवर्क को अच्छे प्रदर्शन तक पहुंचने के लिए व्यापक परतों की आवश्यकता है ($W=80$ vs $W=16$) - एनकोडर जटिलता डिकोडर जटिलता की तुलना में अधिक महत्वपूर्ण है - इष्टतम कॉन्फ़िगरेशन: $L=K=4$, $W=80$ ### अभिसरण व्यवहार विश्लेषण चित्र 4 प्रशिक्षण अभिसरण वक्र प्रदर्शित करता है: - **निरंतर एनकोडर**: FF अभिसरण गति BP के समान है, BP-RL से स्पष्ट रूप से तेज़ - **परिमाणीकृत एनकोडर**: FF लक्ष्य हानि तक तेजी से पहुंचता है, अविकलनीय संचालन के प्रति लाभ दिखाता है ### हार्डवेयर जटिलता विश्लेषण #### प्रसंस्करण समय बचत N परत नेटवर्क के लिए: - **BP एल्गोरिदम**: 2N समय इकाइयों की आवश्यकता (आगे + पीछे) - **FF एल्गोरिदम**: केवल N+1 समय इकाइयों की आवश्यकता #### स्मृति बचत - **BP नेटवर्क**: 791 पैरामीटर के ग्रेडिएंट को संग्रहीत करने की आवश्यकता - **FF नेटवर्क**: ग्रेडिएंट संग्रहीत करने की आवश्यकता नहीं, सीधे गणना और खपत ## संबंधित कार्य ### आगे की ओर शिक्षा एल्गोरिदम 1. **हेबियन शिक्षा**: तंत्रिका प्लास्टिसिटी नियमों पर आधारित, प्रतिक्रिया संकेत की आवश्यकता नहीं 2. **Sigprop एल्गोरिदम**: समानांतर प्रसार शिक्षा संकेत, डेटा और लेबल के अलग प्रतिनिधित्व की आवश्यकता 3. **FF एल्गोरिदम**: दो आगे की ओर प्रसार और अच्छाई मेट्रिक के माध्यम से परत-दर-परत प्रशिक्षण ### संचार प्रणालियों में गहन शिक्षा 1. **अंत-से-अंत शिक्षा**: संचार प्रणाली प्रदर्शन को सीधे अनुकूलित करना 2. **सुदृढ़ीकरण शिक्षा विधियां**: अविकलनीय चैनल को संभालना 3. **जनरेटिव मॉडल**: जटिल चैनल विशेषताओं को मॉडल करना ## निष्कर्ष और चर्चा ### मुख्य निष्कर्ष 1. **FF ऑटोएनकोडर प्रतिस्पर्धी है**: विभिन्न चैनल स्थितियों में प्रदर्शन BP विधि के करीब या बेहतर है 2. **अविकलनीय परिदृश्य में स्पष्ट लाभ**: परिमाणीकरण जैसे परिदृश्यों में उत्कृष्ट प्रदर्शन 3. **हार्डवेयर कार्यान्वयन के अनुकूल**: स्मृति और समय में महत्वपूर्ण बचत 4. **अच्छा अभिसरण प्रदर्शन**: प्रशिक्षण गति BP के समान या तेजी से ### सीमाएं 1. **नेटवर्क क्षमता आवश्यकता**: समान प्रदर्शन तक पहुंचने के लिए बड़े नेटवर्क की आवश्यकता 2. **हाइपरपैरामीटर संवेदनशीलता**: प्रशिक्षण प्रक्रिया हाइपरपैरामीटर सेटिंग के प्रति संवेदनशील है 3. **उच्च SNR प्रदर्शन अंतर**: कम शोर वातावरण में प्रदर्शन में मामूली गिरावट 4. **छोटी कोड लंबाई सीमा**: वर्तमान प्रयोग केवल छोटी कोड लंबाई परिदृश्य पर विचार करते हैं ### भविष्य की दिशाएं 1. **जटिल चैनल मॉडल**: अधिक जटिल अविकलनीय चैनलों तक विस्तार 2. **एल्गोरिदम सुधार**: अधिक परिष्कृत हानि फ़ंक्शन डिज़ाइन और परत सहयोग तकनीकें 3. **लंबी कोड लंबाई विस्तार**: कैस्केड कोड निर्माण योजना के माध्यम से लंबी कोड लंबाई तक विस्तार 4. **हार्डवेयर कार्यान्वयन**: वास्तविक एनालॉग हार्डवेयर कार्यान्वयन सत्यापन ## गहन मूल्यांकन ### शक्तियां 1. **विधि नवाचार मजबूत**: संचार प्रणालियों में FF एल्गोरिदम का पहला अनुप्रयोग, व्यावहारिक तैनाती में मुख्य समस्याओं को हल करता है 2. **प्रयोगात्मक डिज़ाइन पर्याप्त**: कई चैनल मॉडल और अनुप्रयोग परिदृश्य शामिल, तुलनात्मक विधियां व्यापक 3. **सैद्धांतिक विश्लेषण गहन**: नेटवर्क डिज़ाइन सिद्धांत और हार्डवेयर जटिलता का मात्रात्मक विश्लेषण प्रदान करता है 4. **व्यावहारिक मूल्य उच्च**: कम-शक्ति संचार उपकरणों के लिए व्यवहार्य गहन शिक्षा समाधान प्रदान करता है ### कमियां 1. **प्रदर्शन अंतर**: कुछ परिदृश्यों में BP विधि के साथ अभी भी प्रदर्शन अंतर मौजूद है 2. **कोड लंबाई सीमा**: केवल छोटी कोड लंबाई (k=4,n=7) में सत्यापित, व्यावहारिक अनुप्रयोग में लंबी कोड लंबाई की आवश्यकता 3. **हाइपरपैरामीटर खोज अपर्याप्त**: व्यापक हाइपरपैरामीटर खोज नहीं की गई स्वीकार करता है, प्रदर्शन मूल्यांकन को प्रभावित कर सकता है 4. **सैद्धांतिक विश्लेषण की कमी**: FF एल्गोरिदम अभिसरण और इष्टतमता के लिए सैद्धांतिक गारंटी की कमी ### प्रभाव 1. **शैक्षणिक योगदान**: संचार प्रणालियों में गहन शिक्षा के लिए नई प्रशिक्षण प्रतिमा प्रदान करता है 2. **व्यावहारिक मूल्य**: संसाधन-सीमित उपकरणों पर तंत्रिका कोडिंग के लिए व्यवहार्य समाधान प्रदान करता है 3. **प्रेरणा महत्व**: संचार क्षेत्र में अधिक आगे की ओर शिक्षा एल्गोरिदम के अनुप्रयोग को प्रोत्साहित कर सकता है 4. **पुनरुत्पादनीयता**: विस्तृत हाइपरपैरामीटर सेटिंग प्रदान करता है, पुनरुत्पादन में सुविधा ### लागू परिदृश्य 1. **किनारे कंप्यूटिंग उपकरण**: स्मृति और कंप्यूटिंग संसाधन-सीमित संचार उपकरण 2. **अविकलनीय प्रणाली**: परिमाणीकरण, मॉड्यूलेशन आदि अविकलनीय संचालन वाली संचार प्रणाली 3. **कम-शक्ति अनुप्रयोग**: ऊर्जा-संवेदनशील IoT और सेंसर नेटवर्क 4. **वास्तविक समय संचार**: चैनल परिवर्तन के तेजी से अनुकूलन की आवश्यकता वाली गतिशील प्रणाली ## संदर्भ 1. Hinton, G. "The forward-forward algorithm: Some preliminary investigations." arXiv:2212.13345 (2022) 2. O'Shea, T. & Hoydis, J. "An introduction to deep learning for the physical layer." IEEE Trans. Cogn. Commun. Netw. 3.4 (2017): 563-575 3. Aoudia, F. A. & Hoydis, J. "Model-free training of end-to-end communication systems." IEEE J. Sel. Areas Commun. 37.11 (2019): 2503-2516 --- **सारांश**: यह पेपर संचार प्रणाली गहन शिक्षा क्षेत्र में महत्वपूर्ण योगदान देता है, FF एल्गोरिदम की शुरुआत के माध्यम से पारंपरिक BP विधि की व्यावहारिक तैनाती में मुख्य समस्याओं को हल करता है। हालांकि कुछ प्रदर्शन संकेतकों में सुधार की गुंजाइश है, लेकिन अविकलनीय परिदृश्य में इसके लाभ और हार्डवेयर-अनुकूल प्रकृति इसे महत्वपूर्ण व्यावहारिक मूल्य और शैक्षणिक महत्व प्रदान करती है।