2025-11-16T20:04:19.781760

In-Context Learning for Non-Stationary MIMO Equalization

Jiang, Qin, Zhu
Channel equalization is fundamental for mitigating distortions such as frequency-selective fading and inter-symbol interference. Unlike standard supervised learning approaches that require costly retraining or fine-tuning for each new task, in-context learning (ICL) adapts to new channels at inference time with only a few examples. However, existing ICL-based equalizers are primarily developed for and evaluated on static channels within the context window. Indeed, to our knowledge, prior principled analyses and theoretical studies of ICL focus exclusively on the stationary setting, where the function remains fixed within the context. In this paper, we investigate the ability of ICL to address non-stationary problems through the lens of time-varying channel equalization. We employ a principled framework for designing efficient attention mechanisms with improved adaptivity in non-stationary tasks, leveraging algorithms from adaptive signal processing to guide better designs. For example, new attention variants can be derived from the Least Mean Square (LMS) adaptive algorithm, a Least Root Mean Square (LRMS) formulation for enhanced robustness, or multi-step gradient updates for improved long-term tracking. Experimental results demonstrate that ICL holds strong promise for non-stationary MIMO equalization, and that attention mechanisms inspired by classical adaptive algorithms can substantially enhance adaptability and performance in dynamic environments. Our findings may provide critical insights for developing next-generation wireless foundation models with stronger adaptability and robustness.
academic

गैर-स्थिर MIMO समानीकरण के लिए संदर्भ-में सीखना

मूल जानकारी

  • पेपर ID: 2510.08711
  • शीर्षक: In-Context Learning for Non-Stationary MIMO Equalization
  • लेखक: Jiachen Jiang¹, Zhen Qin²³⁴, Zhihui Zhu¹
    • ¹ओहियो स्टेट विश्वविद्यालय, कंप्यूटर विज्ञान और इंजीनियरिंग विभाग
    • ²³⁴मिशिगन विश्वविद्यालय, कंप्यूटेशनल खोज और इंजीनियरिंग संस्थान, विद्युत इंजीनियरिंग और कंप्यूटर विज्ञान विभाग, सांख्यिकी विभाग
  • वर्गीकरण: cs.LG cs.AI
  • प्रकाशन तिथि: 9 अक्टूबर 2025 को arXiv पर प्रस्तुत
  • पेपर लिंक: https://arxiv.org/abs/2510.08711

सारांश

चैनल समानीकरण आवृत्ति-चयनात्मक क्षीणन और प्रतीक अंतराल हस्तक्षेप जैसी विकृतियों को कम करने के लिए एक मौलिक तकनीक है। मानक पर्यवेक्षित सीखने के तरीकों के विपरीत जिन्हें प्रत्येक नए कार्य के लिए महंगे पुनः प्रशिक्षण या सूक्ष्म-ट्यूनिंग की आवश्यकता होती है, संदर्भ-में सीखना (ICL) अनुमान समय पर केवल कुछ नमूनों के साथ नए चैनल के अनुकूल हो सकता है। हालांकि, ICL पर आधारित मौजूदा समानीकरण मुख्य रूप से संदर्भ विंडो के भीतर स्थिर चैनलों के लिए विकसित और मूल्यांकन किए गए हैं। लेखकों के ज्ञान के अनुसार, ICL पर पूर्व सिद्धांतात्मक विश्लेषण और सैद्धांतिक अनुसंधान विशेष रूप से स्थिर सेटिंग्स पर केंद्रित हैं, जहां फ़ंक्शन संदर्भ के भीतर निश्चित रहता है। यह पेपर समय-परिवर्तनशील चैनल समानीकरण के दृष्टिकोण से गैर-स्थिर समस्याओं को हल करने में ICL की क्षमता की जांच करता है। लेखक सिद्धांतात्मक ढांचे का उपयोग करके बेहतर अनुकूलन क्षमता के साथ कुशल ध्यान तंत्र डिजाइन करते हैं, जो अनुकूली संकेत प्रसंस्करण एल्गोरिदम द्वारा निर्देशित बेहतर डिजाइन का लाभ उठाते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

चैनल समानीकरण वायरलेस संचार प्रणालियों में एक मुख्य तकनीक है, जिसका उपयोग चैनल द्वारा पेश की गई विकृतियों को क्षतिपूर्ति करने के लिए किया जाता है, जैसे आवृत्ति-चयनात्मक क्षीणन और प्रतीक अंतराल हस्तक्षेप। समय-परिवर्तनशील चैनल वातावरण में, चैनल मैट्रिक्स गतिशील रूप से विकसित होता है और आमतौर पर केवल आंशिक रूप से देखा जाता है, जिसके लिए समानीकरण को सीमित या शोर युक्त अवलोकनों के आधार पर निरंतर अनुकूल होने की आवश्यकता होती है।

मौजूदा तरीकों की सीमाएं

  1. पारंपरिक तरीके: शून्य-बल (ZF) समानीकरण, रैखिक न्यूनतम माध्य-वर्ग त्रुटि (LMMSE) समानीकरण, अनुकूली समानीकरण आदि को सटीक चैनल ज्ञान की आवश्यकता होती है
  2. सीखने के तरीके: गहन सीखना, मेटा-सीखना, सुदृढ़ सीखना आदि आमतौर पर प्रत्येक कार्य के लिए स्वतंत्र मॉडल प्रशिक्षण या अतिरिक्त पैरामीटर अपडेट की आवश्यकता होती है
  3. मौजूदा ICL तरीके: मुख्य रूप से संदर्भ विंडो के भीतर स्थिर चैनल मानते हैं, मानक softmax ध्यान का उपयोग करते हैं, जो तेजी से चैनल परिवर्तन और समय संबंध को पकड़ने में बाधा डाल सकते हैं

अनुसंधान प्रेरणा

पेपर दो मुख्य प्रश्न प्रस्तुत करता है:

  1. क्या ICL न केवल संदर्भ से कार्य की पहचान कर सकता है, बल्कि कार्य के समय-परिवर्तनशील परिवर्तनों को ट्रैक भी कर सकता है?
  2. गैर-स्थिर सेटिंग्स में, क्या softmax ध्यान सर्वोत्तम विकल्प है, या क्या अनुकूलन क्षमता बढ़ाने के लिए नए ध्यान तंत्र वेरिएंट विकसित किए जा सकते हैं?

मुख्य योगदान

  1. ICL ढांचे का विस्तार: ICL को फ़ंक्शन वर्गों से समय-परिवर्तनशील फ़ंक्शन वर्गों तक विस्तारित करना, और चैनल समानीकरण समस्या के लिए तत्काल करना
  2. नया ध्यान तंत्र: शास्त्रीय अनुकूली संकेत प्रसंस्करण एल्गोरिदम पर आधारित ध्यान तंत्र डिजाइन ढांचा प्रस्तावित करना
  3. तीन ध्यान वेरिएंट:
    • LMS ध्यान: न्यूनतम माध्य-वर्ग (LMS) अनुकूली एल्गोरिदम पर आधारित
    • Multi-LMS ध्यान: दीर्घकालीन गतिशीलता को पकड़ने के लिए बहु-चरणीय अपडेट रणनीति
    • LRMS ध्यान: न्यूनतम रूट माध्य-वर्ग (LRMS) सूत्र पर आधारित बेहतर मजबूतता
  4. सैद्धांतिक संबंध: LMS-प्रेरित अपडेट और DeltaNet ध्यान तंत्र के बीच सिद्धांतात्मक संबंध स्थापित करना

विधि विवरण

कार्य परिभाषा

पूर्व इनपुट-आउटपुट जोड़ी के एक सेट को देखते हुए (संदर्भ C = {(xᵢ,yᵢ)}ᴷᵢ₌₁), लक्ष्य अंतर्निहित चैनल के स्पष्ट ज्ञान के बिना, नए प्राप्त अवलोकन yₖ₊₁ से प्रेषित संकेत xₖ₊₁ का अनुमान लगाना है।

चैनल मॉडल

समय-परिवर्तनशील m₁×m₂ MIMO ऑटोरेग्रेसिव मॉडल को अपनाया गया है:

Hᵢ = ρHᵢ₋₁ + √(1-ρ²)Wᵢ, i = 2,...,K

जहां:

  • ρ ∈ [0,1): स्मृति कारक, चैनल समय-परिवर्तन दर को नियंत्रित करता है
  • Hᵢ ∈ ℂᵐ²ˣᵐ¹: जटिल-मूल्यवान चैनल मैट्रिक्स
  • Wᵢ ~ CN(0,σ²ᵨI): योजक शोर मैट्रिक्स

असतत समय MIMO प्रणाली मॉडल:

yᵢ = Qᵦ(Hᵢxᵢ + eᵢ), i = 1,...,K

अनुकूली ध्यान तंत्र डिजाइन

1. LMS ध्यान

softmax फ़ंक्शन को हटाने के बाद, आउटपुट oᵢ = Sᵢqᵢ बन जाता है, जहां स्थिति मैट्रिक्स Sᵢ परीक्षण समय प्रतिगमन समस्या को हल करके अपडेट किया जाता है:

Sᵢ ≈ argmin_{S∈ℝᵈˣᵈ} L(S) = 1/2 Σⱼ₌₁ᶦ ||vⱼ - Skⱼ||₂²

एक-चरणीय ग्रेडिएंट डिसेंट अपडेट को अपनाया गया है:

Sᵢ = Sᵢ₋₁ - βᵢ(Sᵢ₋₁kᵢ - vᵢ)kᵢᵀ

2. Multi-LMS ध्यान

अनुकूलन गति और स्थिरता में सुधार के लिए, M-चरणीय बंद-रूप विस्तार प्रस्तावित किया गया है:

Sᵢ = Sᵢ₋₁ - [1-(1-βᵢ||kᵢ||₂²)ᴹ]/||kᵢ||₂² (Sᵢ₋₁kᵢ - vᵢ)kᵢᵀ

3. LRMS ध्यान

रूट माध्य-वर्ग हानि को अपनाया गया है मजबूतता बढ़ाने के लिए:

L(S) = 1/2 Σⱼ₌₁ᶦ ||vⱼ - Skⱼ||₂

संबंधित पुनरावर्ती रूप:

Sᵢ = Sᵢ₋₁ - βᵢ [(Sᵢ₋₁kᵢ - vᵢ)/||Sᵢ₋₁kᵢ - vᵢ||₂] kᵢᵀ

तकनीकी नवाचार बिंदु

  1. सैद्धांतिक आधार: शास्त्रीय अनुकूली फ़िल्टरिंग और आधुनिक ध्यान तंत्र के बीच सैद्धांतिक संबंध स्थापित करना
  2. कम्प्यूटेशनल दक्षता: LMS ध्यान softmax की कम्प्यूटेशनल लागत से बचता है
  3. मजबूतता डिजाइन: LRMS सामान्यीकरण शब्द के माध्यम से अविश्वसनीय अपडेट को अनुकूली रूप से कम करता है
  4. दीर्घकालीन ट्रैकिंग: Multi-LMS बहु-चरणीय अपडेट के माध्यम से दीर्घकालीन चैनल गतिशीलता ट्रैकिंग में सुधार करता है

प्रयोगात्मक सेटअप

डेटासेट

  • मॉडल आर्किटेक्चर: दो-परत GPT-2 transformer (एम्बेडिंग आयाम 64, प्रति परत 4 ध्यान सिर)
  • चैनल कॉन्फ़िगरेशन: 2×2 समय-परिवर्तनशील MIMO प्रणाली
  • इनपुट संकेत: सामान्यीकृत QPSK नक्षत्र
  • परिमाणीकरण: b-बिट समान परिमाणीकरण, श्रेणी -4,4
  • प्रशिक्षण सेट आकार: 8192 पूर्व-प्रशिक्षित चैनल
  • संदर्भ लंबाई: K = 20

मूल्यांकन मेट्रिक्स

माध्य वर्ग त्रुटि (MSE):

MSE(θ) = E[||fθ(C,yₖ₊₁) - xₖ₊₁||²]

प्रयोगात्मक पैरामीटर

  • स्मृति कारक ρ: [0.9,1) से समान रूप से नमूना किया गया
  • संकेत-से-शोर अनुपात SNR: 0,30 dB से नमूना किया गया
  • परिमाणीकरण बिट्स b: पूर्णांक श्रेणी 1,6 से नमूना किया गया
  • चैनल परिवर्तन शोर स्तर: σᵨ = 0.1
  • प्रशिक्षण: Adam अनुकूलक, 50000 चरण, बैच आकार 128

तुलनात्मक तरीके

  1. LMMSE समानीकरण (सैद्धांतिक बेंचमार्क)
  2. softmax ध्यान पर आधारित ICL समानीकरण
  3. LMS ध्यान पर आधारित ICL समानीकरण

प्रयोगात्मक परिणाम

मुख्य परिणाम

चित्र 1 के प्रयोगात्मक परिणामों से निम्नलिखित देखा जा सकता है:

  1. समग्र प्रदर्शन: ICL समानीकरण सभी सेटिंग्स में LMMSE से बेहतर है
  2. ध्यान तंत्र तुलना: LMS ध्यान softmax ध्यान की तुलना में तुलनीय या बेहतर प्रदर्शन करता है
  3. पैरामीटर संवेदनशीलता:
    • स्मृति कारक ρ, SNR या परिमाणीकरण बिट्स में वृद्धि से अनुमान त्रुटि में निरंतर कमी आती है
    • LMS ध्यान न केवल कम्प्यूटेशनल बोझ को कम करता है, बल्कि सटीकता को भी बनाए रखता या सुधारता है

विलोपन अध्ययन

Multi-LMS बनाम एकल-चरणीय LMS (चित्र 2a)

  • चरणों की संख्या M में वृद्धि आमतौर पर प्रदर्शन में सुधार करती है
  • जब M बहुत बड़ा हो, तो मॉडल वर्तमान शोर अवलोकन के लिए अत्यधिक फिट हो सकता है, जिससे प्रदर्शन में गिरावट आती है

LRMS बनाम LMS (चित्र 2b)

  • कम परिमाणीकरण बिट्स (b=1) की स्थिति में, LRMS ध्यान LMS ध्यान से बेहतर है
  • LRMS तंत्र बाहरी मूल्यों और गंभीर परिमाणीकरण शोर के प्रभाव को प्रभावी रूप से कम करता है

प्रयोगात्मक निष्कर्ष

  1. कम्प्यूटेशनल लाभ: LMS ध्यान softmax के गैर-रैखिक फ़ंक्शन कम्प्यूटेशन लागत से बचता है
  2. मजबूतता: LRMS शोर वातावरण में अधिक स्थिर प्रदर्शन करता है
  3. अनुकूलन क्षमता: बहु-चरणीय अपडेट रणनीति दीर्घकालीन चैनल गतिशीलता को बेहतर तरीके से पकड़ सकती है
  4. व्यावहारिकता: प्रस्तावित विधि गतिशील वातावरण में अनुकूलन क्षमता और प्रदर्शन में महत्वपूर्ण वृद्धि करती है

संबंधित कार्य

ICL सैद्धांतिक अनुसंधान

मौजूदा ICL सैद्धांतिक विश्लेषण मुख्य रूप से स्थिर सेटिंग्स पर केंद्रित है, जहां फ़ंक्शन संदर्भ के भीतर निश्चित रहता है। यह पेपर पहली बार गैर-स्थिर परिदृश्य तक विस्तार करता है।

चैनल समानीकरण विधियां

  1. शास्त्रीय विधियां: ZF, LMMSE, अनुकूली समानीकरण, निर्णय प्रतिक्रिया समानीकरण आदि
  2. मशीन लर्निंग विधियां: गहन सीखना, मेटा-सीखना, सुदृढ़ सीखना, ग्राफ न्यूरल नेटवर्क आदि
  3. ICL विधियां: हाल ही में दिखाई देने वाली transformer-आधारित अनुक्रम मॉडल समानीकरण विधियां

ध्यान तंत्र डिजाइन

पेपर transformer और कलमन फ़िल्टर, परीक्षण समय प्रतिगमन, स्थिति-स्पेस मॉडल के बीच संबंध अनुसंधान से प्रेरणा लेता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. ICL गैर-स्थिर MIMO समानीकरण कार्यों को प्रभावी रूप से संभाल सकता है
  2. शास्त्रीय अनुकूली एल्गोरिदम से प्रेरित ध्यान तंत्र गतिशील वातावरण में अनुकूलन क्षमता और प्रदर्शन में महत्वपूर्ण वृद्धि कर सकते हैं
  3. अनुकूली संकेत प्रसंस्करण और आधुनिक ध्यान तंत्र के बीच सैद्धांतिक पुल स्थापित किया गया है

सीमाएं

  1. प्रयोगात्मक पैमाना: केवल 2×2 MIMO प्रणाली पर सत्यापित, बड़ी प्रणालियों का प्रदर्शन सत्यापन की प्रतीक्षा में है
  2. चैनल मॉडल: विशिष्ट ऑटोरेग्रेसिव चैनल मॉडल को अपनाया गया है, अन्य चैनल मॉडलों की प्रयोज्यता को आगे के अनुसंधान की आवश्यकता है
  3. सैद्धांतिक विश्लेषण: गैर-स्थिर ICL के अभिसरण और सामान्यीकरण क्षमता के सैद्धांतिक गारंटी की कमी है

भविष्य की दिशाएं

  1. अधिक मजबूत अनुकूलन क्षमता और मजबूतता के साथ अगली पीढ़ी के वायरलेस आधार मॉडल विकसित करना
  2. अधिक जटिल चैनल वातावरण और बड़े पैमाने की MIMO प्रणालियों तक विस्तार करना
  3. गैर-स्थिर ICL के लिए सैद्धांतिक विश्लेषण ढांचा प्रदान करना

गहन मूल्यांकन

शक्तियां

  1. मजबूत नवाचार: पहली बार ICL को गैर-स्थिर सेटिंग्स तक विस्तारित करना, सैद्धांतिक अंतराल को भरना
  2. विधि सिद्धांतात्मकता: शास्त्रीय अनुकूली एल्गोरिदम के आधार पर ध्यान तंत्र डिजाइन करना, दृढ़ सैद्धांतिक आधार है
  3. उच्च व्यावहारिक मूल्य: वास्तविक वायरलेस संचार में महत्वपूर्ण समस्याओं को हल करना
  4. पर्याप्त प्रयोग: विभिन्न पैरामीटर सेटिंग्स और तुलनात्मक तरीकों को कवर करना
  5. स्पष्ट लेखन: तकनीकी विवरण सटीक वर्णन, गणितीय व्युत्पत्ति कठोर

कमियां

  1. सीमित प्रयोगात्मक पैमाना: केवल छोटी MIMO प्रणालियों पर सत्यापन
  2. अपर्याप्त सैद्धांतिक विश्लेषण: अभिसरण और सामान्यीकरण क्षमता के सैद्धांतिक गारंटी की कमी
  3. सीमित तुलनात्मक तरीके: अन्य उन्नत अनुकूली समानीकरण विधियों के साथ तुलना की कमी
  4. व्यावहारिक तैनाती विचार: वास्तविक प्रणाली में जटिलता और बाधाओं पर विचार नहीं किया गया

प्रभाव

  1. शैक्षणिक योगदान: ICL सैद्धांतिक अनुसंधान के लिए नई दिशा खोलना
  2. व्यावहारिक मूल्य: वायरलेस संचार प्रणाली डिजाइन के लिए नए विचार प्रदान करना
  3. अंतः-विषय प्रभाव: मशीन लर्निंग और संकेत प्रसंस्करण दो क्षेत्रों को जोड़ना
  4. पुनरुत्पादनीयता: विस्तृत प्रयोगात्मक सेटअप और कार्यान्वयन विवरण प्रदान करना

प्रयोज्य परिदृश्य

  1. समय-परिवर्तनशील चैनल वातावरण: मोबाइल संचार, उपग्रह संचार आदि गतिशील वातावरण
  2. संसाधन-सीमित प्रणालियां: तेजी से अनुकूलन और सीमित कम्प्यूटेशनल संसाधनों की आवश्यकता वाले परिदृश्य
  3. बहु-कार्य सीखना: विभिन्न चैनल स्थितियों में तेजी से स्विच करने की आवश्यकता वाले अनुप्रयोग
  4. किनारे कंप्यूटिंग: किनारे उपकरणों पर वास्तविक समय अनुकूलन की आवश्यकता वाले परिदृश्य

संदर्भ

पेपर 31 संबंधित संदर्भों का हवाला देता है, जो चैनल समानीकरण, अनुकूली फ़िल्टरिंग, मशीन लर्निंग और ध्यान तंत्र सहित कई क्षेत्रों के महत्वपूर्ण कार्यों को कवर करता है, जो अनुसंधान के लिए दृढ़ सैद्धांतिक आधार और पर्याप्त पृष्ठभूमि अनुसंधान प्रदान करता है।

समग्र मूल्यांकन: यह सैद्धांतिक नवाचार और व्यावहारिक मूल्य दोनों पहलुओं में महत्वपूर्ण योगदान वाला एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है। पेपर पहली बार ICL को गैर-स्थिर सेटिंग्स तक विस्तारित करता है, प्रस्तावित विधि में दृढ़ सैद्धांतिक आधार और अच्छा प्रयोगात्मक सत्यापन है। हालांकि प्रयोगात्मक पैमाने और सैद्धांतिक विश्लेषण पहलुओं में सुधार की गुंजाइश है, लेकिन यह संबंधित क्षेत्रों के विकास के लिए महत्वपूर्ण प्रेरणा और दिशा प्रदान करता है।