2025-11-16T20:04:19.781760

In-Context Learning for Non-Stationary MIMO Equalization

Jiang, Qin, Zhu
Channel equalization is fundamental for mitigating distortions such as frequency-selective fading and inter-symbol interference. Unlike standard supervised learning approaches that require costly retraining or fine-tuning for each new task, in-context learning (ICL) adapts to new channels at inference time with only a few examples. However, existing ICL-based equalizers are primarily developed for and evaluated on static channels within the context window. Indeed, to our knowledge, prior principled analyses and theoretical studies of ICL focus exclusively on the stationary setting, where the function remains fixed within the context. In this paper, we investigate the ability of ICL to address non-stationary problems through the lens of time-varying channel equalization. We employ a principled framework for designing efficient attention mechanisms with improved adaptivity in non-stationary tasks, leveraging algorithms from adaptive signal processing to guide better designs. For example, new attention variants can be derived from the Least Mean Square (LMS) adaptive algorithm, a Least Root Mean Square (LRMS) formulation for enhanced robustness, or multi-step gradient updates for improved long-term tracking. Experimental results demonstrate that ICL holds strong promise for non-stationary MIMO equalization, and that attention mechanisms inspired by classical adaptive algorithms can substantially enhance adaptability and performance in dynamic environments. Our findings may provide critical insights for developing next-generation wireless foundation models with stronger adaptability and robustness.
academic

التعلم السياقي لمعادلة MIMO غير المستقرة زمنياً

المعلومات الأساسية

  • معرّف الورقة: 2510.08711
  • العنوان: In-Context Learning for Non-Stationary MIMO Equalization
  • المؤلفون: Jiachen Jiang¹, Zhen Qin²³⁴, Zhihui Zhu¹
    • ¹قسم علوم الحاسوب والهندسة، جامعة ولاية أوهايو
    • ²³⁴معهد الحوسبة والاكتشاف والهندسة، قسم الهندسة الكهربائية وعلوم الحاسوب، قسم الإحصاء، جامعة ميشيغان
  • التصنيف: cs.LG cs.AI
  • تاريخ النشر: تم تقديمه إلى arXiv في 9 أكتوبر 2025
  • رابط الورقة: https://arxiv.org/abs/2510.08711

الملخص

معادلة القناة هي تقنية أساسية للتخفيف من التشويهات مثل التلاشي الانتقائي بالتردد والتداخل بين الرموز. بخلاف طرق التعلم الخاضع للإشراف التقليدية التي تتطلب إعادة تدريب أو ضبط دقيق مكلف لكل مهمة جديدة، يمكن للتعلم السياقي (ICL) التكيف مع قنوات جديدة في وقت الاستدلال باستخدام عدد قليل من العينات فقط. ومع ذلك، تم تطوير وتقييم معادلات قائمة على ICL الموجودة بشكل أساسي للقنوات الثابتة ضمن نافذة السياق. وفقاً لعلم المؤلفين، ركزت الأبحاث السابقة حول مبادئ ICL والدراسات النظرية بشكل حصري على الإعدادات المستقرة زمنياً، حيث تبقى الدالة ثابتة ضمن السياق. تستكشف هذه الورقة قدرة ICL على حل المشاكل غير المستقرة زمنياً من خلال منظور معادلة القنوات المتغيرة زمنياً. يعتمد المؤلفون على إطار عمل منهجي لتصميم آليات انتباه فعالة بتكيف محسّن، مستفيدين من خوارزميات معالجة الإشارات التكيفية لتوجيه تصميم أفضل.

خلفية البحث والدافع

تعريف المشكلة

معادلة القناة هي تقنية أساسية في أنظمة الاتصالات اللاسلكية، تُستخدم لتعويض التشويهات التي تُدخلها القناة، مثل التلاشي الانتقائي بالتردد والتداخل بين الرموز. في بيئات القنوات المتغيرة زمنياً، تتطور مصفوفة القناة ديناميكياً وعادة ما تكون قابلة للملاحظة جزئياً فقط، مما يتطلب من معادل القناة التكيف المستمر بناءً على ملاحظات محدودة أو مشوبة بالضوضاء.

قيود الطرق الموجودة

  1. الطرق التقليدية: معادلة الإجبار على الصفر (ZF)، معادل الخطأ الربعي الأدنى الخطي (LMMSE)، المعادلات التكيفية، وغيرها تتطلب معرفة دقيقة بالقناة
  2. طرق التعلم: التعلم العميق، التعلم الفوقي، التعلم المعزز وغيرها عادة ما تتطلب تدريب نماذج مستقلة لكل مهمة أو تتضمن تحديثات معاملات إضافية
  3. طرق ICL الموجودة: تفترض بشكل أساسي قنوات ثابتة ضمن نافذة السياق، وتستخدم انتباه softmax قياسي، مما قد يعيق التقاط التغييرات السريعة للقناة والارتباطات الزمنية

دافع البحث

تطرح الورقة سؤالين أساسيين:

  1. هل يمكن لـ ICL ليس فقط تحديد المهمة من السياق، بل أيضاً تتبع التغييرات المتغيرة زمنياً للمهمة؟
  2. في الإعدادات غير المستقرة زمنياً، هل انتباه softmax هو الخيار الأمثل، أم يمكن تطوير متغيرات آليات انتباه جديدة لتعزيز التكيف؟

المساهمات الأساسية

  1. توسيع إطار عمل ICL: توسيع ICL من فئات الدوال إلى فئات الدوال المتغيرة زمنياً، مع تطبيقه على مشكلة معادلة القناة
  2. آلية انتباه جديدة: اقتراح إطار عمل لتصميم آليات انتباه بناءً على خوارزميات معالجة الإشارات التكيفية الكلاسيكية
  3. ثلاث متغيرات انتباه:
    • انتباه LMS: بناءً على خوارزمية التكيف بالمربعات الصغرى (LMS)
    • انتباه Multi-LMS: استراتيجية تحديث متعددة الخطوات لالتقاط الديناميكيات طويلة الأجل
    • انتباه LRMS: بناءً على صيغة الجذر التربيعي للخطأ الأدنى (LRMS) لتعزيز المتانة
  4. الاتصال النظري: إنشاء اتصال منهجي بين التحديثات المستوحاة من LMS وآلية انتباه DeltaNet

شرح الطريقة

تعريف المهمة

بالنظر إلى مجموعة من أزواج الإدخال-الإخراج السابقة (السياق C = {(xᵢ,yᵢ)}ᴷᵢ₌₁)، الهدف هو استنتاج الإشارة المرسلة xₖ₊₁ من ملاحظة الاستقبال الجديدة yₖ₊₁ دون معرفة صريحة بالقناة الأساسية.

نموذج القناة

يتم استخدام نموذج الانحدار الذاتي MIMO المتغير زمنياً m₁×m₂:

Hᵢ = ρHᵢ₋₁ + √(1-ρ²)Wᵢ, i = 2,...,K

حيث:

  • ρ ∈ [0,1): عامل الذاكرة، يتحكم في معدل التغير الزمني للقناة
  • Hᵢ ∈ ℂᵐ²ˣᵐ¹: مصفوفة القناة ذات القيم المعقدة
  • Wᵢ ~ CN(0,σ²ᵨI): مصفوفة الضوضاء الإضافية

نموذج نظام MIMO في الوقت المنفصل:

yᵢ = Qᵦ(Hᵢxᵢ + eᵢ), i = 1,...,K

تصميم آلية الانتباه التكيفية

1. انتباه LMS

بعد إزالة دالة softmax، يصبح الإخراج oᵢ = Sᵢqᵢ، حيث يتم تحديث مصفوفة الحالة Sᵢ من خلال حل مشكلة الانحدار في وقت الاختبار:

Sᵢ ≈ argmin_{S∈ℝᵈˣᵈ} L(S) = 1/2 Σⱼ₌₁ᶦ ||vⱼ - Skⱼ||₂²

مع تحديث الانحدار الحاد بخطوة واحدة:

Sᵢ = Sᵢ₋₁ - βᵢ(Sᵢ₋₁kᵢ - vᵢ)kᵢᵀ

2. انتباه Multi-LMS

لتحسين سرعة التكيف والاستقرار، يتم اقتراح توسيع صيغة مغلقة بـ M خطوة:

Sᵢ = Sᵢ₋₁ - [1-(1-βᵢ||kᵢ||₂²)ᴹ]/||kᵢ||₂² (Sᵢ₋₁kᵢ - vᵢ)kᵢᵀ

3. انتباه LRMS

استخدام خسارة الجذر التربيعي للخطأ لتعزيز المتانة:

L(S) = 1/2 Σⱼ₌₁ᶦ ||vⱼ - Skⱼ||₂

الشكل التكراري المقابل:

Sᵢ = Sᵢ₋₁ - βᵢ [(Sᵢ₋₁kᵢ - vᵢ)/||Sᵢ₋₁kᵢ - vᵢ||₂] kᵢᵀ

نقاط الابتكار التقني

  1. الأساس النظري: إنشاء اتصال نظري بين تصفية التكيف الكلاسيكية وآليات الانتباه الحديثة
  2. الكفاءة الحسابية: انتباه LMS يتجنب تكاليف الحساب غير الخطية لـ softmax
  3. تصميم المتانة: LRMS يقلل الأوزان بشكل تكيفي للتحديثات غير الموثوقة من خلال حد التطبيع
  4. التتبع طويل الأجل: Multi-LMS يحسن تتبع الديناميكيات طويلة الأجل للقناة من خلال تحديثات متعددة الخطوات

إعداد التجارب

مجموعة البيانات

  • معمارية النموذج: محول GPT-2 ثنائي الطبقة (بُعد التضمين 64، 4 رؤوس انتباه لكل طبقة)
  • إعدادات القناة: نظام MIMO متغير زمنياً 2×2
  • إشارات الإدخال: كوكبة QPSK معايرة
  • التكميم: كمّي موحد بـ b بت، النطاق -4,4
  • حجم مجموعة التدريب: 8192 قناة تدريب مسبق
  • طول السياق: K = 20

مقاييس التقييم

متوسط الخطأ التربيعي (MSE):

MSE(θ) = E[||fθ(C,yₖ₊₁) - xₖ₊₁||²]

معاملات التجربة

  • عامل الذاكرة ρ: مأخوذ بشكل موحد من [0.9,1)
  • نسبة الإشارة إلى الضوضاء SNR: مأخوذة من 0,30 ديسيبل
  • عدد بتات التكميم b: مأخوذ من النطاق الصحيح 1,6
  • مستوى ضوضاء تغيير القناة: σᵨ = 0.1
  • التدريب: محسّن Adam، 50000 خطوة، حجم الدفعة 128

طرق المقارنة

  1. معادل LMMSE (المعيار النظري)
  2. معادل ICL قائم على انتباه softmax
  3. معادل ICL قائم على انتباه LMS

نتائج التجارب

النتائج الرئيسية

من نتائج التجارب في الشكل 1 يمكن ملاحظة:

  1. الأداء الإجمالي: معادلات ICL تتفوق على LMMSE في جميع الإعدادات
  2. مقارنة آليات الانتباه: انتباه LMS يُظهر أداءً مماثلاً أو أفضل مقارنة بانتباه softmax
  3. حساسية المعاملات:
    • زيادة عامل الذاكرة ρ أو SNR أو عدد بتات التكميم تقلل باستمرار خطأ التقدير
    • انتباه LMS لا يقلل فقط العبء الحسابي، بل يحافظ على الدقة أو يحسنها

التجارب الاستئصالية

Multi-LMS مقابل LMS بخطوة واحدة (الشكل 2a)

  • زيادة عدد الخطوات M عادة ما تحسن الأداء
  • عندما يكون M كبيراً جداً، قد يحدث الإفراط في التدريب على ملاحظات الضوضاء الحالية، مما يؤدي إلى انخفاض الأداء

LRMS مقابل LMS (الشكل 2b)

  • في ظروف التكميم المنخفض (b=1)، انتباه LRMS يتفوق على انتباه LMS
  • آلية LRMS تخفف بشكل فعال من تأثير القيم الشاذة والضوضاء الكمية الشديدة

النتائج التجريبية

  1. المزايا الحسابية: انتباه LMS يتجنب تكاليف حساب الدوال غير الخطية في softmax
  2. المتانة: LRMS يُظهر أداءً أكثر استقراراً في البيئات الضوضائية
  3. التكيفية: استراتيجية التحديث متعددة الخطوات تلتقط بشكل أفضل الديناميكيات طويلة الأجل للقناة
  4. الجدوى العملية: الطرق المقترحة تعزز بشكل كبير التكيفية والأداء في البيئات الديناميكية

الأعمال ذات الصلة

دراسات نظرية ICL

تركز الأبحاث النظرية الموجودة حول ICL بشكل أساسي على الإعدادات المستقرة زمنياً، مع افتراض أن الدالة تبقى ثابتة ضمن السياق. تقوم هذه الورقة بتوسيع هذا إلى السيناريوهات غير المستقرة زمنياً للمرة الأولى.

طرق معادلة القناة

  1. الطرق الكلاسيكية: ZF، LMMSE، المعادلات التكيفية، معادلات التغذية الراجعة للقرار، وغيرها
  2. طرق التعلم الآلي: التعلم العميق، التعلم الفوقي، التعلم المعزز، الشبكات العصبية الرسومية، وغيرها
  3. طرق ICL: معادلات قائمة على محول حديثة نسبياً للنماذج التسلسلية

تصميم آليات الانتباه

استفادت الورقة من الأبحاث حول الاتصالات بين محول وتصفية كالمان والانحدار في وقت الاختبار ونماذج الفضاء الحالة.

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. يمكن لـ ICL التعامل بفعالية مع مهام معادلة MIMO غير المستقرة زمنياً
  2. آليات الانتباه المستوحاة من الخوارزميات التكيفية الكلاسيكية يمكنها تعزيز التكيفية والأداء بشكل كبير في البيئات الديناميكية
  3. إنشاء جسر نظري بين معالجة الإشارات التكيفية وآليات الانتباه الحديثة

القيود

  1. نطاق التجارب: تم التحقق فقط على أنظمة MIMO 2×2، وتبقى أداء الأنظمة الأكبر حجماً قيد الدراسة
  2. نموذج القناة: يستخدم نموذج قناة انحدار ذاتي محدد، وتبقى قابلية التطبيق على نماذج قنوات أخرى بحاجة إلى مزيد من البحث
  3. التحليل النظري: يفتقد إلى ضمانات نظرية لتقارب وقدرة التعميم لـ ICL غير المستقر زمنياً

الاتجاهات المستقبلية

  1. تطوير نماذج أساسية لاسلكية من الجيل التالي بتكيفية ومتانة أقوى
  2. التوسع إلى بيئات قنوات أكثر تعقيداً وأنظمة MIMO أكبر حجماً
  3. توفير إطار عمل تحليل نظري لـ ICL غير المستقر زمنياً

التقييم المتعمق

المزايا

  1. الابتكار القوي: توسيع ICL إلى الإعدادات غير المستقرة زمنياً للمرة الأولى، ملء فجوة نظرية
  2. الطريقة المنهجية: تصميم آليات انتباه بناءً على خوارزميات التكيف الكلاسيكية، مع أساس نظري متين
  3. القيمة العملية العالية: حل مشكلة مهمة في الاتصالات اللاسلكية الفعلية
  4. التجارب الشاملة: تغطي إعدادات معاملات متعددة وطرق مقارنة
  5. الكتابة الواضحة: وصف دقيق للتفاصيل التقنية، استنتاجات رياضية صارمة

أوجه القصور

  1. نطاق التجارب محدود: التحقق فقط على أنظمة MIMO صغيرة الحجم
  2. التحليل النظري غير كافٍ: يفتقد إلى ضمانات نظرية للتقارب وقدرة التعميم
  3. طرق المقارنة محدودة: يفتقد إلى مقارنات مع طرق معادلة تكيفية متقدمة أخرى
  4. اعتبارات النشر العملي: لم يتم النظر في التعقيد والقيود في الأنظمة الفعلية

التأثير

  1. المساهمة الأكاديمية: فتح اتجاه جديد لأبحاث نظرية ICL
  2. القيمة العملية: توفير أفكار جديدة لتصميم أنظمة الاتصالات اللاسلكية
  3. التأثير عبر المجالات: ربط مجالي التعلم الآلي ومعالجة الإشارات
  4. قابلية التكرار: توفير إعدادات تجريبية وتفاصيل تنفيذ مفصلة

السيناريوهات المطبقة

  1. بيئات القنوات المتغيرة زمنياً: الاتصالات المحمولة والاتصالات الفضائية والبيئات الديناميكية الأخرى
  2. الأنظمة محدودة الموارد: السيناريوهات التي تتطلب تكيفاً سريعاً وموارد حسابية محدودة
  3. التعلم متعدد المهام: التطبيقات التي تتطلب التبديل السريع بين ظروف قنوات مختلفة
  4. الحوسبة الحدية: السيناريوهات التي تتطلب تكيفاً فعلياً على أجهزة الحافة

المراجع

تستشهد الورقة بـ 31 مرجعاً ذا صلة، تغطي مجالات متعددة بما في ذلك معادلة القناة والتصفية التكيفية والتعلم الآلي وآليات الانتباه، مما يوفر أساساً نظرياً متيناً وبحثاً خلفياً شاملاً.

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة بمساهمات مهمة في الابتكار النظري والقيمة العملية. تقوم الورقة بتوسيع ICL إلى الإعدادات غير المستقرة زمنياً للمرة الأولى، والطريقة المقترحة لها أساس نظري متين وتحقق تجريبي جيد. على الرغم من وجود مجال للتحسين في نطاق التجارب والتحليل النظري، فإن الورقة توفر إلهاماً واتجاهاً مهماً لتطور المجالات ذات الصلة.