बुद्धिमान एंटीना पोजिशनिंग की ओर: FAS-सहायक ISAC सिस्टम के लिए DRL का लाभ उठाना

मूल जानकारी

• पेपर ID: 2501.01281
• शीर्षक: Towards Intelligent Antenna Positioning: Leveraging DRL for FAS-Aided ISAC Systems
• लेखक: Shunxing Yang, Junteng Yao, Jie Tang, Tuo Wu, Maged Elkashlan, Chau Yuen, Mérouane Debbah, Hyundong Shin, Matthew Valenti
• वर्गीकरण: eess.SP (विद्युत अभियांत्रिकी और प्रणाली विज्ञान - सिग्नल प्रोसेसिंग)
• प्रकाशन तिथि: 2 जनवरी 2025 (arXiv प्रीप्रिंट)
• पेपर लिंक: https://arxiv.org/abs/2501.01281

सारांश

द्रव एंटीना प्रणाली (FAS) गतिशील एंटीना पोजिशनिंग को सक्षम बनाती है, जो एकीकृत संवेदन और संचार (ISAC) प्रदर्शन को बढ़ाने के लिए नए अवसर प्रदान करती है। हालांकि, मौजूदा अनुसंधान मुख्य रूप से संचार वृद्धि या एकल-लक्ष्य संवेदन पर केंद्रित है, बहु-लक्ष्य परिदृश्य अभी तक पर्याप्त रूप से अन्वेषित नहीं हुए हैं। इसके अलावा, बीमफॉर्मिंग और एंटीना स्थिति का संयुक्त अनुकूलन एक अत्यधिक गैर-उत्तल समस्या है, जो द्रव एंटीना की संख्या बढ़ने के साथ पारंपरिक विधियों को अव्यावहारिक बनाता है। इन चुनौतियों को संबोधित करने के लिए, यह पेपर बुद्धिमान एंटीना पोजिशनिंग के लिए गहन सुदृढ़ीकरण सीखने (DRL) को एकीकृत करने वाली एक ब्लॉक समन्वय अवरोहण (BCD) रूपरेखा प्रस्तावित करता है। गहन नियतात्मक नीति ढाल (DDPG) एल्गोरिथ्म का उपयोग करके, प्रस्तावित रूपरेखा संवेदन और संचार प्रदर्शन को प्रभावी ढंग से संतुलित करती है। सिमुलेशन परिणाम प्रस्तावित विधि की स्केलेबिलिटी और प्रभावशीलता को प्रदर्शित करते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान द्वारा समाधान की जाने वाली मूल समस्या यह है कि बहु-लक्ष्य ISAC प्रणाली में, द्रव एंटीना प्रणाली के माध्यम से बीमफॉर्मिंग और एंटीना स्थिति के संयुक्त अनुकूलन को कैसे प्राप्त किया जाए, ताकि संचार और बहु-लक्ष्य संवेदन दोनों के प्रदर्शन आवश्यकताओं को पूरा किया जा सके।

समस्या की महत्ता

1. 6G नेटवर्क आवश्यकता: ISAC 6G वायरलेस नेटवर्क के लिए एक महत्वपूर्ण नवाचार है, जिसे साझा स्पेक्ट्रम संसाधनों पर संचार और संवेदन दोनों कार्य करने की आवश्यकता है
2. स्थानिक संसाधन उपयोग: पारंपरिक निश्चित-स्थिति एंटीना (FPA) प्रणालियों में स्थानिक संसाधन उपयोग में मौलिक सीमाएं हैं
3. बहु-लक्ष्य परिदृश्य: वास्तविक अनुप्रयोगों में अक्सर एक साथ कई लक्ष्यों को संवेदन करने की आवश्यकता होती है, जो प्रणाली डिजाइन की जटिलता को बढ़ाता है

मौजूदा विधियों की सीमाएं

1. सीमित अनुसंधान दायरा: मौजूदा FAS अनुसंधान मुख्य रूप से संचार वृद्धि या एकल-लक्ष्य संवेदन पर केंद्रित है, बहु-लक्ष्य परिदृश्य अनुसंधान अपर्याप्त है
2. अनुकूलन जटिलता: बीमफॉर्मिंग और एंटीना स्थिति का संयुक्त अनुकूलन एक अत्यधिक गैर-उत्तल समस्या है, पारंपरिक वैकल्पिक अनुकूलन विधियां एंटीना संख्या बढ़ने पर अव्यावहारिक हो जाती हैं
3. असतत प्रसंस्करण: कुछ अनुसंधान केवल यह विचार करते हैं कि कौन से पोर्ट सक्रिय करें, न कि एंटीना स्थिति का निरंतर अनुकूलन

अनुसंधान प्रेरणा

उपरोक्त सीमाओं के आधार पर, यह पेपर बहु-लक्ष्य संवेदन परिदृश्यों को संभालने में सक्षम एक बुद्धिमान एंटीना पोजिशनिंग योजना विकसित करने का लक्ष्य रखता है, गहन सुदृढ़ीकरण सीखने के माध्यम से वास्तविक समय निर्णय और स्केलेबल अनुकूलन को प्राप्त करता है।

मूल योगदान

1. बहु-लक्ष्य ISAC प्रणाली डिजाइन: बहु-लक्ष्य संवेदन परिदृश्य में FAS के अनुप्रयोग का पहली बार व्यवस्थित रूप से अध्ययन, मौजूदा अनुसंधान के अंतराल को भरता है
2. BCD-DRL हाइब्रिड रूपरेखा: ब्लॉक समन्वय अवरोहण और गहन सुदृढ़ीकरण सीखने को संयोजित करने वाली एक नवीन अनुकूलन रूपरेखा प्रस्तावित करता है
3. निरंतर स्थिति अनुकूलन: एंटीना स्थिति का निरंतर अनुकूलन प्राप्त करता है, केवल असतत पोर्ट चयन नहीं
4. स्केलेबिलिटी सत्यापन: बहु-उपयोगकर्ता, बहु-लक्ष्य परिदृश्यों में विधि की स्केलेबिलिटी और वास्तविक समय क्षमता को सिमुलेशन के माध्यम से सत्यापित करता है

विधि विवरण

कार्य परिभाषा

इनपुट:

• बेस स्टेशन के N द्रव एंटीना के लिए स्थिति बाधा क्षेत्र At
• उपयोगकर्ता टर्मिनल के एकल द्रव एंटीना के लिए स्थिति बाधा क्षेत्र Ar
• K संवेदन लक्ष्यों की स्थिति जानकारी
• चैनल पैरामीटर और प्रणाली बाधाएं

आउटपुट:

• अनुकूलित बीमफॉर्मिंग मैट्रिक्स U
• बेस स्टेशन द्रव एंटीना स्थिति p = p1, p2, ..., pN
• उपयोगकर्ता टर्मिनल एंटीना स्थिति q

बाधा शर्तें:

• अधिकतम संचरण शक्ति बाधा: Tr(U) ≤ Pmax
• संवेदन लाभ बाधा: ϖ(p(k)) ≥ Γ, ∀k ∈ K
• एंटीना के बीच न्यूनतम दूरी बाधा: ||pα - pβ||2 ≥ Ds
• रैंक-एक बाधा: rank(U) = 1

मॉडल आर्किटेक्चर

1. BCD रूपरेखा समग्र डिजाइन

एल्गोरिथ्म ब्लॉक समन्वय अवरोहण विधि का उपयोग करता है, मूल गैर-उत्तल समस्या को दो उप-समस्याओं में विभाजित करता है:

• उप-समस्या 1: एंटीना स्थिति निश्चित, संचरण सहप्रसरण मैट्रिक्स अनुकूलन (उत्तल अनुकूलन)
• उप-समस्या 2: बीमफॉर्मिंग मैट्रिक्स निश्चित, एंटीना स्थिति अनुकूलन (DRL समाधान)

2. संचरण सहप्रसरण मैट्रिक्स अनुकूलन

निश्चित एंटीना स्थिति के लिए, रैंक-एक बाधा को अस्थायी रूप से शिथिल करके, समस्या को उत्तल अनुकूलन में रूपांतरित करता है:

$\max_{U \succeq 0} \log_2\left(1 + \frac{f(p,q)Uf^{\dagger}(p,q)}{\sigma^2}\right)$

CVX टूलबॉक्स का उपयोग करके समाधान करता है, यदि समाधान की रैंक 1 से अधिक है, तो गॉसियन यादृच्छिकीकरण का उपयोग करके रैंक-एक समाधान का पुनर्निर्माण करता है।

3. DDPG-आधारित एंटीना स्थिति अनुकूलन

MDP मॉडलिंग:

• स्थिति स्पेस: $s_t \in \mathbb{R}^{2(N+1)+3}$, सभी एंटीना निर्देशांक और बीमफॉर्मिंग विशेषताएं शामिल
• कार्य स्पेस: $a_t \in \mathbb{R}^{2(N+1)}$, एंटीना स्थिति के वृद्धिशील समायोजन को दर्शाता है
• पुरस्कार फलन: $r_t = R(s_t, a_t) - \alpha_1\sum_{m=1}^{M}\max(0, \varpi(p^{(m)}) - \Gamma) - \alpha_2\max(0, P_{max} - \text{Tr}(U)) - \alpha_3\frac{1}{N+1}\sum_{i=1}^{N+1}||\Delta p_i||_2$

नेटवर्क आर्किटेक्चर:

• Actor नेटवर्क: तीन-परत पूर्ण कनेक्टेड नेटवर्क (400-300 न्यूरॉन्स), आउटपुट परत tanh सक्रियण और स्केलिंग का उपयोग करता है
• Critic नेटवर्क: स्थिति-कार्य जोड़ी को संभालता है, Q-मान अनुमान आउटपुट करता है
• लक्ष्य नेटवर्क: प्रशिक्षण को स्थिर करने के लिए नरम अपडेट नीति का उपयोग करता है

तकनीकी नवाचार बिंदु

1. स्थिति स्पेस डिजाइन: स्थानिक कॉन्फ़िगरेशन जानकारी और बीमफॉर्मिंग विशेषताओं को नवीन तरीके से एकीकृत करता है, ट्रेस, अधिकतम eigenvalue और औसत eigenvalue शामिल
2. पुरस्कार फलन डिजाइन: बहु-उद्देश्य पुरस्कार फलन जो संचार दर, संवेदन बाधाएं, शक्ति बाधाएं और गति लागत को एक साथ विचार करता है
3. अन्वेषण नीति: Ornstein-Uhlenbeck प्रक्रिया का उपयोग करके समय-सहसंबद्ध अन्वेषण शोर उत्पन्न करता है, भौतिक नियंत्रण कार्यों के लिए उपयुक्त
4. निरंतर अनुकूलन: वास्तविक निरंतर स्थिति अनुकूलन प्राप्त करता है, असतत चयन नहीं

प्रायोगिक सेटअप

सिमुलेशन पैरामीटर

• चैनल मॉडल: दूर-क्षेत्र मॉडल, उन्नयन और दिगंश कोण θ, ψ 0,π में स्वतंत्र समान रूप से वितरित
• एंटीना बाधा: न्यूनतम दूरी D = λ/2, गति सीमा A×A, अधिकतम विस्थापन A = 4λ
• पथ सेटअप: संचरण और प्राप्ति पथ संख्या D = I = 3
• शक्ति अनुपात: LoS से NLoS पथ शक्ति अनुपात τ = 1
• नेटवर्क पैरामीटर: अनुभवजन्य रीप्ले बफर 10000, बैच आकार 64, नरम अपडेट पैरामीटर τ = 0.001

मूल्यांकन मेट्रिक्स

• संचार प्रदर्शन: औसत संचार दर और अधिकतम संचार दर (bps/Hz)
• प्रणाली कॉन्फ़िगरेशन: विभिन्न एंटीना संख्या N(4,8,12) और लक्ष्य संख्या K(1,3) के संयोजन
• उपयोगकर्ता संख्या: एकल-उपयोगकर्ता (M=1) और बहु-उपयोगकर्ता (M=3) परिदृश्य

तुलना विधियां

• FPA आधारभूत: निश्चित-स्थिति एंटीना प्रणाली संदर्भ के रूप में
• विभिन्न कॉन्फ़िगरेशन तुलना: एंटीना संख्या और लक्ष्य संख्या भिन्नता के तहत प्रदर्शन तुलना

प्रायोगिक परिणाम

मुख्य परिणाम

औसत संचार दर विश्लेषण:

• FAS सभी कॉन्फ़िगरेशन में FPA आधारभूत से महत्वपूर्ण रूप से बेहतर है
• लक्ष्य संख्या K बढ़ने के साथ, ISAC बाधा अधिक कठोर होती है, संचार दर घटती है
• बहु-लक्ष्य परिदृश्य (K>1) में भी, FAS की संचार दर एकल-लक्ष्य FPA से अधिक है

अधिकतम संचार दर वृद्धि:

• 30dB SNR, N=12 एंटीना कॉन्फ़िगरेशन पर:
  • M=1: 11.64 bps/Hz
  • M=3: 14.84 bps/Hz
  • वृद्धि परिमाण: 27.6%

स्केलेबिलिटी सत्यापन

1. एंटीना संख्या विस्तार: N=4 से N=12 तक विस्तार, निरंतर प्रदर्शन सुधार
2. लक्ष्य संख्या अनुकूलन: एकल-लक्ष्य से बहु-लक्ष्य परिदृश्य में प्रभावी संक्रमण
3. उपयोगकर्ता संख्या विस्तार: बहु-उपयोगकर्ता परिदृश्य में महत्वपूर्ण प्रदर्शन वृद्धि

प्रायोगिक निष्कर्ष

1. FAS लाभ महत्वपूर्ण: सभी परीक्षण परिदृश्यों में, FAS FPA की तुलना में स्पष्ट लाभ प्रदर्शित करता है
2. बहु-लक्ष्य संतुलन: संवेदन लक्ष्य संख्या बढ़ाने से संचार प्रदर्शन घटता है, लेकिन FAS इस संतुलन को बेहतर तरीके से संभाल सकता है
3. विस्तार अच्छा: DRL रूपरेखा अधिक जटिल बहु-उपयोगकर्ता वातावरण में निरंतर अनुकूलन कर सकती है

संबंधित कार्य

मुख्य अनुसंधान दिशाएं

1. द्रव एंटीना प्रणाली: गतिशील एंटीना पोजिशनिंग तकनीक, अतिरिक्त स्थानिक लचीलापन प्रदान करती है
2. ISAC प्रणाली: 6G नेटवर्क में संचार और संवेदन का एकीकरण तकनीक
3. गहन सुदृढ़ीकरण सीखना: वायरलेस संचार में अनुकूलन अनुप्रयोग

इस पेपर का संबंधित कार्य से संबंध

• साहित्य 8 की तुलना में: स्पष्ट रूप से एकल-लक्ष्य के बजाय कई संवेदन उपयोगकर्ताओं का समर्थन करता है
• साहित्य 9,10 की तुलना में: असतत पोर्ट सक्रियण के बजाय निरंतर स्थिति चयन प्राप्त करता है
• तकनीकी योगदान: पहली बार BCD और DRL को FAS-ISAC संयुक्त अनुकूलन समस्या के समाधान के लिए संयोजित करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. प्रस्तावित BCD-DRL रूपरेखा FAS-सहायक बहु-लक्ष्य ISAC प्रणाली अनुकूलन समस्या को प्रभावी ढंग से समाधान कर सकती है
2. DDPG एल्गोरिथ्म बीमफॉर्मिंग और एंटीना स्थिति के संयुक्त अनुकूलन को सफलतापूर्वक प्राप्त करता है
3. सिमुलेशन परिणाम विधि की स्केलेबिलिटी और बहु-लक्ष्य परिदृश्य में प्रभावशीलता को प्रदर्शित करते हैं

सीमाएं

1. सिमुलेशन वातावरण: अनुसंधान सिमुलेशन वातावरण पर आधारित है, वास्तविक तैनाती में हार्डवेयर बाधाएं और चैनल मॉडल जटिलता पर्याप्त रूप से विचार नहीं की गई है
2. कम्प्यूटेशनल जटिलता: हालांकि स्केलेबल समाधान प्रस्तावित किया गया है, बड़े पैमाने की प्रणाली की वास्तविक समय कम्प्यूटेशन आवश्यकता को आगे सत्यापन की आवश्यकता है
3. मजबूती: चैनल अनुमान त्रुटि और पर्यावरणीय परिवर्तन के प्रति मजबूती विश्लेषण सीमित है

भविष्य की दिशाएं

1. हार्डवेयर कार्यान्वयन: वास्तविक FAS हार्डवेयर बाधाओं को ध्यान में रखते हुए प्रणाली डिजाइन
2. मजबूती वृद्धि: चैनल अनिश्चितता और पर्यावरणीय परिवर्तन के प्रति अनुकूलन क्षमता में सुधार
3. बड़े पैमाने पर तैनाती: बड़े पैमाने की एंटीना सरणी और उपयोगकर्ता संख्या के लिए अनुकूलन रणनीति का अनुसंधान

गहन मूल्यांकन

शक्तियां

1. समस्या महत्ता: FAS-ISAC प्रणाली में महत्वपूर्ण तकनीकी चुनौतियों को समाधान करता है, महत्वपूर्ण सैद्धांतिक और व्यावहारिक मूल्य है
2. विधि नवाचार: BCD-DRL हाइब्रिड रूपरेखा का डिजाइन चतुर है, उत्तल अनुकूलन और सुदृढ़ीकरण सीखने को जैविक रूप से संयोजित करता है
3. तकनीकी गहराई: MDP मॉडलिंग उचित है, स्थिति स्पेस और पुरस्कार फलन डिजाइन व्यापक विचार करता है
4. पर्याप्त प्रयोग: विभिन्न कॉन्फ़िगरेशन के तहत सिमुलेशन सत्यापन विधि की प्रभावशीलता और स्केलेबिलिटी को प्रदर्शित करता है

कमियां

1. सैद्धांतिक विश्लेषण: अभिसरण और जटिलता का सैद्धांतिक विश्लेषण अभाव
2. सीमित तुलना: मुख्य रूप से FPA आधारभूत के साथ तुलना, अन्य उन्नत विधियों के साथ तुलना अभाव
3. व्यावहारिक बाधाएं: वास्तविक तैनाती में इंजीनियरिंग बाधाओं और सीमाओं पर पर्याप्त विचार नहीं
4. पैरामीटर संवेदनशीलता: हाइपरपैरामीटर चयन के प्रति संवेदनशीलता विश्लेषण अपर्याप्त

प्रभाव

1. शैक्षणिक योगदान: FAS-ISAC प्रणाली अनुकूलन के लिए नई अनुसंधान दिशा और तकनीकी पथ प्रदान करता है
2. व्यावहारिक मूल्य: 6G नेटवर्क में बुद्धिमान एंटीना प्रणाली डिजाइन के लिए संदर्भ प्रदान करता है
3. पुनरुत्पादनीयता: विधि विवरण विस्तृत है, लेकिन कोड और विस्तृत पैरामीटर सेटिंग सार्वजनिक नहीं है

लागू परिदृश्य

1. 6G संचार प्रणाली: विशेष रूप से संचार और बहु-लक्ष्य संवेदन की एक साथ आवश्यकता वाले परिदृश्यों के लिए उपयुक्त
2. बुद्धिमान परिवहन: वाहन नेटवर्क में बहु-लक्ष्य पहचान और संचार
3. औद्योगिक IoT: स्मार्ट विनिर्माण में उपकरण निगरानी और डेटा संचरण
4. स्मार्ट शहर: शहरी वातावरण में बहु-कार्यात्मक बेस स्टेशन तैनाती

संदर्भ

पेपर FAS, ISAC, गहन सुदृढ़ीकरण सीखना आदि मुख्य क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करते हुए 11 संबंधित संदर्भों का हवाला देता है, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करता है।

समग्र मूल्यांकन: यह FAS-ISAC प्रणाली अनुकूलन में एक उच्च तकनीकी गुणवत्ता वाला पेपर है जो एक नवीन समाधान प्रस्तावित करता है। हालांकि सैद्धांतिक विश्लेषण और व्यावहारिक तैनाती विचार में सुधार की गुंजाइश है, लेकिन इसके तकनीकी योगदान और प्रायोगिक सत्यापन दोनों काफी व्यापक हैं, जो संबंधित क्षेत्र के विकास में सकारात्मक प्रभाव डालते हैं।