मानव-लूप में: वास्तविक समय वरीयता अनुकूलन

बुनियादी जानकारी

• पेपर ID: 2506.02225
• शीर्षक: Human-in-the-loop: Real-time Preference Optimization
• लेखक: Wenbin Wang, Wenjie Xu, Colin N. Jones (EPFL स्वचालित नियंत्रण प्रयोगशाला)
• वर्गीकरण: math.OC (अनुकूलन और नियंत्रण)
• प्रकाशन समय: arXiv प्रीप्रिंट, 3 नवंबर 2025 v2 संस्करण
• पेपर लिंक: https://arxiv.org/abs/2506.02225

सारांश

यह पेपर वरीयता प्रतिक्रिया के साथ अनुकूलन समस्या का अध्ययन करता है, जिसका व्यापक अनुप्रयोग भवन नियंत्रण और स्वायत्त वाहन जैसी मानव-केंद्रित इंजीनियरिंग प्रणालियों में है। मौजूदा अनुसंधान मुख्य रूप से स्थिर उपयोगकर्ता उपयोगिता अनुकूलन पर केंद्रित है, और प्रणाली के क्षणिक बंद-लूप व्यवहार पर कम ध्यान देता है। यह पेपर एक ऑनलाइन प्रतिक्रिया अनुकूलन नियंत्रक प्रस्तावित करता है जो जोड़ी तुलना प्रतिक्रिया का उपयोग करके उपयोगकर्ता उपयोगिता को अनुकूलित कर सकता है, साथ ही इष्टतमता और बंद-लूप स्थिरता गारंटी प्रदान करता है। यादृच्छिक अन्वेषण संकेत जोड़कर, नियंत्रक लगातार दो समय चरणों के बीच बाइनरी उपयोगिता तुलना प्रतिक्रिया के आधार पर ढाल का अनुमान लगाता है। लेखकों ने नियंत्रक और गैर-रैखिक प्रणालियों के बीच परस्पर क्रिया के समय बंद-लूप व्यवहार का विश्लेषण किया है, और साबित किया है कि हल्के अनुमानों के तहत, नियंत्रक इष्टतम बिंदु पर अभिसरित होता है और कोई अस्थिरता नहीं लाता है। सैद्धांतिक निष्कर्षों को संख्यात्मक प्रयोगों द्वारा सत्यापित किया गया है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समाधान की जाने वाली समस्याएं

1. मानव-मशीन इंटरैक्शन नियंत्रण समस्या: ऐसे मानव-जागरूक नियंत्रकों को कैसे डिज़ाइन किया जाए जो उपयोगकर्ता की संभावित उपयोगिता को वास्तविक समय में अनुकूलित कर सकें, जिससे प्रणाली उपयोगकर्ता की वरीयताओं के अनुसार समायोजित हो सके
2. वरीयता प्रतिक्रिया का वास्तविक समय अनुकूलन: बाइनरी वरीयता तुलना (निरपेक्ष उपयोगिता मानों के बजाय) का उपयोग करके ऑनलाइन अनुकूलन कैसे किया जाए
3. बंद-लूप स्थिरता गारंटी: प्रणाली के क्षणिक व्यवहार को ध्यान में रखते हुए, यह कैसे सुनिश्चित किया जाए कि अनुकूलन प्रक्रिया प्रणाली की अस्थिरता का कारण नहीं बनेगी

समस्या का महत्व

• व्यक्तिगत अंतर: पारंपरिक नियंत्रक बड़े पैमाने पर जनसंख्या मॉडल के आधार पर पूर्वनिर्धारित संदर्भ बिंदुओं को ट्रैक करते हैं (जैसे भवन नियंत्रण में इनडोर तापमान), जो विचलन का परिचय देता है और व्यक्तिगत अंतरों को ध्यान में न रखने के कारण उप-इष्टतम प्रदर्शन का कारण बनता है
• समय-परिवर्तनशील उपयोगिता: वास्तविक समय मानव प्रतिक्रिया के बिना, नियंत्रक समय-परिवर्तनशील उपयोगिता के लिए प्रतिक्रिया नहीं कर सकता है, और बाहरी व्यवधानों के लिए भी मजबूत नहीं है
• मानव संज्ञानात्मक विशेषताएं: मनुष्य निरपेक्ष मूल्यांकन की तुलना में सापेक्ष तुलना में अधिक कुशल हैं, इसलिए वरीयता प्रतिक्रिया आमतौर पर जोड़ी तुलना के रूप में प्रकट होती है

मौजूदा तरीकों की सीमाएं

1. ऑनलाइन प्रतिक्रिया अनुकूलन (OFO): मौजूदा OFO तरीके (जैसे ग्रिड नियंत्रण, रोबोट समन्वय) को सटीक उपयोगिता मानों या ढाल जानकारी की आवश्यकता होती है, जिससे मानव वरीयता प्रतिक्रिया परिदृश्यों में सीधे आवेदन करना मुश्किल है
2. ऑफलाइन वरीयता अनुकूलन:
   • अधिकांश अनुसंधान स्थिर समस्याओं पर विचार करते हैं, प्रणाली के क्षणिक व्यवहार को नजरअंदाज करते हैं
   • मौजूदा ढाल अनुमान विधियां (जैसे 18,19) प्रत्येक समय चरण में दो फ़ंक्शन मूल्यांकन की आवश्यकता होती हैं, ऑनलाइन कार्यान्वयन के लिए अनुपयुक्त हैं
   • बंद-लूप स्थिरता विश्लेषण की कमी है
3. स्थिरता को मापना मुश्किल है: वरीयता प्रतिक्रिया की बाइनरी प्रकृति समग्र गतिशीलता को अत्यधिक गैर-रैखिक बनाती है, जिससे स्थिरता का विश्लेषण करना मुश्किल है
4. सीमित उपयोगकर्ता ज्ञान: उपयोगकर्ता आमतौर पर प्रणाली गतिशीलता के बारे में सीमित जानकारी रखते हैं, उनकी वरीयताओं का सीधे पालन करने से प्रणाली अस्थिर हो सकती है

अनुसंधान प्रेरणा

हाल ही में प्रस्तावित मॉडल-मुक्त OFO और एकल-बिंदु अवशेष अनुमान 8 से प्रेरित होकर, लेखकों का उद्देश्य वास्तविक समय वरीयता अनुकूलन समस्या को हल करने और बंद-लूप गारंटी प्रदान करने वाला पहला काम विकसित करना है।

मुख्य योगदान

1. नया OFO नियंत्रक: बाइनरी वरीयता प्रतिक्रिया का उपयोग करके उपयोगकर्ता उपयोगिता को अनुकूलित करने और बंद-लूप स्थिरता सुनिश्चित करने वाला पहला ऑनलाइन प्रतिक्रिया अनुकूलन नियंत्रक प्रस्तावित करता है
2. एकल-बिंदु मूल्यांकन योजना: यादृच्छिक अन्वेषण योजना का उपयोग करता है, प्रत्येक समय चरण में केवल एक बार उपयोगिता मूल्यांकन की आवश्यकता होती है (दो के बजाय), ऑनलाइन कार्यान्वयन के लिए अधिक उपयुक्त है
3. सैद्धांतिक गारंटियां:
   • बंद-लूप प्रणाली की स्थिरता साबित की गई है (Lemma 1: अपेक्षित Lyapunov फ़ंक्शन सीमित है)
   • इष्टतमता गारंटी स्थापित की गई है (Theorem 1: अपेक्षित दूरी O(μ, δ) में अभिसरित होती है)
   • प्रणाली के क्षणिक व्यवहार के प्रदर्शन पर प्रभाव को मापा गया है
4. पहली बंद-लूप गारंटी: लेखकों के ज्ञान के अनुसार, यह वास्तविक समय वरीयता अनुकूलन समस्या के लिए बंद-लूप गारंटी प्रदान करने वाला पहला काम है
5. संख्यात्मक सत्यापन: तापीय आराम अनुकूलन समस्या के माध्यम से सैद्धांतिक परिणामों की प्रभावशीलता को सत्यापित किया गया है

विधि विवरण

कार्य परिभाषा

प्रणाली मॉडल: घातीय रूप से स्थिर प्रणाली पर विचार करें $x_{k+1} = f(x_k, u_k)$ जहां $x \in \mathbb{R}^{n_x}$ प्रणाली स्थिति है, $u \in \mathbb{R}^{n_u}$ नियंत्रण इनपुट है, एक अद्वितीय स्थिर-अवस्था इनपुट-स्थिति मानचित्र $h: \mathbb{R}^{n_u} \rightarrow \mathbb{R}^{n_x}$ मौजूद है।

अनुकूलन उद्देश्य: स्थिर-अवस्था में उपयोगकर्ता उपयोगिता को अनुकूलित करें $\min_{x,u} \Phi(x, u), \quad \text{s.t. } x = h(u)$ समतुल्य बिना-बाधा समस्या: $\min_u \tilde{\Phi}(u), \quad \text{जहां } \tilde{\Phi}(u) = \Phi(h(u), u)$

वरीयता प्रतिक्रिया मॉडल (Bradley-Terry मॉडल): $P(\mathbb{1}_{u_1 \succ u_2} = 1) = \sigma(\tilde{\Phi}(u_2) - \tilde{\Phi}(u_1))$ जहां $\sigma(t) = \frac{1}{1+e^{-t}}$ sigmoid फ़ंक्शन है।

मुख्य अनुमान:

1. इनपुट-स्थिति मानचित्र $h$ Lipschitz सतत है
2. उपयोगिता फ़ंक्शन $\Phi(x,u)$ $x$ के संबंध में Lipschitz सतत है
3. $\tilde{\Phi}(u)$ अवकलनीय, Lipschitz सतत, चिकना और दृढ़ता से उत्तल है

मॉडल आर्किटेक्चर

एल्गोरिथम प्रवाह (Algorithm 1):

इनपुट: चरण आकार η, चिकनाई पैरामीटर δ, प्रारंभिक इनपुट u₀, समय चरण T
for k = 1, ..., T-1:
    1. यादृच्छिक अन्वेषण जोड़ें: xₖ₊₁ = f(xₖ, uₖ + δvₖ)
       जहां vₖ (nᵤ-1)-आयामी इकाई गोले से समान रूप से नमूना किया गया है
    
    2. वरीयता प्रतिक्रिया एकत्र करें: 
       उपयोगकर्ता से Φ(xₖ₊₁, uₖ + δvₖ) और Φ(xₖ, uₖ₋₁ + δvₖ₋₁) की तुलना करने के लिए पूछें
       नमूना 𝟙_{(xₖ₊₁,uₖ+δvₖ)≻(xₖ,uₖ₋₁+δvₖ₋₁)}
    
    3. नियंत्रण इनपुट अपडेट करें:
       uₖ₊₁ = uₖ + (η/2δ)𝟙_{(xₖ₊₁,uₖ+δvₖ)≻(xₖ,uₖ₋₁+δvₖ₋₁)}vₖ
end for
आउटपुट: uₜ

बंद-लूप प्रणाली: $x_{k+1} = f(x_k, u_k + \delta v_k)$$u_{k+1} = u_k + \frac{\eta}{2\delta}\mathbb{1}_{(x_{k+1},u_k+\delta v_k)\succ(x_k,u_{k-1}+\delta v_{k-1})}v_k$

तकनीकी नवाचार बिंदु

1. एकल-बिंदु अवशेष अनुमान:
   • $x_{k+1}$ का उपयोग $h(u_k + \delta v_k)$ को अनुमानित करने के लिए करें, सटीक प्रणाली मॉडल की आवश्यकता से बचें
   • प्रत्येक समय चरण में केवल एक बार उपयोगिता मूल्यांकन की आवश्यकता होती है, पारंपरिक विधि के दो के बजाय
   • लगातार समय चरणों के बीच तुलना के आधार पर, समय श्रृंखला संरचना को स्वाभाविक रूप से एकीकृत करता है
2. संभाव्य ढाल वंश व्याख्या:
   • अपडेट नियम को संभाव्य फ़ंक्शन $p_{u'}(u) = P(\mathbb{1}_{u \succ u'} = 1)$ के ढाल वंश के रूप में व्याख्या करें
   • साबित किया कि $p_{u'}(u)$ को कम करना $\tilde{\Phi}(u)$ को कम करने के बराबर है (Lemma 3)
   • अपडेट को इस प्रकार लिखें: $u_{k+1} = u_k - \eta(\nabla p_{u_k}(u_k) + e_k)$
   • जहां त्रुटि पद $e_k$ $x_{k+1}$ का उपयोग करके $h(u_k + \delta v_k)$ को अनुमानित करने और यादृच्छिक ढाल अनुमान से आता है
3. त्रुटि विश्लेषण ढांचा:
   • त्रुटि $e_k$ की सीमा को स्पष्ट रूप से मापें (Lemma 4): $\|E[e_k|F_k]\| \leq \sqrt{R_1 V(x_{k-1}, u_{k-1}+\delta v_{k-1}) + R_2}$
   • जहां $R_1 = O(\mu)$, $R_2 = O(\mu, \delta^2)$, $\mu$ प्रणाली क्षय दर है
   • प्रणाली जितनी तेजी से स्थिर होता है (μ जितना छोटा), अनुमान त्रुटि उतनी ही छोटी होती है
4. स्थिरता और इष्टतमता का एकीकृत विश्लेषण:
   • Lyapunov फ़ंक्शन विश्लेषण के माध्यम से स्थिरता का विश्लेषण करें (Lemma 1)
   • अपेक्षित दूरी $E[\|u_k - u^*\|^2]$ के माध्यम से इष्टतमता का विश्लेषण करें (Theorem 1)
   • दोनों को प्रणाली के क्षणिक व्यवहार के माध्यम से जोड़ें

सैद्धांतिक परिणाम

स्थिरता (Lemma 1): $E[V(x_k, u_k+\delta v_k)] \leq \mu^k E[V(x_0, u_0+\delta v_0)] + \frac{a_1}{1-\mu}(2\delta^2 + \eta + (\frac{\eta}{2\delta})^2)$ जहां $\mu = \frac{2\alpha_2}{\alpha_1}(1-\frac{\alpha_3}{\alpha_2}) < 1$।

इष्टतमता (Theorem 1): $E[\|u_k - u^*\|^2] \leq (\frac{1+\rho}{2})^{k-k'} E[\|u_{k'} - u^*\|^2] + O(\mu, \mu^{k'}, \delta)$ जहां $\rho = 1 - 2\sigma'(0)m\eta$।

मुख्य अंतर्दृष्टि:

• स्थिर-अवस्था त्रुटि $O(\mu, \delta)$ द्वारा विशेषता है
• तेजी से प्रणाली स्थिरता (छोटा μ) बेहतर प्रदर्शन की ओर ले जाता है
• अन्वेषण-शोषण व्यापार-बंद मौजूद है (δ की पसंद)

प्रायोगिक सेटअप

डेटासेट/प्रणाली मॉडल

प्रयोग 1: द्विघात समस्या

• प्रणाली: LTI प्रणाली $x_{k+1} = Ax_k + Bu_k$
• मैट्रिक्स: $A = \begin{bmatrix} c & 1 \\ 0 & c \end{bmatrix}$, $B$ इकाई मैट्रिक्स है
• पैरामीटर भिन्नता: $c \in \{0.1, 0.7\}$ विभिन्न क्षय दरों का परीक्षण करने के लिए
• अनुकूलन उद्देश्य: $\min (x-x_{ref})^\top(x-x_{ref})$, जहां $x_{ref} = [100, 100]^\top$
• स्थिर-अवस्था मानचित्र: $H = (I-A)^{-1}B$

प्रयोग 2: तापीय आराम अनुकूलन

• प्रणाली: 13-अवस्था भवन LTI मॉडल 27
• उपयोगिता फ़ंक्शन: PMV (Predictive Mean Vote) मॉडल 3
• मूल्यांकन मेट्रिक: PPD (Predicted Percentage of Dissatisfied) सूचकांक
• उद्देश्य: PPD को कम करने वाले इनडोर तापमान की पहचान करें
• उपयोगकर्ता सेटिंग: टाइपिंग गतिविधि, खेल पैंट, टी-शर्ट और जूते पहने हुए

मूल्यांकन मेट्रिक्स

1. सापेक्ष त्रुटि: $\|x_k - x_{ref}\|/\|x_{ref}\|$ (लॉग स्केल)
2. तापमान ट्रैकिंग: वास्तविक तापमान और इष्टतम तापमान के बीच अंतर
3. स्थिर-अवस्था विचरण: स्थिर-अवस्था में एल्गोरिथम की उतार-चढ़ाव की डिग्री
4. ओवरशूट: अभिसरण प्रक्रिया में अधिकतम विचलन

तुलना विधियां

1. बीजीय प्रणाली (नारंगी रेखा): मान लें कि $H$ ज्ञात है, सीधे नमूना $\mathbb{1}_{u_k+\delta v_k \succ u_{k-1}+\delta v_{k-1}}$
2. शोर-मुक्त उपयोगकर्ता मॉडल: $\mathbb{1} = \text{sign}(\Phi(x_k, u_{k-1}+\delta v_{k-1}) - \Phi(x_{k+1}, u_k+\delta v_k))$
3. प्रस्तावित विधि (नीली रेखा): पूर्ण Algorithm 1

कार्यान्वयन विवरण

• चरण आकार: $\eta = 0.1$
• चिकनाई पैरामीटर: $\delta = 0.5$
• सिमुलेशन रन: 20 स्वतंत्र रन
• सांख्यिकीय प्रदर्शन: ठोस रेखा माध्य है, छायांकित क्षेत्र एक मानक विचलन है
• प्रारंभिक शर्तें: $u_0$ यादृच्छिक रूप से आरंभ किया गया है

प्रायोगिक परिणाम

मुख्य परिणाम

प्रयोग 1: द्विघात समस्या

मुख्य निष्कर्ष:

1. स्थिर-अवस्था प्रदर्शन: प्रस्तावित विधि (नीली रेखा) और बीजीय प्रणाली (नारंगी रेखा) स्थिर-अवस्था में तुलनीय सटीकता स्तर प्राप्त करते हैं
2. क्षणिक प्रभाव: धीमी प्रणाली (c=0.7) के लिए, प्रस्तावित विधि अधिक ओवरशूट और उच्च स्थिर-अवस्था विचरण प्रदर्शित करती है
3. सैद्धांतिक सत्यापन: प्रायोगिक परिणाम सैद्धांतिक भविष्यवाणी के अनुरूप हैं - प्रणाली क्षय दर μ प्रदर्शन को प्रभावित करता है

प्रयोग 2: तापीय आराम अनुकूलन

• अभिसरण: एल्गोरिथम सफलतापूर्वक इष्टतम तापमान (काली क्षैतिज रेखा) को ट्रैक करता है
• शोर प्रभाव:
  • शोर प्रतिक्रिया के साथ (नीली रेखा): धीमा अभिसरण, उतार-चढ़ाव मौजूद है
  • शोर-मुक्त प्रतिक्रिया (नारंगी रेखा): तेजी से अभिसरण, अधिक स्थिर
• व्यावहारिकता: η और δ को सावधानीपूर्वक समायोजित करके, नियंत्रक बिना बड़े ओवरशूट के इष्टतम बिंदु को प्रभावी ढंग से ट्रैक कर सकता है

प्रायोगिक निष्कर्ष

1. प्रणाली गतिशीलता का महत्व:
   • प्रणाली क्षणिक एल्गोरिथम प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है
   • तेजी से स्थिर प्रणाली (छोटा μ) बेहतर ट्रैकिंग प्रदर्शन प्राप्त करता है
   • यह Lemma 1 और Theorem 1 में μ के बारे में सैद्धांतिक परिणामों को सत्यापित करता है
2. पैरामीटर व्यापार-बंद:
   • δ: छोटा δ अन्वेषण शोर को कम करता है लेकिन स्थानीय इष्टतमता का कारण बन सकता है
   • η: अभिसरण गति और स्थिरता के बीच संतुलन की आवश्यकता है
   • अन्वेषण-शोषण व्यापार-बंद मौजूद है
3. उपयोगकर्ता मॉडल प्रभाव:
   • Bradley-Terry मॉडल (संभाव्य प्रतिक्रिया) अतिरिक्त शोर का परिचय देता है
   • निर्धारक प्रतिक्रिया प्रदर्शन में महत्वपूर्ण सुधार करती है
   • भविष्य के अनुसंधान के लिए वैकल्पिक उपयोगकर्ता मॉडल की जांच करने की प्रेरणा प्रदान करता है
4. व्यावहारिक अनुप्रयोग क्षमता:
   • तापीय आराम अनुकूलन मानव उपयोगिता सीखने की व्यावहारिक अनुप्रयोग क्षमता प्रदर्शित करता है
   • एकल-बिंदु मूल्यांकन योजना ऑनलाइन कार्यान्वयन के लिए उपयुक्त है
   • एल्गोरिथम प्रारंभिक शर्तों के लिए मजबूत है

संबंधित कार्य

ऑनलाइन प्रतिक्रिया अनुकूलन (OFO)

• नेटवर्क नियंत्रण 5 और रोबोट समन्वय 6 के अनुप्रयोग
• सैद्धांतिक गारंटियां: प्रथम-क्रम 7 और शून्य-क्रम 8 सूत्र
• सीमाएं: सटीक उपयोगिता मानों या ढाल जानकारी की आवश्यकता होती है

ऑफलाइन वरीयता अनुकूलन

सीमित कार्य स्थान:

• इष्टतमता अवधारणाएं: Copeland winner 10, Borda winner 11
• एल्गोरिथम: यादृच्छिक अन्वेषण 12, लालची खोज 13

निरंतर कार्य स्थान:

• GP मॉडलिंग: गॉसियन प्रक्रिया के साथ अंतर्निहित उपयोगिता को मॉडल करें
• अन्वेषण नीतियां: अन्वेषण और शोषण को संतुलित करें [14]15
• खेद गारंटियां: जब उपयोगिता RKHS में हो [16]17

ढाल अनुमान:

• मौजूदा विधियां [18]19: प्रत्येक चरण में दो मूल्यांकन की आवश्यकता होती है
• यह पेपर: केवल एक मूल्यांकन की आवश्यकता होती है, ऑनलाइन परिदृश्य के लिए अधिक उपयुक्त है

इस पेपर का अंतर

1. पहली बंद-लूप गारंटी: प्रणाली क्षणिक को ध्यान में रखते हुए वास्तविक समय वरीयता अनुकूलन
2. एकल-बिंदु मूल्यांकन: कम्प्यूटेशनल दक्षता अधिक है
3. सैद्धांतिक पूर्णता: स्थिरता और इष्टतमता दोनों गारंटियां प्रदान करता है
4. व्यावहारिकता: वास्तविक इंजीनियरिंग प्रणालियों के लिए उपयुक्त है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. सैद्धांतिक योगदान:
   • वरीयता प्रतिक्रिया का उपयोग करके और बंद-लूप गारंटी प्रदान करने वाला पहला मानव-जागरूक नियंत्रक विकसित किया
   • प्रणाली के क्षणिक व्यवहार के प्रदर्शन पर प्रभाव को स्पष्ट रूप से मापा
   • स्थिरता और इष्टतमता के सैद्धांतिक गारंटियां स्थापित कीं
2. विधि के लाभ:
   • प्रत्येक चरण में केवल एक बार उपयोगिता मूल्यांकन की आवश्यकता होती है
   • सटीक प्रणाली मॉडल की आवश्यकता नहीं है
   • समय-परिवर्तनशील उपयोगिता और बाहरी व्यवधानों को संभाल सकता है
3. प्रायोगिक सत्यापन:
   • सैद्धांतिक परिणाम संख्यात्मक प्रयोगों में सत्यापित हैं
   • तापीय आराम अनुकूलन कार्य में व्यावहारिक अनुप्रयोग क्षमता प्रदर्शित करता है

सीमाएं

1. अनुमान शर्तें:
   • दृढ़ उत्तलता अनुमान कुछ अनुप्रयोगों में बहुत मजबूत हो सकता है
   • Bradley-Terry मॉडल मानता है कि मानव व्यवहार पूरी तरह से तर्कसंगत है, लेकिन वास्तव में मनुष्य हमेशा तर्कसंगत नहीं होते हैं 9
   • घातीय रूप से स्थिर प्रणाली की आवश्यकता होती है
2. स्थिर-अवस्था त्रुटि:
   • $O(\mu, \delta)$ की स्थिर-अवस्था त्रुटि मौजूद है
   • पूरी तरह से समाप्त नहीं किया जा सकता है, केवल पैरामीटर समायोजन द्वारा कम किया जा सकता है
   • बहुत धीमी प्रणालियों के लिए, प्रदर्शन कम हो सकता है
3. उपयोगकर्ता बोझ:
   • प्रत्येक समय चरण में उपयोगकर्ता प्रतिक्रिया की आवश्यकता होती है
   • व्यावहारिक अनुप्रयोगों में उपयोगकर्ता थकान का कारण बन सकता है
   • उपयोगकर्ता प्रतिक्रिया विलंब पर विचार नहीं किया गया है
4. सैद्धांतिक-व्यावहारिक अंतर:
   • निर्धारक प्रतिक्रिया मॉडल का सैद्धांतिक विश्लेषण अभी तक स्थापित नहीं हुआ है
   • प्रयोग दिखाते हैं कि शोर-मुक्त मॉडल बेहतर प्रदर्शन करता है, लेकिन सैद्धांतिक समर्थन की कमी है
5. कम्प्यूटेशनल जटिलता:
   • बड़े पैमाने की प्रणालियों की मापनीयता पर चर्चा नहीं की गई है
   • उच्च-आयामी स्थान में यादृच्छिक अन्वेषण अक्षम हो सकता है

भविष्य की दिशाएं

लेखकों द्वारा स्पष्ट रूप से प्रस्तावित दिशाएं:

1. सैद्धांतिक ढांचे का विस्तार वैकल्पिक उपयोगकर्ता मॉडल (जैसे शोर-मुक्त मॉडल) तक
2. व्यावहारिक अनुप्रयोग: उत्पाद डिजाइन, रासायनिक चयन आदि
3. अनुमानों को शिथिल करना: गैर-उत्तल उपयोगिता फ़ंक्शन, अस्थिर प्रणाली
4. बहु-एजेंट परिदृश्य: कई उपयोगकर्ताओं की वरीयताओं का एकीकरण

संभावित अनुसंधान दिशाएं: 5. स्व-अनुकूली पैरामीटर समायोजन: η और δ को ऑनलाइन समायोजित करें 6. उपयोगकर्ता थकान मॉडलिंग: प्रतिक्रिया आवृत्ति कम करें 7. विलंबित प्रतिक्रिया: उपयोगकर्ता प्रतिक्रिया विलंब को संभालें 8. उच्च-आयामी अनुकूलन: अधिक कुशल अन्वेषण रणनीतियां

गहन मूल्यांकन

ताकतें

सैद्धांतिक कठोरता:

1. पूर्ण सैद्धांतिक ढांचा: स्थिरता (Lemma 1) से इष्टतमता (Theorem 1) तक पूर्ण विश्लेषण श्रृंखला
2. स्पष्ट त्रुटि सीमाएं: अनुमान त्रुटि को स्पष्ट रूप से मापा गया है (Lemma 4), केवल स्पर्शोन्मुख परिणाम नहीं
3. हल्के अनुमान: हालांकि दृढ़ उत्तलता अनुमान है, अन्य अनुमान (Lipschitz निरंतरता) व्यावहारिक रूप से सामान्य हैं
4. पूर्ण प्रमाण: सभी मुख्य परिणामों के विस्तृत प्रमाण हैं (परिशिष्ट)

विधि नवाचार:

1. पहली बार: वरीयता प्रतिक्रिया को बंद-लूप नियंत्रण के साथ जोड़ने वाला पहला काम, अनुसंधान अंतराल को भरता है
2. एकल-बिंदु मूल्यांकन: मौजूदा विधियों की तुलना में 50% मूल्यांकन कम, व्यावहारिकता में महत्वपूर्ण सुधार
3. एकीकृत ढांचा: स्थिरता और इष्टतमता विश्लेषण को एक ही ढांचे में एकीकृत करता है
4. संभाव्य व्याख्या: बाइनरी प्रतिक्रिया को संभाव्य ढाल वंश में परिवर्तित करता है, सहज समझ प्रदान करता है

प्रायोगिक डिजाइन:

1. क्रमिक सत्यापन: सरल द्विघात समस्या से वास्तविक तापीय आराम समस्या तक
2. पैरामीटर संवेदनशीलता विश्लेषण: विभिन्न c मानों के माध्यम से प्रणाली गतिशीलता के प्रभाव का परीक्षण करता है
3. सांख्यिकीय विश्वसनीयता: 20 स्वतंत्र रन, माध्य और विचरण प्रदान करता है
4. व्यावहारिक प्रासंगिकता: तापीय आराम अनुकूलन वास्तविक अनुप्रयोग परिदृश्य है

लेखन गुणवत्ता:

1. स्पष्ट संरचना: समस्या परिभाषा से सैद्धांतिक विश्लेषण से प्रायोगिक सत्यापन तक, तर्क सुसंगत है
2. मानक संकेतन: गणितीय प्रतीकों का उपयोग सुसंगत और मानक है
3. सहज व्याख्या: तकनीकी विवरणों के अलावा कई Remark सहज व्याख्या प्रदान करते हैं

कमियां

सैद्धांतिक सीमाएं:

1. दृढ़ उत्तलता अनुमान: अनुप्रयोग की सीमा को सीमित करता है, कई व्यावहारिक उपयोगिता फ़ंक्शन (जैसे PPD) गैर-उत्तल हैं
2. स्पर्शोन्मुख परिणाम: Theorem 1 दिए गए अनुमान k' पर निर्भर करता है, परिमित समय की स्पष्ट अभिसरण दर नहीं देता है
3. स्थिरांक निर्भरता: $O(\mu, \delta)$ में स्थिरांक बहुत बड़े हो सकते हैं, सैद्धांतिक सीमा बहुत रूढ़िवादी हो सकती है
4. निर्धारक मॉडल की कमी: प्रयोग दिखाते हैं कि शोर-मुक्त मॉडल बेहतर प्रदर्शन करता है, लेकिन सैद्धांतिक विश्लेषण की कमी है

प्रायोगिक अपर्याप्तता:

1. सीमित तुलना विधियां:
   • अन्य वरीयता सीखने की विधियों (जैसे GP-आधारित विधियां [14]15) के साथ तुलना नहीं की गई है
   • पारंपरिक अनुकूली नियंत्रण विधियों के साथ तुलना नहीं की गई है
   • केवल बीजीय प्रणाली और शोर-मुक्त मॉडल के साथ तुलना की गई है
2. पैरामीटर ट्यूनिंग:
   • η और δ की पसंद की रणनीति का व्यवस्थित अध्ययन नहीं किया गया है
   • पैरामीटर चयन दिशानिर्देश प्रदान नहीं किए गए हैं
   • प्रयोगों में पैरामीटर चयन मैनुअल ट्यूनिंग प्रतीत होता है
3. स्केल सीमाएं:
   • केवल कम-आयामी प्रणालियों का परीक्षण किया गया है (2D और 13D)
   • उच्च-आयामी मामलों में मापनीयता सत्यापित नहीं की गई है
4. वास्तविक उपयोगकर्ता परीक्षण की कमी:
   • सभी प्रयोग सिमुलेटेड उपयोगकर्ता मॉडल पर आधारित हैं
   • वास्तविक मानव विषयों के साथ प्रयोग नहीं किए गए हैं
   • Bradley-Terry मॉडल की वास्तविक प्रभावशीलता सत्यापित नहीं की गई है

विधि सीमाएं:

1. अन्वेषण दक्षता: समान गोले नमूनाकरण उच्च-आयामी स्थान में अक्षम हो सकता है
2. कोल्ड स्टार्ट समस्या: एल्गोरिथम को प्रारंभिक u₀ की आवश्यकता होती है, इसे कैसे चुनें इस पर चर्चा नहीं की गई है
3. मजबूतता: मॉडल असंगति, माप शोर के लिए मजबूतता का विश्लेषण नहीं किया गया है
4. कम्प्यूटेशनल लागत: प्रत्येक चरण की कम्प्यूटेशनल जटिलता पर चर्चा नहीं की गई है

व्यावहारिक विचार:

1. उपयोगकर्ता बोझ: प्रत्येक चरण में उपयोगकर्ता प्रतिक्रिया की आवश्यकता, उपयोगकर्ता थकान का कारण बन सकता है
2. प्रतिक्रिया गुणवत्ता: मानता है कि उपयोगकर्ता सटीक वरीयता प्रदान कर सकते हैं, लेकिन व्यावहारिक रूप से असंगत हो सकते हैं
3. सुरक्षा बाधाएं: स्थिति और इनपुट बाधाओं पर विचार नहीं किया गया है, वास्तविक प्रणालियों में महत्वपूर्ण हैं
4. बहु-उद्देश्य अनुकूलन: केवल एकल उपयोगिता फ़ंक्शन पर विचार करता है

प्रभाव

क्षेत्र पर योगदान:

1. अग्रणी कार्य: वास्तविक समय वरीयता अनुकूलन के नए अनुसंधान क्षेत्र को खोलता है
2. सैद्धांतिक आधार: बाद के अनुसंधान के लिए सैद्धांतिक ढांचा और विश्लेषण उपकरण प्रदान करता है
3. अंतःविषय पुल: नियंत्रण सिद्धांत, अनुकूलन और मानव-मशीन इंटरैक्शन क्षेत्रों को जोड़ता है
4. अनुप्रयोग संभावना: मानव-जागरूक प्रणाली डिजाइन के लिए नए विचार प्रदान करता है

अपेक्षित प्रभाव:

• अल्पकालिक: वरीयता प्रतिक्रिया नियंत्रण पर अधिक अनुसंधान को प्रेरित कर सकता है
• मध्यकालीन: भवन नियंत्रण, व्यक्तिगत सिफारिशों आदि क्षेत्रों में लागू किया जा सकता है
• दीर्घकालीन: मानव-मशीन इंटरैक्शन प्रणाली के डिजाइन प्रतिमान को प्रभावित कर सकता है

सीमाएं:

• मजबूत अनुमान व्यावहारिक अनुप्रयोग को सीमित कर सकते हैं
• वास्तविक उपयोगकर्ता प्रयोगों की कमी विश्वसनीयता को प्रभावित कर सकती है
• वास्तविक तैनाती के लिए अधिक इंजीनियरिंग कार्य की आवश्यकता है

लागू परिदृश्य

आदर्श अनुप्रयोग परिदृश्य:

1. भवन नियंत्रण:
   • व्यक्तिगत तापमान समायोजन
   • प्रकाश नियंत्रण
   • वायु गुणवत्ता प्रबंधन
   • लाभ: प्रणाली गतिशीलता अपेक्षाकृत धीमी है, उपयोगकर्ता निरंतर प्रतिक्रिया प्रदान कर सकते हैं
2. व्यक्तिगत सिफारिशें:
   • उत्पाद सिफारिशें
   • सामग्री सिफारिशें
   • लाभ: उपयोगकर्ता तुलना प्रतिक्रिया प्रदान करने के आदी हैं
3. स्वास्थ्यसेवा:
   • व्यक्तिगत उपचार योजना समायोजन
   • पुनर्वास प्रशिक्षण तीव्रता समायोजन
   • लाभ: व्यक्तिगत अंतर पर जोर देता है
4. मानव-मशीन सहयोग:
   • रोबोट सहायक कार्य
   • स्वायत्त वाहन व्यक्तिगतकरण
   • लाभ: उपयोगकर्ता वरीयताओं के लिए वास्तविक समय अनुकूलन की आवश्यकता है

अनुपयुक्त परिदृश्य:

1. तेजी से गतिशील प्रणालियां: उच्च-आवृत्ति व्यापार, उड़ान नियंत्रण आदि (उपयोगकर्ता समय पर प्रतिक्रिया नहीं कर सकते)
2. उच्च-आयामी जटिल प्रणालियां: अन्वेषण दक्षता कम है
3. कठोर सुरक्षा बाधाएं: बाधाओं को संभाला नहीं जाता है, असुरक्षित हो सकता है
4. बहु-उद्देश्य संघर्ष: केवल एकल उपयोगिता पर विचार करता है
5. गैर-उत्तल अनुकूलन: सैद्धांतिक गारंटियां विफल होती हैं

सुधार सुझाव:

• सक्रिय सीखने को संयोजित करके उपयोगकर्ता प्रतिक्रिया आवृत्ति कम करें
• बाधाओं को संभालने के लिए सुरक्षा फिल्टर जोड़ें
• बहु-उद्देश्य परिदृश्य तक विस्तारित करें
• स्व-अनुकूली पैरामीटर समायोजन रणनीति विकसित करें

संदर्भ

मुख्य संदर्भ:

1. 8 Z. He et al., 2023 - मॉडल-मुक्त गैर-रैखिक प्रतिक्रिया अनुकूलन
   • इस पेपर का मुख्य सैद्धांतिक आधार
   • एकल-बिंदु अवशेष अनुमान का विचार प्रदान करता है
2. 18 Y. Yue & T. Joachims, 2009 - सूचना पुनर्प्राप्ति को इंटरैक्टिवली अनुकूलित करना
   • वरीयता प्रतिक्रिया ढाल अनुमान का शास्त्रीय कार्य
   • इस पेपर ने दो मूल्यांकन की आवश्यकता की समस्या में सुधार किया है
3. 16 W. Xu et al., 2024 - सिद्धांत-आधारित वरीयता बेयेसियन अनुकूलन
   • वरीयता बेयेसियन अनुकूलन की नवीनतम प्रगति
   • GP-आधारित विधि के लिए तुलना आधार प्रदान करता है
4. 27 Y. Lian et al., 2023 - अनुकूली मजबूत डेटा-संचालित भवन नियंत्रण
   • भवन नियंत्रण का वास्तविक प्रणाली मॉडल
   • प्रयोग के लिए वास्तविक परिदृश्य प्रदान करता है
5. 9 D. Kahneman & A. Tversky, 2013 - संभावना सिद्धांत
   • मानव निर्णय का तर्कहीन व्यवहार
   • उपयोगकर्ता मॉडल अनुमानों की सीमाओं को इंगित करता है

समग्र मूल्यांकन: यह एक सैद्धांतिक रूप से कठोर, उच्च नवाचार वाला उत्कृष्ट पेपर है जो वरीयता सीखने को बंद-लूप नियंत्रण के साथ सफलतापूर्वक जोड़ता है, मानव-मशीन इंटरैक्शन प्रणाली डिजाइन के लिए एक नया सैद्धांतिक ढांचा प्रदान करता है। मुख्य योगदान वास्तविक समय वरीयता अनुकूलन के लिए पहली बार स्थिरता और इष्टतमता गारंटी प्रदान करना है, और विधि व्यावहारिक मूल्य रखती है (एकल-बिंदु मूल्यांकन)। हालांकि, दृढ़ उत्तलता अनुमान, वास्तविक उपयोगकर्ता प्रयोगों की कमी और सीमित तुलना प्रयोग इसकी मुख्य कमियां हैं। भविष्य के कार्य को अनुमानों को शिथिल करने, वास्तविक उपयोगकर्ता अनुसंधान करने और अधिक जटिल व्यावहारिक अनुप्रयोग परिदृश्यों तक विस्तारित करने पर ध्यान केंद्रित करना चाहिए। मानव-मशीन इंटरैक्शन नियंत्रण, वरीयता सीखने या ऑनलाइन अनुकूलन में काम करने वाले शोधकर्ताओं के लिए, यह पेपर गहन अध्ययन के लायक है।