2025-11-12T21:16:10.844190

A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression

Qureshi, Ogri, Bell et al.

Gaussian Processes (GPs) are widely recognized as powerful non-parametric models for regression and classification. Traditional GP frameworks predominantly operate under the assumption that the inputs are either accurately known or subject to zero-mean noise. However, several real-world applications such as mobile sensors have imperfect localization, leading to inputs with biased errors. These biases can typically be estimated through measurements collected over time using, for example, Kalman filters. To avoid recomputation of the entire GP model when better estimates of the inputs used in the training data become available, we introduce a technique for updating a trained GP model to incorporate updated estimates of the inputs. By leveraging the differentiability of the mean and covariance functions derived from the squared exponential kernel, a second-order correction algorithm is developed to update the trained GP models. Precomputed Jacobians and Hessians of kernels enable real-time refinement of the mean and covariance predictions. The efficacy of the developed approach is demonstrated using two simulation studies, with error analyses revealing improvements in both predictive accuracy and uncertainty quantification.

academic

गॉसियन प्रक्रिया प्रतिगमन में इनपुट त्रुटियों के सुधार के लिए टेलर श्रृंखला दृष्टिकोण

मूल जानकारी

पेपर ID: 2504.18463
शीर्षक: A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression
लेखक: Muzaffar Qureshi, Tochukwu Elijah Ogri, Zachary I. Bell, Wanjiku A. Makumi, Rushikesh Kamalapurkar
वर्गीकरण: eess.SY (सिस्टम और नियंत्रण), cs.RO (रोबोटिक्स), cs.SY (सिस्टम और नियंत्रण)
प्रकाशन तिथि: 25 अप्रैल 2025
पेपर लिंक: https://arxiv.org/abs/2504.18463

सारांश

यह पेपर गॉसियन प्रक्रिया प्रतिगमन में इनपुट त्रुटियों के सुधार के लिए एक टेलर श्रृंखला-आधारित विधि प्रस्तावित करता है। परंपरागत GP ढांचा मानता है कि इनपुट या तो सटीक रूप से ज्ञात हैं या शून्य माध्य शोर का पालन करते हैं, लेकिन मोबाइल सेंसर जैसे व्यावहारिक अनुप्रयोगों में, स्थिति निर्धारण की अशुद्धि के कारण इनपुट में पूर्वाग्रहपूर्ण त्रुटियां होती हैं। बेहतर इनपुट अनुमान प्राप्त करते समय संपूर्ण GP मॉडल को पुनः गणना करने से बचने के लिए, यह पेपर वर्गीय घातीय कर्नेल के माध्य और सहप्रसरण फलनों की अवकलनीयता का उपयोग करके प्रशिक्षित GP मॉडल को अपडेट करने के लिए एक द्वितीय-क्रम सुधार एल्गोरिदम विकसित करता है। पूर्वगणना किए गए जैकोबियन और हेसियन मैट्रिक्स के माध्यम से, माध्य और सहप्रसरण पूर्वानुमान का वास्तविक समय परिशोधन प्राप्त किया जाता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मूल समस्या: व्यावहारिक अनुप्रयोगों में, मोबाइल सेंसर स्थिति निर्धारण त्रुटि के कारण GP प्रतिगमन के इनपुट डेटा में अशुद्धि का कारण बनते हैं, जो मॉडल प्रदर्शन को प्रभावित करता है
महत्व: सटीक क्षेत्र मानचित्रण पर्यावरण निगरानी, खोज और बचाव कार्यों, स्वायत्त जलीय अन्वेषण जैसे क्षेत्रों में महत्वपूर्ण है
मौजूदा विधियों की सीमाएं:
- परंपरागत विधियां इनपुट को सटीक या केवल शून्य माध्य शोर मानती हैं
- विषमलैंगिक GP मुख्य रूप से आउटपुट विचरण समायोजन पर केंद्रित है, निर्धारक इनपुट माप पर निर्भर है
- शोर इनपुट GP (NIGP) का स्थानीय रैखिक सन्निकटन उच्च अरैखिक कार्यों के तहत विफल हो सकता है
- विस्तारित कलमन फिल्टर मजबूत अरैखिकता या व्यतिक्रमण के तहत प्रदर्शन में गिरावट करता है

अनुसंधान प्रेरणा

GPS संकेत अनुपलब्ध या अविश्वसनीय होने वाले वातावरण में, स्थिति निर्धारण अनिश्चितता GP मॉडल में प्रसारित होती है, जिससे पूर्वानुमान प्रदर्शन में गिरावट होती है। मौजूदा अनुसंधान मुख्य रूप से इनपुट अनिश्चितता के GP पूर्वानुमान पर प्रभाव का विश्लेषण करता है, लेकिन संशोधित इनपुट अनुमानों के अनुकूल होने के लिए GP मॉडल को अपडेट करने की विधि की कमी है।

मूल योगदान

GP मॉडल अपडेट तकनीक विकसित की: पूर्वगणना किए गए GP माध्य और सहप्रसरण फलनों के उच्च-क्रम व्युत्पन्नों के माध्यम से, स्थिति निर्धारण-प्रेरित इनपुट त्रुटि सुधार को एकीकृत किया
विस्तृत पूर्वानुमान त्रुटि और गणना समय विश्लेषण प्रदान किया: सैद्धांतिक अभिसरण विश्लेषण और गणना जटिलता मूल्यांकन सहित
व्यापक मोंटे कार्लो सिमुलेशन सत्यापन: दो अलग-अलग मामलों के माध्यम से विधि की प्रभावशीलता का प्रदर्शन
वास्तविक समय अपडेट क्षमता: पुनः प्रशिक्षण या माप स्थानों का पुनः दौरा करने की आवश्यकता से बचना

विधि विवरण

कार्य परिभाषा

डोमेन $X \subset \mathbb{R}^p$ में माप स्थानों के समूह का दौरा करने वाले सेंसर-सुसज्जित एजेंट पर विचार करें, अदिश क्षेत्र $h: X \to \mathbb{R}$ का मानचित्रण बनाते हुए। क्षेत्र को GP द्वारा मॉडल किया जा सकता है: $h̄ \sim GP(μ, Σ)$

जहां $μ: \mathbb{R}^p \to \mathbb{R}$ माध्य फलन है, $Σ: \mathbb{R}^p × \mathbb{R}^p \to \mathbb{R}$ सहप्रसरण फलन है।

मूल एल्गोरिदम आर्किटेक्चर

1. वर्गीय घातीय कर्नेल फलन

वर्गीय घातीय सहप्रसरण कर्नेल का चयन करें: $k(\hat{x}, \hat{x}') := α^2 \exp\left(-\frac{||\hat{x} - \hat{x}'||^2}{2β^2}\right)$

जहां $α$ आयाम को दर्शाता है, $β$ लंबाई पैमाना है।

2. टेलर श्रृंखला सुधार विधि

क्वेरी स्थिति $x_e$ के लिए, संशोधित माध्य वेक्टर द्वितीय-क्रम टेलर विस्तार द्वारा व्यक्त किया जाता है: $M(\hat{X}, x_e) := \hat{M}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$

जहां $δ_i$ i-वीं माप स्थिति का विक्षोभ दर्शाता है।

3. जैकोबियन और हेसियन मैट्रिक्स

माध्य फलन का जैकोबियन मैट्रिक्स: $J_M := \left[\frac{\partial\hat{M}}{\partial\hat{x}_1}, \frac{\partial\hat{M}}{\partial\hat{x}_2}, \cdots, \frac{\partial\hat{M}}{\partial\hat{x}_n}\right]$

हेसियन मैट्रिक्स $H_M \in \mathbb{R}^{n×n}$ सभी द्वितीय-क्रम आंशिक व्युत्पन्न शामिल करता है।

4. सहप्रसरण सुधार

सहप्रसरण मैट्रिक्स का सुधार समान टेलर विस्तार का पालन करता है: $S(\hat{X}, x_e) := \hat{S}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$

तकनीकी नवाचार बिंदु

ऑफलाइन-ऑनलाइन ढांचा:
- ऑफलाइन चरण: माध्य और सहप्रसरण फलनों के उच्च-क्रम व्युत्पन्नों की पूर्वगणना
- ऑनलाइन चरण: संग्रहीत व्युत्पन्न और इनपुट त्रुटि जानकारी का उपयोग करके वास्तविक समय में GP मॉडल अपडेट करें
अवकलनीयता का उपयोग: वर्गीय घातीय कर्नेल की अनंत अवकलनीयता का पूर्ण उपयोग, सभी व्युत्पन्नों की अस्तित्व और निरंतरता सुनिश्चित करता है
गणना दक्षता: ऑनलाइन अपडेट की गणना जटिलता O(n) है, पूर्ण GP पुनर्गणना के O(n³) की तुलना में महत्वपूर्ण सुधार

सैद्धांतिक विश्लेषण

अभिसरण प्रमेय

प्रमेय 1: यदि कर्नेल फलन k इनपुट डोमेन X पर विश्लेषणात्मक है, तो माध्य फलन $\hat{M}$ भी वास्तविक विश्लेषणात्मक है, टेलर श्रृंखला विस्तार के रूप में व्यक्त किया जा सकता है, और X के किसी भी कॉम्पैक्ट उपसमुच्चय पर समान रूप से अभिसरण करता है।

प्रमेय 2: अपेक्षित सन्निकटन सटीकता ε > 0 दी गई है, टेलर श्रृंखला विस्तार में आवश्यक न्यूनतम व्युत्पन्न क्रम है: $N = \left\lceil \frac{\log(\frac{ε}{L_m})}{\log(β)} \right\rceil$

जहां $L_m$ (N+1)-क्रम व्युत्पन्न टेंसर को बाध्य करने वाला स्थिरांक है।

प्रायोगिक सेटअप

डेटासेट और परिदृश्य

एक-आयामी प्रयोग

फलन: $h_1(x) = \sin(2πx)$ , $x \in [0,1]$
माप स्थान: $\hat{X} = \{0, 0.1, 0.2, ..., 1\}$
कर्नेल पैरामीटर: $α = 0.1$ , $β = 0.2$
विक्षोभ: गॉसियन शोर $ε \sim N(0, 0.01^2)$ , त्रुटि वेक्टर $δ_i \sim [0, 0.03]$

द्वि-आयामी प्रयोग

फलन: $h_2(x,y) = \sin(2πx) \cdot \cos(2πy)$ , $(x,y) \in [0,1]^2$
विक्षोभ: निश्चित पूर्वाग्रह $δ_i = 0.1$ (सेंसर पूर्वाग्रह का अनुकरण)

मूल्यांकन मेट्रिक्स

पूर्वानुमान सटीकता: संशोधित GP और आदर्श GP के बीच पूर्ण त्रुटि
गणना समय: सुधार प्रक्रिया और पूर्ण GP पुनर्गणना के समय की तुलना
अनिश्चितता परिमाणीकरण: सहप्रसरण अनुमान में सुधार की डिग्री

तुलनात्मक विधियां

आधार मॉडल: वास्तविक माप स्थानों पर प्रशिक्षित आदर्श GP मॉडल
क्षतिग्रस्त मॉडल: योजनाबद्ध स्थानों पर प्रशिक्षित लेकिन वास्तविक माप मानों का उपयोग करने वाला GP मॉडल
संशोधित मॉडल: प्रस्तावित विधि का उपयोग करके संशोधित GP मॉडल

प्रायोगिक परिणाम

मुख्य परिणाम

1000 सिमुलेशन के औसत परिणामों के अनुसार:

मेट्रिक	एक-आयामी सिमुलेशन	द्वि-आयामी सिमुलेशन
क्षतिग्रस्त GP त्रुटि	1.2653	1.939
संशोधित GP त्रुटि	1.055	1.2296
सुधार प्रतिशत	79.27%	71.785%

गणना समय तुलना

विधि	एक-आयामी समय (सेकंड)	द्वि-आयामी समय (सेकंड)
क्षतिग्रस्त GP	0.019	0.023
संशोधित GP	0.000022	0.000036

मुख्य निष्कर्ष

उल्लेखनीय सटीकता सुधार: दोनों परीक्षण परिदृश्यों में, संशोधित विधि ने 70% से अधिक त्रुटि में कमी प्राप्त की
गणना दक्षता में विशाल सुधार: संशोधन प्रक्रिया पूर्ण GP गणना से लगभग 1000 गुना तेज है
अनिश्चितता परिमाणीकरण सुधार: सहप्रसरण अनुमान में भी महत्वपूर्ण सुधार हुआ
वास्तविक समय अनुकूलन क्षमता: विधि ऑनलाइन अपडेट का समर्थन करती है, पुनः प्रशिक्षण की आवश्यकता नहीं है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

प्रभावशीलता सत्यापन: प्रस्तावित टेलर श्रृंखला-आधारित सुधार विधि दोनों सिमुलेशन अध्ययनों में त्रुटि में महत्वपूर्ण कमी और गणना दक्षता में सुधार दिखाती है
सैद्धांतिक आधार: अभिसरण विश्लेषण के माध्यम से विधि की सैद्धांतिक विश्वसनीयता साबित की गई है
व्यावहारिक मूल्य: विधि विशेष रूप से गतिशील वातावरण में वास्तविक समय सुधार कार्यों के लिए उपयुक्त है

सीमाएं

पूर्ण विक्षोभ धारणा: विधि मानती है कि विक्षोभ $δ_i$ पूरी तरह से ज्ञात हैं, जिसका अर्थ है एजेंट की पूर्ण स्थिति अवलोकनीयता
आंशिक अवलोकन चुनौती: व्यावहारिक परिदृश्यों में केवल आंशिक स्थिति माप उपलब्ध हो सकते हैं, अतिरिक्त अनुमान रणनीति की आवश्यकता है
स्केलेबिलिटी समस्या: बड़े GP मॉडल के लिए, व्युत्पन्न मैट्रिक्स का आकार स्केलेबिलिटी के लिए प्रतिकूल हो सकता है
कर्नेल फलन सीमा: वर्तमान विधि विशेष रूप से वर्गीय घातीय कर्नेल के लिए डिज़ाइन की गई है

भविष्य की दिशाएं

सन्निकटन तकनीकें: बड़े पैमाने पर अनुप्रयोगों के लिए गणना व्यवहार्यता सुनिश्चित करने के लिए आयाम-कमी विधियां विकसित करें
आंशिक अवलोकन हैंडलिंग: अधूरी स्थिति जानकारी वाले परिदृश्यों को संभालने के लिए विधि का विस्तार करें
बहु-कर्नेल समर्थन: विधि को कर्नेल फलनों के अन्य प्रकारों तक विस्तारित करें
व्यावहारिक तैनाती: वास्तविक रोबोट सिस्टम में विधि की व्यावहारिकता सत्यापित करें

गहन मूल्यांकन

शक्तियां

विधि नवाचार मजबूत: पहली बार GP मॉडल की ऑनलाइन सुधार तकनीक प्रस्तावित की, व्यावहारिक अनुप्रयोगों में महत्वपूर्ण समस्या का समाधान किया
सैद्धांतिक आधार ठोस: पूर्ण अभिसरण विश्लेषण और त्रुटि सीमाएं प्रदान की गई हैं
गणना दक्षता उल्लेखनीय: O(n) की ऑनलाइन जटिलता O(n³) की पुनर्गणना की तुलना में विशाल लाभ है
प्रयोग पर्याप्त: एक-आयामी और द्वि-आयामी मामलों के माध्यम से विधि प्रभावशीलता का व्यापक सत्यापन
व्यावहारिक मूल्य उच्च: विशेष रूप से GPS-अस्वीकृत वातावरण में मोबाइल रोबोट अनुप्रयोगों के लिए उपयुक्त

कमियां

धारणा शर्तें कठोर: पूर्ण विक्षोभ जानकारी की धारणा व्यावहारिक अनुप्रयोगों में पूरी करना कठिन है
कर्नेल फलन सीमा: केवल वर्गीय घातीय कर्नेल के लिए विस्तृत विश्लेषण किया गया है
बड़े पैमाने पर प्रयोज्यता: उच्च-आयामी या बड़े पैमाने की समस्याओं के लिए स्केलेबिलिटी विश्लेषण अपर्याप्त है
व्यावहारिक सत्यापन अनुपस्थित: वास्तविक रोबोट सिस्टम पर प्रायोगिक सत्यापन की कमी है

प्रभाव

शैक्षणिक योगदान: GP प्रतिगमन में इनपुट त्रुटि हैंडलिंग के लिए नया सैद्धांतिक ढांचा और व्यावहारिक विधि प्रदान की
अनुप्रयोग संभावनाएं: स्वायत्त नेविगेशन, पर्यावरण निगरानी, खोज और बचाव जैसे क्षेत्रों में व्यापक अनुप्रयोग क्षमता
पुनरुत्पादनीयता: विधि विवरण विस्तृत है, एल्गोरिदम स्पष्ट है, अच्छी पुनरुत्पादनीयता है

प्रयोज्य परिदृश्य

मोबाइल रोबोट नेविगेशन: GPS-अस्वीकृत वातावरण में क्षेत्र मानचित्रण और नेविगेशन
पर्यावरण निगरानी: सेंसर नेटवर्क में डेटा संलयन और सुधार
स्वायत्त अन्वेषण: अज्ञात वातावरण में ऑनलाइन सीखना और अनुकूलन
औद्योगिक निरीक्षण: वास्तविक समय सुधार की आवश्यकता वाली गुणवत्ता नियंत्रण प्रणालियां

संदर्भ

पेपर में 21 महत्वपूर्ण संदर्भ उद्धृत किए गए हैं, जो GP सिद्धांत, रोबोट नेविगेशन, स्थिति अनुमान जैसे संबंधित क्षेत्रों के शास्त्रीय और अग्रणी कार्यों को शामिल करते हैं, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला तकनीकी पेपर है, जो GP मॉडल ऑनलाइन सुधार के लिए एक नवीन विधि प्रस्तावित करता है, जिसमें महत्वपूर्ण सैद्धांतिक मूल्य और व्यावहारिक अनुप्रयोग क्षमता है। विधि गणना दक्षता और पूर्वानुमान सटीकता दोनों पहलुओं में महत्वपूर्ण सुधार प्राप्त करती है, संबंधित क्षेत्रों के अनुसंधान और अनुप्रयोग के लिए मूल्यवान योगदान प्रदान करती है।