2025-11-12T21:16:10.844190

A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression

Qureshi, Ogri, Bell et al.

Gaussian Processes (GPs) are widely recognized as powerful non-parametric models for regression and classification. Traditional GP frameworks predominantly operate under the assumption that the inputs are either accurately known or subject to zero-mean noise. However, several real-world applications such as mobile sensors have imperfect localization, leading to inputs with biased errors. These biases can typically be estimated through measurements collected over time using, for example, Kalman filters. To avoid recomputation of the entire GP model when better estimates of the inputs used in the training data become available, we introduce a technique for updating a trained GP model to incorporate updated estimates of the inputs. By leveraging the differentiability of the mean and covariance functions derived from the squared exponential kernel, a second-order correction algorithm is developed to update the trained GP models. Precomputed Jacobians and Hessians of kernels enable real-time refinement of the mean and covariance predictions. The efficacy of the developed approach is demonstrated using two simulation studies, with error analyses revealing improvements in both predictive accuracy and uncertainty quantification.

academic

نهج متسلسلة تايلور لتصحيح أخطاء الإدخال في انحدار عملية غاوس

المعلومات الأساسية

معرّف الورقة: 2504.18463
العنوان: A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression
المؤلفون: Muzaffar Qureshi, Tochukwu Elijah Ogri, Zachary I. Bell, Wanjiku A. Makumi, Rushikesh Kamalapurkar
التصنيف: eess.SY (الأنظمة والتحكم)، cs.RO (الروبوتات)، cs.SY (الأنظمة والتحكم)
تاريخ النشر: 25 أبريل 2025
رابط الورقة: https://arxiv.org/abs/2504.18463

الملخص

تقدم هذه الورقة طريقة قائمة على متسلسلة تايلور لمعالجة مشكلة تصحيح أخطاء الإدخال في انحدار عملية غاوس (GP). يفترض الإطار التقليدي لـ GP أن الإدخالات إما معروفة بدقة أو تتبع ضوضاء بمتوسط صفري، لكن في التطبيقات العملية مثل المستشعرات المتحركة، توجد أخطاء منحازة في الإدخال بسبب عدم دقة التموضع. لتجنب إعادة حساب نموذج GP بالكامل عند الحصول على تقدير إدخال أفضل، تستفيد الورقة من قابلية التفاضل لدوال المتوسط والتغاير للنواة الأسية المربعة، وتطور خوارزمية تصحيح من الدرجة الثانية لتحديث نموذج GP المدرب. يتم تحقيق التحسين في الوقت الفعلي للتنبؤات بالمتوسط والتغاير من خلال مصفوفات جاكوبيان وهسيان المحسوبة مسبقاً.

الخلفية البحثية والدافع

تعريف المشكلة

المشكلة الأساسية: في التطبيقات العملية، تسبب أخطاء التموضع في المستشعرات المتحركة عدم دقة في بيانات الإدخال لانحدار GP، مما يؤثر على أداء النموذج
الأهمية: يعتبر رسم الخرائط الدقيق للحقول أمراً حاسماً في المراقبة البيئية ومهام البحث والإنقاذ والاستكشاف المائي المستقل
قيود الطرق الموجودة:
- تفترض الطرق التقليدية إدخالات دقيقة أو ضوضاء بمتوسط صفري فقط
- تركز عمليات GP غير المتجانسة بشكل أساسي على تعديل تباين الإخراج، وتعتمد على قياسات إدخال حتمية
- قد تفشل التقريبات الخطية المحلية لـ NIGP في الدوال عالية اللاخطية
- تنخفض أداء مرشح كالمان الممتد تحت اللاخطية القوية أو الاضطرابات

الدافع البحثي

في البيئات التي تكون فيها إشارات GPS غير متاحة أو غير موثوقة، تنتشر عدم اليقين في التموضع إلى نموذج GP، مما يؤدي إلى انخفاض أداء التنبؤ. يركز البحث الموجود بشكل أساسي على تحليل تأثير عدم اليقين في الإدخال على تنبؤات GP، لكنه يفتقر إلى طرق لتحديث نموذج GP للتكيف مع تقديرات الإدخال المصححة.

المساهمات الأساسية

تطوير تقنية تحديث نموذج GP: دمج تصحيح أخطاء الإدخال الناجمة عن التموضع من خلال المشتقات من الدرجة العليا للدوال المحسوبة مسبقاً للمتوسط والتغاير
توفير تحليل تفصيلي لخطأ التنبؤ ووقت الحساب: يتضمن تحليل التقارب النظري وتقييم التعقيد الحسابي
محاكاة مونت كارلو واسعة النطاق: توضيح فعالية الطريقة من خلال حالتي دراسة مختلفتين
القدرة على التحديث في الوقت الفعلي: تجنب الحاجة إلى إعادة التدريب أو إعادة زيارة مواقع القياس

شرح الطريقة

تعريف المهمة

ضع في الاعتبار وكيل مزود بمستشعر يزور مجموعة من مواقع القياس في المجال $X \subset \mathbb{R}^p$ ، لإنشاء خريطة للحقل القياسي $h: X \to \mathbb{R}$ . يمكن نمذجة الحقل باستخدام GP: $h̄ \sim GP(μ, Σ)$

حيث $μ: \mathbb{R}^p \to \mathbb{R}$ هي دالة المتوسط، و $Σ: \mathbb{R}^p × \mathbb{R}^p \to \mathbb{R}$ هي دالة التغاير.

معمارية الخوارزمية الأساسية

1. دالة النواة الأسية المربعة

اختر نواة التغاير الأسية المربعة: $k(\hat{x}, \hat{x}') := α^2 \exp\left(-\frac{||\hat{x} - \hat{x}'||^2}{2β^2}\right)$

حيث يمثل $α$ السعة و $β$ هو مقياس الطول.

2. طريقة التصحيح بمتسلسلة تايلور

بالنسبة لموقع الاستعلام $x_e$ ، يتم تمثيل متجه المتوسط المصحح من خلال توسع تايلور من الدرجة الثانية: $M(\hat{X}, x_e) := \hat{M}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$

حيث يمثل $δ_i$ الاضطراب في موقع القياس i.

3. مصفوفات جاكوبيان وهسيان

مصفوفة جاكوبيان لدالة المتوسط: $J_M := \left[\frac{\partial\hat{M}}{\partial\hat{x}_1}, \frac{\partial\hat{M}}{\partial\hat{x}_2}, \cdots, \frac{\partial\hat{M}}{\partial\hat{x}_n}\right]$

مصفوفة هسيان $H_M \in \mathbb{R}^{n×n}$ تحتوي على جميع المشتقات الجزئية من الدرجة الثانية.

4. تصحيح التغاير

يتبع تصحيح مصفوفة التغاير توسع تايلور مماثل: $S(\hat{X}, x_e) := \hat{S}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$

نقاط الابتكار التقني

إطار العمل غير المتصل-المتصل:
- المرحلة غير المتصلة: حساب المشتقات من الدرجة العليا لدوال المتوسط والتغاير مسبقاً
- المرحلة المتصلة: استخدام المشتقات المخزنة ومعلومات خطأ الإدخال لتحديث نموذج GP في الوقت الفعلي
الاستفادة من قابلية التفاضل: الاستفادة الكاملة من القابلية للتفاضل اللانهائي للنواة الأسية المربعة، مما يضمن وجود جميع المشتقات واستمراريتها
الكفاءة الحسابية: يبلغ التعقيد الحسابي للتحديث المتصل O(n)، مقابل O(n³) لإعادة حساب GP الكاملة، مما يحقق تحسناً ملحوظاً

التحليل النظري

نظريات التقارب

النظرية 1: إذا كانت دالة النواة k تحليلية على المجال X، فإن دالة المتوسط $\hat{M}$ تكون أيضاً تحليلية حقيقية، وقابلة للتمثيل كتوسع متسلسلة تايلور، وتتقارب بشكل موحد على أي مجموعة جزئية مضغوطة من X.

النظرية 2: بالنظر إلى دقة التقريب المطلوبة ε > 0، يكون الحد الأدنى لرتبة المشتقات المطلوبة في توسع متسلسلة تايلور: $N = \left\lceil \frac{\log(\frac{ε}{L_m})}{\log(β)} \right\rceil$

حيث $L_m$ هي ثابت يقيد موتر المشتقة من الدرجة (N+1).

إعداد التجارب

مجموعات البيانات والسيناريوهات

التجربة أحادية البعد

الدالة: $h_1(x) = \sin(2πx)$ ، $x \in [0,1]$
مواقع القياس: $\hat{X} = \{0, 0.1, 0.2, ..., 1\}$
معاملات النواة: $α = 0.1$ ، $β = 0.2$
الاضطرابات: ضوضاء غاوسية $ε \sim N(0, 0.01^2)$ ، متجه الخطأ $δ_i \sim [0, 0.03]$

التجربة ثنائية البعد

الدالة: $h_2(x,y) = \sin(2πx) \cdot \cos(2πy)$ ، $(x,y) \in [0,1]^2$
الاضطرابات: انحياز ثابت $δ_i = 0.1$ (محاكاة انحياز المستشعر)

مؤشرات التقييم

دقة التنبؤ: الخطأ المطلق بين GP المصحح و GP المثالي
وقت الحساب: مقارنة وقت عملية التصحيح مع إعادة حساب GP الكاملة
تحديد الكمية غير المؤكدة: درجة تحسن تقدير التغاير

الطرق المقارنة

النموذج الأساسي: نموذج GP مثالي مدرب على مواقع القياس الحقيقية
النموذج التالف: نموذج GP مدرب على المواقع المخطط لها لكن يستخدم القيم المقاسة الفعلية
النموذج المصحح: نموذج GP مصحح باستخدام الطريقة المقترحة

نتائج التجارب

النتائج الرئيسية

بناءً على متوسط النتائج من 1000 محاكاة:

المؤشر	محاكاة أحادية البعد	محاكاة ثنائية البعد
خطأ GP التالف	1.2653	1.939
خطأ GP المصحح	1.055	1.2296
نسبة التحسن	79.27%	71.785%

مقارنة وقت الحساب

الطريقة	الوقت أحادي البعد (ثانية)	الوقت ثنائي البعد (ثانية)
GP التالف	0.019	0.023
GP المصحح	0.000022	0.000036

النتائج الرئيسية

تحسن دقة ملحوظ: حققت طريقة التصحيح تقليلاً في الخطأ بنسبة تزيد عن 70% في كلا سيناريوهات الاختبار
تحسن كبير في الكفاءة الحسابية: عملية التصحيح أسرع بحوالي 1000 مرة من حساب GP الكامل
تحسن في تحديد الكمية غير المؤكدة: تم تحسين تقديرات التغاير بشكل ملحوظ أيضاً
القدرة على التكيف في الوقت الفعلي: تدعم الطريقة التحديث المتصل دون الحاجة إلى إعادة التدريب

الأعمال ذات الصلة

الاتجاهات البحثية الرئيسية

معالجة عدم اليقين في الإدخال:
- الطرق التحليلية لـ Girard وآخرين (تفترض توزيع إدخال معروف)
- إطار التنبؤ التكراري لـ Candela وآخرين
انحدار GP غير المتجانس:
- معالجة التوزيع الضوضائي المتغير لـ Kersting وآخرين
- التركيز الأساسي على تعديل تباين الإخراج
عملية غاوس ذات الإدخال الضوضائي (NIGP):
- طريقة التوسع الخطي المحلي
- دقة محدودة في الدوال عالية اللاخطية
طرق تقدير الحالة:
- تقدير كالمان الممتد التكراري
- انخفاض الأداء تحت اللاخطية القوية

مزايا هذه الورقة

بالمقارنة مع الطرق الموجودة، تقدم هذه الورقة للمرة الأولى تقنية لتحديث نموذج GP المدرب للتكيف مع تقديرات الإدخال المصححة، مما يملأ فجوة في هذا المجال.

الخلاصة والمناقشة

الاستنتاجات الرئيسية

التحقق من الفعالية: تظهر طريقة التصحيح المقترحة القائمة على متسلسلة تايلور تقليلاً ملحوظاً في الخطأ وتحسناً في الكفاءة الحسابية في كلا الدراستين المحاكاتين
الأساس النظري: يثبت تحليل التقارب الموثوقية النظرية للطريقة
القيمة العملية: تعتبر الطريقة مناسبة بشكل خاص لمهام التصحيح في الوقت الفعلي في البيئات الديناميكية

القيود

افتراض الاضطراب المثالي: تفترض الطريقة أن الاضطراب $δ_i$ معروف تماماً، مما يعني الملاحظة الكاملة للحالة للوكيل
تحديات الملاحظة الجزئية: قد تكون فقط قياسات الحالة الجزئية متاحة في السيناريوهات الفعلية، مما يتطلب استراتيجيات تقدير إضافية
مشاكل القابلية للتوسع: قد تكون أحجام مصفوفات المشتقات غير مواتية للتوسع في نماذج GP الكبيرة
قيود دالة النواة: تم تصميم الطريقة الحالية خصيصاً للنواة الأسية المربعة

الاتجاهات المستقبلية

تقنيات التقريب: تطوير طرق تقليل الأبعاد لضمان الجدوى الحسابية للتطبيقات الكبيرة
معالجة الملاحظة الجزئية: توسيع الطريقة للتعامل مع سيناريوهات المعلومات الحالية غير الكاملة
دعم النوى المتعددة: توسيع الطريقة لأنواع أخرى من دوال النواة
النشر العملي: التحقق من الجدوى العملية للطريقة في أنظمة الروبوتات الحقيقية

التقييم المتعمق

المزايا

ابتكار الطريقة قوي: تقدم للمرة الأولى تقنية تحديث متصل لنموذج GP، مما يحل مشكلة مهمة في التطبيقات العملية
أساس نظري متين: توفر تحليل تقارب كامل وحدود الخطأ
كفاءة حسابية ملحوظة: يوفر التعقيد المتصل O(n) ميزة ضخمة مقابل إعادة الحساب O(n³)
تجارب شاملة: التحقق الشامل من فعالية الطريقة من خلال حالات أحادية وثنائية البعد
قيمة عملية عالية: مناسبة بشكل خاص لتطبيقات الروبوتات المتحركة في بيئات رفض GPS

أوجه القصور

شروط الافتراض صارمة: يصعب تحقيق افتراض معلومات الاضطراب المثالية في التطبيقات الفعلية
قيود دالة النواة: تم إجراء تحليل تفصيلي فقط للنواة الأسية المربعة
قابلية التطبيق على نطاق واسع: التحليل غير كافٍ لقابلية التوسع في المشاكل عالية الأبعاد أو الكبيرة الحجم
غياب التحقق العملي: نقص التحقق التجريبي على أنظمة الروبوتات الحقيقية

التأثير

المساهمة الأكاديمية: توفير إطار نظري وطريقة عملية جديدة لمعالجة أخطاء الإدخال في انحدار GP
آفاق التطبيق: إمكانية تطبيق واسعة في الملاحة المستقلة والمراقبة البيئية والبحث والإنقاذ
إمكانية إعادة الإنتاج: وصف الطريقة مفصل والخوارزمية واضحة، مع قابلية جيدة للإعادة

السيناريوهات المناسبة

ملاحة الروبوتات المتحركة: رسم خرائط الحقول في بيئات رفض GPS
المراقبة البيئية: دمج البيانات والتصحيح في شبكات المستشعرات
الاستكشاف المستقل: التعلم والتكيف المتصل في بيئات غير معروفة
الكشف الصناعي: أنظمة التحكم في الجودة التي تتطلب تصحيحاً في الوقت الفعلي

المراجع

تستشهد الورقة بـ 21 مرجعاً مهماً، تغطي النظرية الأساسية لـ GP وملاحة الروبوتات وتقدير الحالة والمجالات ذات الصلة الأخرى، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الشامل: هذه ورقة عالية الجودة من الناحية التقنية، تقدم طريقة مبتكرة لتحديث نموذج GP المتصل، مع قيمة نظرية وتطبيقية عملية مهمة. حققت الطريقة تحسناً ملحوظاً في الكفاءة الحسابية ودقة التنبؤ، مما يوفر مساهمة قيمة للبحث والتطبيق في المجالات ذات الصلة.