2025-11-12T21:16:10.844190

A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression

Qureshi, Ogri, Bell et al.

Gaussian Processes (GPs) are widely recognized as powerful non-parametric models for regression and classification. Traditional GP frameworks predominantly operate under the assumption that the inputs are either accurately known or subject to zero-mean noise. However, several real-world applications such as mobile sensors have imperfect localization, leading to inputs with biased errors. These biases can typically be estimated through measurements collected over time using, for example, Kalman filters. To avoid recomputation of the entire GP model when better estimates of the inputs used in the training data become available, we introduce a technique for updating a trained GP model to incorporate updated estimates of the inputs. By leveraging the differentiability of the mean and covariance functions derived from the squared exponential kernel, a second-order correction algorithm is developed to update the trained GP models. Precomputed Jacobians and Hessians of kernels enable real-time refinement of the mean and covariance predictions. The efficacy of the developed approach is demonstrated using two simulation studies, with error analyses revealing improvements in both predictive accuracy and uncertainty quantification.

academic

গাউসিয়ান প্রসেস রিগ্রেশনে ইনপুট ত্রুটি সংশোধনের জন্য একটি টেইলর সিরিজ পদ্ধতি

মৌলিক তথ্য

পেপার আইডি: 2504.18463
শিরোনাম: A Taylor Series Approach to Correction of Input Errors in Gaussian Process Regression
লেখক: Muzaffar Qureshi, Tochukwu Elijah Ogri, Zachary I. Bell, Wanjiku A. Makumi, Rushikesh Kamalapurkar
শ্রেণীবিভাগ: eess.SY (সিস্টেম এবং নিয়ন্ত্রণ), cs.RO (রোবোটিক্স), cs.SY (সিস্টেম এবং নিয়ন্ত্রণ)
প্রকাশনার সময়: ২০২৫ সালের ২৫ এপ্রিল
পেপার লিঙ্ক: https://arxiv.org/abs/2504.18463

সারসংক্ষেপ

এই পেপারটি গাউসিয়ান প্রসেস (GP) রিগ্রেশনে ইনপুট ত্রুটি সংশোধনের জন্য একটি টেইলর সিরিজ ভিত্তিক পদ্ধতি প্রস্তাব করে। প্রথাগত GP কাঠামো ধরে নেয় যে ইনপুট হয় সঠিকভাবে জানা অথবা শূন্য গড় শব্দ অনুসরণ করে, কিন্তু মোবাইল সেন্সরের মতো বাস্তব প্রয়োগে, অবস্থান অনির্ভুলতার কারণে ইনপুটে পক্ষপাতমূলক ত্রুটি থাকে। উন্নত ইনপুট অনুমান পাওয়ার সময় সম্পূর্ণ GP মডেল পুনরায় গণনা করা এড়াতে, এই পেপারটি বর্গ সূচক কার্নেলের গড় এবং সহভেদ ফাংশনের পার্থক্যযোগ্যতা ব্যবহার করে প্রশিক্ষিত GP মডেল আপডেট করার জন্য একটি দ্বিতীয় ক্রম সংশোধন অ্যালগরিদম তৈরি করেছে। পূর্বনির্ধারিত জ্যাকোবিয়ান ম্যাট্রিক্স এবং হেসিয়ান ম্যাট্রিক্সের মাধ্যমে, গড় এবং সহভেদ পূর্বাভাসের রিয়েল-টাইম পরিমার্জন অর্জিত হয়।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যার সংজ্ঞা

১. মূল সমস্যা: বাস্তব প্রয়োগে, মোবাইল সেন্সর অবস্থান ত্রুটির কারণে GP রিগ্রেশনের ইনপুট ডেটা অনির্ভুল, যা মডেল কর্মক্ষমতা প্রভাবিত করে २. গুরুত্ব: নির্ভুল ক্ষেত্র ম্যাপিং পরিবেশগত পর্যবেক্ষণ, অনুসন্ধান এবং উদ্ধার মিশন, স্বায়ত্তশাসিত জলের নিচে অন্বেষণ ইত্যাদি ক্ষেত্রে অত্যন্ত গুরুত্বপূর্ণ ३. বিদ্যমান পদ্ধতির সীমাবদ্ধতা:

প্রথাগত পদ্ধতি ইনপুট সঠিক বা শুধুমাত্র শূন্য গড় শব্দ ধরে নেয়
বিষমতাপূর্ণ GP প্রধানত আউটপুট বৈচিত্র্য সমন্বয়ে ফোকাস করে, নির্ধারক ইনপুট পরিমাপের উপর নির্ভর করে
শব্দযুক্ত ইনপুট GP (NIGP) এর স্থানীয় রৈখিক অনুমান উচ্চ অরৈখিক ফাংশনে ব্যর্থ হতে পারে
সম্প্রসারিত কালম্যান ফিল্টার শক্তিশালী অরৈখিকতা বা বিঘ্নে কর্মক্ষমতা হ্রাস করে

গবেষণা প্রেরণা

GPS সংকেত অনুপলব্ধ বা অনির্ভরযোগ্য পরিবেশে, অবস্থান অনিশ্চয়তা GP মডেলে প্রসারিত হয়, যা পূর্বাভাস কর্মক্ষমতা হ্রাস করে। বিদ্যমান গবেষণা প্রধানত ইনপুট অনিশ্চয়তার GP পূর্বাভাসে প্রভাব বিশ্লেষণ করে, কিন্তু সংশোধিত ইনপুট অনুমানের সাথে খাপ খাইয়ে নিতে GP মডেল আপডেট করার পদ্ধতির অভাব রয়েছে।

মূল অবদান

१. একটি GP মডেল আপডেট প্রযুক্তি বিকাশ: পূর্বনির্ধারিত GP গড় এবং সহভেদ ফাংশনের উচ্চ ক্রম ডেরিভেটিভের মাধ্যমে, অবস্থান-প্ররোচিত ইনপুট ত্রুটি সংশোধন একীভূত করা २. বিস্তারিত পূর্বাভাস ত্রুটি এবং গণনা সময় বিশ্লেষণ প্রদান: তাত্ত্বিক সংগ্রহযোগ্যতা বিশ্লেষণ এবং গণনা জটিলতা মূল্যায়ন সহ ३. ব্যাপক মন্টে কার্লো সিমুলেশন যাচাইকরণ: দুটি ভিন্ন ক্ষেত্রে পদ্ধতির কার্যকারিতা প্রদর্শন ४. রিয়েল-টাইম আপডেট ক্ষমতা: পুনরায় প্রশিক্ষণ বা পরিমাপ অবস্থান পুনরায় পরিদর্শনের প্রয়োজনীয়তা এড়ানো

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

ডোমেইন $X \subset \mathbb{R}^p$ এ পরিমাপ অবস্থান সেট পরিদর্শন করে এমন সেন্সর সজ্জিত এজেন্ট বিবেচনা করুন, যা স্কেলার ক্ষেত্র $h: X \to \mathbb{R}$ এর একটি ম্যাপ তৈরি করে। ক্ষেত্রটি GP দ্বারা মডেল করা যায়: $h̄ \sim GP(μ, Σ)$

যেখানে $μ: \mathbb{R}^p \to \mathbb{R}$ হল গড় ফাংশন এবং $Σ: \mathbb{R}^p × \mathbb{R}^p \to \mathbb{R}$ হল সহভেদ ফাংশন।

মূল অ্যালগরিদম স্থাপত্য

१. বর্গ সূচক কার্নেল ফাংশন

বর্গ সূচক সহভেদ কার্নেল নির্বাচন করুন: $k(\hat{x}, \hat{x}') := α^2 \exp\left(-\frac{||\hat{x} - \hat{x}'||^2}{2β^2}\right)$

যেখানে $α$ প্রশস্ততা নির্দেশ করে এবং $β$ দৈর্ঘ্য স্কেল।

२. টেইলর সিরিজ সংশোধন পদ্ধতি

প্রশ্ন অবস্থান $x_e$ এর জন্য, সংশোধিত গড় ভেক্টর দ্বিতীয় ক্রম টেইলর সম্প্রসারণের মাধ্যমে প্রকাশ করা হয়: $M(\hat{X}, x_e) := \hat{M}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{M}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$

যেখানে $δ_i$ i-তম পরিমাপ অবস্থানের বিঘ্ন নির্দেশ করে।

३. জ্যাকোবিয়ান ম্যাট্রিক্স এবং হেসিয়ান ম্যাট্রিক্স

গড় ফাংশনের জ্যাকোবিয়ান ম্যাট্রিক্স: $J_M := \left[\frac{\partial\hat{M}}{\partial\hat{x}_1}, \frac{\partial\hat{M}}{\partial\hat{x}_2}, \cdots, \frac{\partial\hat{M}}{\partial\hat{x}_n}\right]$

হেসিয়ান ম্যাট্রিক্স $H_M \in \mathbb{R}^{n×n}$ সমস্ত দ্বিতীয় ক্রম আংশিক ডেরিভেটিভ ধারণ করে।

४. সহভেদ সংশোধন

সহভেদ ম্যাট্রিক্সের সংশোধন অনুরূপ টেইলর সম্প্রসারণ অনুসরণ করে: $S(\hat{X}, x_e) := \hat{S}(\hat{X}, x_e) + \sum_{i=1}^n \frac{\partial\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i} δ_i + \frac{1}{2} \sum_{i=1}^n \frac{\partial^2\hat{S}(\hat{X}, x_e)}{\partial\hat{x}_i^2} δ_i^2$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. অফলাইন-অনলাইন কাঠামো:

অফলাইন পর্যায়: গড় এবং সহভেদ ফাংশনের উচ্চ ক্রম ডেরিভেটিভ পূর্বনির্ধারণ করা
অনলাইন পর্যায়: সংরক্ষিত ডেরিভেটিভ এবং ইনপুট ত্রুটি তথ্য ব্যবহার করে রিয়েল-টাইমে GP মডেল আপডেট করা

२. পার্থক্যযোগ্যতা ব্যবহার: বর্গ সূচক কার্নেলের অসীম পার্থক্যযোগ্যতা সম্পূর্ণভাবে ব্যবহার করা, সমস্ত ডেরিভেটিভের অস্তিত্ব এবং ধারাবাহিকতা নিশ্চিত করা

३. গণনা দক্ষতা: অনলাইন আপডেটের গণনা জটিলতা O(n), সম্পূর্ণ GP পুনরায় গণনার O(n³) এর তুলনায় উল্লেখযোগ্য উন্নতি

তাত্ত্বিক বিশ্লেষণ

সংগ্রহযোগ্যতা উপপাদ্য

উপপাদ্য १: যদি কার্নেল ফাংশন k ইনপুট ডোমেইন X এ বিশ্লেষণাত্মক হয়, তাহলে গড় ফাংশন $\hat{M}$ ও বাস্তব বিশ্লেষণাত্মক, টেইলর সিরিজ সম্প্রসারণ হিসাবে প্রকাশযোগ্য এবং X এর যেকোনো সংক্ষিপ্ত উপসেটে সমানভাবে সংগ্রহীত।

উপপাদ্য २: প্রত্যাশিত অনুমান নির্ভুলতা ε > 0 দেওয়া, টেইলর সিরিজ সম্প্রসারণে প্রয়োজনীয় ন্যূনতম ডেরিভেটিভ ক্রম হল: $N = \left\lceil \frac{\log(\frac{ε}{L_m})}{\log(β)} \right\rceil$

যেখানে $L_m$ সীমাবদ্ধ (N+1) ক্রম ডেরিভেটিভ টেন্সরের একটি ধ্রুবক।

পরীক্ষামূলক সেটআপ

ডেটাসেট এবং পরিস্থিতি

এক-মাত্রিক পরীক্ষা

ফাংশন: $h_1(x) = \sin(2πx)$ , $x \in [0,1]$
পরিমাপ অবস্থান: $\hat{X} = \{0, 0.1, 0.2, ..., 1\}$
কার্নেল প্যারামিটার: $α = 0.1$ , $β = 0.2$
বিঘ্ন: গাউসিয়ান শব্দ $ε \sim N(0, 0.01^2)$ , ত্রুটি ভেক্টর $δ_i \sim [0, 0.03]$

দ্বি-মাত্রিক পরীক্ষা

ফাংশন: $h_2(x,y) = \sin(2πx) \cdot \cos(2πy)$ , $(x,y) \in [0,1]^2$
বিঘ্ন: স্থির পক্ষপাত $δ_i = 0.1$ (সেন্সর পক্ষপাত অনুকরণ)

মূল্যায়ন মেট্রিক্স

পূর্বাভাস নির্ভুলতা: সংশোধিত GP এবং আদর্শ GP এর মধ্যে পরম ত্রুটি
গণনা সময়: সংশোধন প্রক্রিয়া এবং সম্পূর্ণ GP পুনরায় গণনার সময় তুলনা
অনিশ্চয়তা পরিমাণীকরণ: সহভেদ অনুমানের উন্নতির মাত্রা

তুলনামূলক পদ্ধতি

ভিত্তি মডেল: সত্য পরিমাপ অবস্থানে প্রশিক্ষিত আদর্শ GP মডেল
ক্ষতিগ্রস্ত মডেল: পরিকল্পিত অবস্থানে প্রশিক্ষিত কিন্তু প্রকৃত পরিমাপ মান ব্যবহার করে এমন GP মডেল
সংশোধিত মডেল: প্রস্তাবিত পদ্ধতি ব্যবহার করে সংশোধিত GP মডেল

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

१০০০ সিমুলেশনের গড় ফলাফল অনুযায়ী:

মেট্রিক	এক-মাত্রিক সিমুলেশন	দ্বি-মাত্রিক সিমুলেশন
ক্ষতিগ্রস্ত GP ত্রুটি	१.२६५३	१.९३९
সংশোধিত GP ত্রুটি	१.०५५	१.२२९६
উন্নতি শতাংশ	७९.२७%	७१.७८५%

গণনা সময় তুলনা

পদ্ধতি	এক-মাত্রিক সময় (সেকেন্ড)	দ্বি-মাত্রিক সময় (সেকেন্ড)
ক্ষতিগ্রস্ত GP	०.०१९	०.०२३
সংশোধিত GP	०.०००२२	०.०००३६

মূল আবিষ্কার

१. উল্লেখযোগ্য নির্ভুলতা উন্নতি: দুটি পরীক্ষা পরিস্থিতিতে, সংশোধন পদ্ধতি ७०% এর বেশি ত্রুটি হ্রাস অর্জন করেছে २. গণনা দক্ষতা উল্লেখযোগ্য উন্নতি: সংশোধন প্রক্রিয়া সম্পূর্ণ GP গণনার চেয়ে প্রায় १००० গুণ দ্রুত ३. অনিশ্চয়তা পরিমাণীকরণ উন্নতি: সহভেদ অনুমানও উল্লেখযোগ্য উন্নতি পেয়েছে ४. রিয়েল-টাইম অভিযোজন ক্ষমতা: পদ্ধতি অনলাইন আপডেট সমর্থন করে, পুনরায় প্রশিক্ষণের প্রয়োজন নেই

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. কার্যকারিতা যাচাইকরণ: প্রস্তাবিত টেইলর সিরিজ ভিত্তিক সংশোধন পদ্ধতি দুটি সিমুলেশন অধ্যয়নে উল্লেখযোগ্য ত্রুটি হ্রাস এবং গণনা দক্ষতা উন্নতি প্রদর্শন করে २. তাত্ত্বিক ভিত্তি: সংগ্রহযোগ্যতা বিশ্লেষণের মাধ্যমে পদ্ধতির তাত্ত্বিক নির্ভরযোগ্যতা প্রমাণিত ३. ব্যবহারিক মূল্য: পদ্ধতি বিশেষত গতিশীল পরিবেশে রিয়েল-টাইম সংশোধন কাজের জন্য উপযুক্ত

সীমাবদ্ধতা

१. নিখুঁত বিঘ্ন অনুমান: পদ্ধতি অনুমান করে যে বিঘ্ন $δ_i$ সম্পূর্ণভাবে জানা, যার অর্থ এজেন্টের সম্পূর্ণ অবস্থা পর্যবেক্ষণযোগ্যতা २. আংশিক পর্যবেক্ষণ চ্যালেঞ্জ: বাস্তব পরিস্থিতিতে শুধুমাত্র আংশিক অবস্থা পরিমাপ উপলব্ধ হতে পারে, অতিরিক্ত অনুমান কৌশল প্রয়োজন ३. স্কেলেবিলিটি সমস্যা: বড় GP মডেলের জন্য, ডেরিভেটিভ ম্যাট্রিক্সের আকার স্কেলেবিলিটির জন্য প্রতিকূল হতে পারে ४. কার্নেল ফাংশন সীমাবদ্ধতা: বর্তমান পদ্ধতি বর্গ সূচক কার্নেলের জন্য বিশেষভাবে ডিজাইন করা

ভবিষ্যত দিকনির্দেশনা

१. অনুমান কৌশল: বড় আকারের প্রয়োগের জন্য গণনা সম্ভাব্যতা নিশ্চিত করতে মাত্রা হ্রাস পদ্ধতি বিকাশ २. আংশিক পর্যবেক্ষণ পরিচালনা: অসম্পূর্ণ অবস্থা তথ্যের পরিস্থিতি পরিচালনা করতে পদ্ধতি প্রসারিত করা ३. বহু-কার্নেল সমর্থন: পদ্ধতি অন্যান্য ধরনের কার্নেল ফাংশনে প্রসারিত করা ४. বাস্তব স্থাপনা: প্রকৃত রোবোট সিস্টেমে পদ্ধতির ব্যবহারিকতা যাচাই করা

গভীর মূল্যায়ন

শক্তি

१. পদ্ধতি উদ্ভাবন শক্তিশালী: GP মডেলের অনলাইন সংশোধন প্রযুক্তি প্রথমবারের মতো প্রস্তাব করা, বাস্তব প্রয়োগে গুরুত্বপূর্ণ সমস্যা সমাধান করা २. তাত্ত্বিক ভিত্তি দৃঢ়: সম্পূর্ণ সংগ্রহযোগ্যতা বিশ্লেষণ এবং ত্রুটি সীমানা প্রদান করা ३. গণনা দক্ষতা উল্লেখযোগ্য: O(n) এর অনলাইন জটিলতা O(n³) এর পুনরায় গণনার তুলনায় বিশাল সুবিধা ४. পরীক্ষা ব্যাপক: এক-মাত্রিক এবং দ্বি-মাত্রিক ক্ষেত্রের মাধ্যমে পদ্ধতির কার্যকারিতা সম্পূর্ণভাবে যাচাই করা ५. ব্যবহারিক মূল্য উচ্চ: বিশেষত GPS প্রত্যাখ্যান পরিবেশে মোবাইল রোবট প্রয়োগের জন্য উপযুক্ত

অপূর্ণতা

१. অনুমান শর্ত কঠোর: নিখুঁত বিঘ্ন তথ্যের অনুমান বাস্তব প্রয়োগে পূরণ করা কঠিন २. কার্নেল ফাংশন সীমাবদ্ধতা: শুধুমাত্র বর্গ সূচক কার্নেলের জন্য বিস্তারিত বিশ্লেষণ করা ३. বড় আকারের প্রযোজ্যতা: উচ্চ-মাত্রিক বা বড় আকারের সমস্যার স্কেলেবিলিটি বিশ্লেষণ অপর্যাপ্ত ४. বাস্তব যাচাইকরণ অনুপস্থিত: প্রকৃত রোবট সিস্টেমে পরীক্ষামূলক যাচাইকরণের অভাব

প্রভাব

१. একাডেমিক অবদান: GP রিগ্রেশনের ইনপুট ত্রুটি পরিচালনার জন্য নতুন তাত্ত্বিক কাঠামো এবং ব্যবহারিক পদ্ধতি প্রদান করা २. প্রয়োগ সম্ভাবনা: স্বায়ত্তশাসিত নেভিগেশন, পরিবেশগত পর্যবেক্ষণ, অনুসন্ধান ইত্যাদি ক্ষেত্রে ব্যাপক প্রয়োগ সম্ভাবনা ३. পুনরুৎপাদনযোগ্যতা: পদ্ধতি বর্ণনা বিস্তারিত, অ্যালগরিদম স্পষ্ট, ভাল পুনরুৎপাদনযোগ্যতা রয়েছে

প্রযোজ্য পরিস্থিতি

१. মোবাইল রোবট নেভিগেশন: GPS প্রত্যাখ্যান পরিবেশে ক্ষেত্র ম্যাপিং এবং নেভিগেশন २. পরিবেশগত পর্যবেক্ষণ: সেন্সর নেটওয়ার্কে ডেটা সংমিশ্রণ এবং সংশোধন ३. স্বায়ত্তশাসিত অন্বেষণ: অজানা পরিবেশে অনলাইন শেখা এবং অভিযোজন ४. শিল্প পরীক্ষা: রিয়েল-টাইম সংশোধন প্রয়োজনীয় গুণমান নিয়ন্ত্রণ সিস্টেম

সংদর্ভ

পেপারটি २१টি গুরুত্বপূর্ণ সংদর্ভ উদ্ধৃত করেছে, যা GP তত্ত্ব, রোবট নেভিগেশন, অবস্থা অনুমান ইত্যাদি সম্পর্কিত ক্ষেত্রের ধ্রুপদী এবং অগ্রগামী কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের প্রযুক্তিগত পেপার, যা GP মডেলের অনলাইন সংশোধনের জন্য একটি উদ্ভাবনী পদ্ধতি প্রস্তাব করে, যার গুরুত্বপূর্ণ তাত্ত্বিক মূল্য এবং বাস্তব প্রয়োগ সম্ভাবনা রয়েছে। পদ্ধতি গণনা দক্ষতা এবং পূর্বাভাস নির্ভুলতা উভয় ক্ষেত্রেই উল্লেখযোগ্য উন্নতি অর্জন করেছে, সম্পর্কিত ক্ষেত্রের গবেষণা এবং প্রয়োগের জন্য মূল্যবান অবদান প্রদান করেছে।