On Minimum-Dispersion Control of Nonlinear Diffusion Processes
Chertovskih, Pogodaev, Staritsyn et al.
This work collects some methodological insights for numerical solution of a "minimum-dispersion" control problem for nonlinear stochastic differential equations, a particular relaxation of the covariance steering task. The main ingredient of our approach is the theoretical foundation called $\infty$-order variational analysis. This framework consists in establishing an exact representation of the increment ($\infty$-order variation) of the objective functional using the duality, implied by the transformation of the nonlinear stochastic control problem to a linear deterministic control of the Fokker-Planck equation. The resulting formula for the cost increment analytically represents a "law-feedback" control for the diffusion process. This control mechanism enables us to learn time-dependent coefficients for a predefined Markovian control structure using Monte Carlo simulations with a modest population of samples. Numerical experiments prove the vitality of our approach.
academic
অরৈখিক বিস্তার প্রক্রিয়াগুলির ন্যূনতম-বিচ্ছুরণ নিয়ন্ত্রণ সম্পর্কে
এই গবেষণা অরৈখিক স্টোকাস্টিক ডিফারেনশিয়াল সমীকরণের "ন্যূনতম বিচ্ছুরণ" নিয়ন্ত্রণ সমস্যার সংখ্যাসূচক সমাধানের জন্য পদ্ধতিগত অন্তর্দৃষ্টি প্রস্তাব করে, যা সহভেদিতা নির্দেশনা কাজের একটি বিশেষ শিথিলকরণ রূপ। এই পদ্ধতির মূল ভিত্তি হল ∞-ক্রম পরিবর্তনশীল বিশ্লেষণের তাত্ত্বিক ভিত্তি, যা অরৈখিক স্টোকাস্টিক নিয়ন্ত্রণ সমস্যাকে Fokker-Planck সমীকরণের রৈখিক নির্ধারণীয় নিয়ন্ত্রণে রূপান্তরিত করে, উদ্দেশ্য ফাংশন বৃদ্ধির নির্ভুল প্রতিনিধিত্ব স্থাপন করে। ফলস্বরূপ খরচ বৃদ্ধি সূত্র বিস্তার প্রক্রিয়ার "আইন-প্রতিক্রিয়া" নিয়ন্ত্রণ বিশ্লেষণাত্মকভাবে প্রকাশ করে। এই নিয়ন্ত্রণ প্রক্রিয়া সীমিত নমুনার মন্টে কার্লো সিমুলেশনের মাধ্যমে পূর্বনির্ধারিত মার্কভ নিয়ন্ত্রণ কাঠামোর সময়-পরিবর্তনশীল সহগুণক শেখার অনুমতি দেয়। সংখ্যাসূচক পরীক্ষা-নিরীক্ষা এই পদ্ধতির কার্যকারিতা প্রমাণ করে।
এই গবেষণা প্রধানত সহভেদিতা নির্দেশনা সমস্যা (Covariance Steering Problem, CSP) এর অরৈখিক সম্প্রসারণ সমাধান করে। CSP এর মূল হল প্রাথমিক গাউসীয় সম্ভাব্যতা বিতরণ দেওয়া হলে, স্টোকাস্টিক প্রক্রিয়ার অবস্থাকে পূর্বনির্ধারিত গড় এবং সহভেদিতা ম্যাট্রিক্স সহ টার্মিনাল অবস্থায় পরিচালনা করা।
রৈখিক ক্ষেত্রে: CSP গাউসীয় প্রাথমিক বিতরণ, রৈখিক গতিশীলতা এবং রৈখিক দ্বিঘাত খরচ ফাংশনের ক্ষেত্রে বন্ধ-রূপ সমাধান রয়েছে, Riccati সমীকরণের মাধ্যমে সমাধান করা হয়
অরৈখিক প্রক্রিয়াকরণ: বিদ্যমান অরৈখিক পদ্ধতি প্রধানত অবস্থা গতিশীলতা রৈখিকীকরণ গ্রহণ করে, এখনও রৈখিক ক্ষেত্রের যুক্তির উপর নির্ভর করে
উচ্চ-ক্রম পরিসংখ্যান: অরৈখিক ক্ষেত্রে উচ্চ-ক্রম মুহূর্ত বিবেচনা করা প্রয়োজন, তবে বিদ্যমান পদ্ধতির প্রক্রিয়াকরণ ক্ষমতা সীমিত
CSP এর শিথিলকরণ হিসাবে "ন্যূনতম বিচ্ছুরণ নিয়ন্ত্রণ" প্রস্তাব করা, স্টোকাস্টিক জনসংখ্যার গড়কে পূর্বনির্ধারিত লক্ষ্যে পরিচালনা করার সময়, গড়ের চারপাশে বিচ্ছুরণের উপযুক্ত উচ্চ-ক্রম পরিসংখ্যান পরিমাপ বিবেচনা করা।
দ্বৈততার মাধ্যমে খরচ ফাংশন বৃদ্ধির নির্ভুল প্রতিনিধিত্ব স্থাপন করা। যদি uˉ,u∈U যথাক্রমে রেফারেন্স নিয়ন্ত্রণ এবং লক্ষ্য নিয়ন্ত্রণ হয়, তাহলে:
ΔJ=∫I∫Rn(Hˉs(x,us)−Hˉs(x,uˉs))dμs(x)ds
যেখানে Hˉs(x,υ)=Hs(x,∇xpˉs(x),υ) হল Hamilton-Pontryagin ফাংশনের সংকুচিত রূপ।
যদিও অনুমানিত বাস্তবায়ন একঘেয়ে অবরোহী সম্পত্তি হারায়, তবুও আপেক্ষিক মোটা pˉ এবং μ অনুমানের অধীনেও, পদ্ধতি চমকপ্রদ শক্তিশালীতা প্রদর্শন করে, "গড়" অর্থে যুক্তিসঙ্গত দ্রুত সংগ্রহ প্রদর্শন করে।
সম্প্রতি, Fokker-Planck সমীকরণের উপর ভিত্তি করে নিয়ন্ত্রণ পদ্ধতি বহু-মাত্রিক স্টোকাস্টিক সিস্টেম, জনসংখ্যা গতিবিধ্যা নিয়ন্ত্রণ এবং অন্যান্য ক্ষেত্রে ব্যাপক প্রয়োগ পেয়েছে, সম্পর্কিত কাজ Annunziato & Borzì (2013), Roy এবং অন্যরা (2016-2018) অন্তর্ভুক্ত করে।
তাত্ত্বিক অবদান: অরৈখিক বিস্তার প্রক্রিয়ার ন্যূনতম বিচ্ছুরণ নিয়ন্ত্রণের জন্য ∞-ক্রম পরিবর্তনশীল বিশ্লেষণের উপর ভিত্তি করে তাত্ত্বিক কাঠামো স্থাপন করা
সংখ্যাসূচক পদ্ধতি: দ্বৈত তত্ত্ব এবং মন্টে কার্লো পদ্ধতি একত্রিত করে কার্যকর সংখ্যাসূচক অ্যালগরিদম প্রস্তাব করা
ব্যবহারিক যাচাইকরণ: নিউরন মডেলের মাধ্যমে পদ্ধতির কার্যকারিতা এবং ব্যবহারিকতা যাচাই করা
পেপার ২৩টি গুরুত্বপূর্ণ সংদর্ভ উদ্ধৃত করে, যা স্টোকাস্টিক নিয়ন্ত্রণ তত্ত্ব, Fokker-Planck সমীকরণ, সহভেদিতা নিয়ন্ত্রণ এবং অন্যান্য সম্পর্কিত ক্ষেত্রের ক্লাসিক্যাল এবং অত্যাধুনিক কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।
সামগ্রিক মূল্যায়ন: এটি একটি চমৎকার পেপার যা তত্ত্ব এবং প্রয়োগ উভয়কে সমান গুরুত্ব দেয়, অরৈখিক স্টোকাস্টিক নিয়ন্ত্রণ ক্ষেত্রে উদ্ভাবনী তাত্ত্বিক কাঠামো এবং ব্যবহারিক সংখ্যাসূচক পদ্ধতি প্রস্তাব করে। যদিও পরীক্ষা যাচাইকরণ এবং তাত্ত্বিক বিশ্লেষণে উন্নতির অবকাশ রয়েছে, তবে এর মূল ধারণা এবং পদ্ধতিবিদ্যা এই ক্ষেত্রে গুরুত্বপূর্ণ অগ্রগতি করে।