2025-11-24T05:40:17.486436

On Minimum-Dispersion Control of Nonlinear Diffusion Processes

Chertovskih, Pogodaev, Staritsyn et al.

This work collects some methodological insights for numerical solution of a "minimum-dispersion" control problem for nonlinear stochastic differential equations, a particular relaxation of the covariance steering task. The main ingredient of our approach is the theoretical foundation called $\infty$-order variational analysis. This framework consists in establishing an exact representation of the increment ($\infty$-order variation) of the objective functional using the duality, implied by the transformation of the nonlinear stochastic control problem to a linear deterministic control of the Fokker-Planck equation. The resulting formula for the cost increment analytically represents a "law-feedback" control for the diffusion process. This control mechanism enables us to learn time-dependent coefficients for a predefined Markovian control structure using Monte Carlo simulations with a modest population of samples. Numerical experiments prove the vitality of our approach.

academic

非線形拡散過程の最小分散制御について

基本情報

論文ID: 2405.07676
タイトル: On Minimum-Dispersion Control of Nonlinear Diffusion Processes
著者: Roman Chertovskih, Nikolay Pogodaev, Maxim Staritsyn, A. Pedro Aguiar
分類: math.OC（最適化と制御）
発表日: 2024年5月13日
論文リンク: https://arxiv.org/abs/2405.07676

要約

本研究は、非線形確率微分方程式の「最小分散」制御問題に対する数値求解の方法論的洞察を提案しており、これは共分散操舵タスク(Covariance Steering Task)の特殊な緩和形式である。本手法の核心は∞階変分解析の理論基礎に基づいており、非線形確率制御問題をFokker-Planck方程式の線形確定的制御に変換することで、目的関数増分の厳密な表現を確立している。得られた成本増分公式は、拡散過程の「法則フィードバック」制御を解析的に表現している。この制御機構により、少数のサンプルのモンテカルロシミュレーションを通じて、予め定義されたマルコフ制御構造の時変係数を学習することが可能になる。数値実験により本手法の有効性が実証されている。

研究背景と動機

核心問題

本研究は主に共分散操舵問題(Covariance Steering Problem, CSP)の非線形拡張を解決する。CSPの核心は、与えられた初期ガウス確率分布から、確率過程の状態を予め定義された平均と共分散行列を持つ終端状態に導くことである。

問題の重要性

実用的価値: ノイズ環境での航空機の安全着陸など、指定された「安全領域」内で合理的な確率で任務を完了する必要がある場合
理論的意義: CSPは質量輸送制約下の確率最適制御問題として解釈できる
技術的課題: 非線形動力学はガウス構造を破壊し、二階統計量では確率分布の形状を十分に記述できない

既存手法の限界

線形の場合: ガウス初期分布、線形動力学、線形二次成本関数の場合、CSPはRiccati方程式を通じて閉形式解を持つ
非線形処理: 既存の非線形手法は主に状態動力学の線形化を採用し、依然として線形の場合の推論に依存している
高階統計: 非線形の場合は高階モーメントを考慮する必要があるが、既存手法の処理能力は限定的である

研究動機

CSPの緩和形式として「最小分散制御」を提案し、確率群の平均を予め定義された目標に導きながら、平均周辺の分散に関する適切な高階統計測度を考慮する。

核心的貢献

∞階変分解析フレームワーク: 双対性に基づく目的関数増分の厳密な表現理論を確立
法則フィードバック制御機構: Fokker-Planck方程式の双対性から解析形式の下降制御構造を導出
数値実装アルゴリズム: モンテカルロ法とKrasovskii-Subbotin採样アルゴリズムを組み合わせた実用的な数値スキーム
次元の呪いの緩和: 確率フレームワークを通じて高次元問題を効果的に処理し、従来のPDE数値手法の計算複雑性を回避

手法の詳細

タスク定義

標準的な最適確率制御問題のMayer形式を考える： $\min_{u \in U} I[u] = E[\ell(X_T[u])]$

ここで $X[u]$ は非線形確率微分方程式の強解である： $X_t = x_0 + \int_0^t f_\tau(X_s, u_s)ds + \int_0^t \sigma_s(X_s, u_s)dW_s$

核心理論フレームワーク

Fokker-Planck制御変換

非線形確率制御問題を等価な状態線形確定的最適化問題に変換する： $(RP) \quad \min_{u \in U} J[u] = \int_{\mathbb{R}^d} \ell d\mu_T[u]$ 制約条件： $\partial_t \mu = L_t^*(u_t)\mu$ 、ここで $L_t^*(\upsilon)$ は楕円作用素 $L_t(\upsilon)$ の形式随伴である。

∞階変分解析

双対性を通じて成本関数増分の厳密な表現を確立する。 $\bar{u}, u \in U$ をそれぞれ参照制御と目標制御とすると： $\Delta J = \int_I \int_{\mathbb{R}^n} (\bar{H}_s(x, u_s) - \bar{H}_s(x, \bar{u}_s)) d\mu_s(x) ds$

ここで $\bar{H}_s(x, \upsilon) = H_s(x, \nabla_x \bar{p}_s(x), \upsilon)$ はHamilton-Pontryagin関数の縮約形式である。

法則フィードバック制御設計

下降制御を定義する： $\bar{v}_t[\mu] \in \arg\min_{\upsilon \in U} \int_{\mathbb{R}^n} \bar{H}_s(x, \upsilon) d\mu(x)$

これはPDEのフィードバック制御を構成し、非局所方程式を生成する： $\partial_t \mu = L_t^*(\bar{v}_t[\mu])\mu$

数値実装アルゴリズム

アルゴリズム1：下降法

入力: 初期推定ū ∈ U、許容誤差ε > 0
出力: I[uk+1] < I[uk]を満たす数列{uk}

1. 初期化: k ← 0, u0 ← ū
2. 反復:
   - pk ← p[uk]を計算
   - 最適化問題(9)からvk_s[μ]を求解
   - μk+1 ← μ̂[vk], uk+1 ← vk[μk+1]を更新
   - k ← k + 1
3. |I[uk-1] - I[uk]| < εまで繰り返す