2025-11-21T18:34:22.859424

Linear-Quadratic Optimal Control for Mean-Field Stochastic Differential Equations in Infinite-Horizon with Regime Switching

Mei, Wei, Yong
This paper is concerned with stochastic linear quadratic (LQ, for short) optimal control problems in an infinite horizon with conditional mean-field term in a switching regime environment. The orthogonal decomposition introduced in [21] has been adopted. Desired algebraic Riccati equations (AREs, for short) and a system of backward stochastic differential equations (BSDEs, for short) in infinite time horizon with the coefficients depending on the Markov chain have been derived. The determination of closed-loop optimal strategy follows from the solvability of ARE and BSDE. Moreover, the solvability of BSDEs leads to a characterization of open-loop solvability of the optimal control problem.
academic

Linear-Quadratic Optimal Control for Mean-Field Stochastic Differential Equations in Infinite-Horizon with Regime Switching

基本信息

  • 论文ID: 2501.00981
  • 标题: Linear-Quadratic Optimal Control for Mean-Field Stochastic Differential Equations in Infinite-Horizon with Regime Switching
  • 作者: Hongwei Mei (Texas Tech University), Qingmeng Wei (Northeast Normal University), Jiongmin Yong (University of Central Florida)
  • 分类: math.OC (Optimization and Control)
  • 发表时间: 2025年1月3日
  • 论文链接: https://arxiv.org/abs/2501.00981

摘要

本文研究在马尔可夫切换环境下具有条件均场项的无穷时域随机线性二次(LQ)最优控制问题。论文采用了文献21中引入的正交分解方法，推导了期望的代数Riccati方程(AREs)和一个在无穷时域内系数依赖于马尔可夫链的后向随机微分方程(BSDEs)系统。闭环最优策略的确定依赖于ARE和BSDE的可解性。此外，BSDEs的可解性还为最优控制问题的开环可解性提供了特征化。

research背景与动机

问题定义

本文研究的核心问题是在马尔可夫切换环境下，具有均场项的无穷时域随机线性二次最优控制问题。具体而言：

  1. 状态方程：考虑n维受控均场随机微分方程
    dX(t) = [A(α(t))X(t) + Ā(α(t))E^α_t[X(t)] + B(α(t))u(t) + B̄(α(t))E^α_t[u(t)] + b(t)]dt
       + [C(α(t))X(t) + C̄(α(t))E^α_t[X(t)] + D(α(t))u(t) + D̄(α(t))E^α_t[u(t)] + σ(t)]dW(t)
  2. 目标函数：
    J_∞(s,ι,ξ;u(·)) = E∫_s^∞ f(t,α(t),X(t),E^α_t[X(t)],u(t),E^α_t[u(t)])dt

研究重要性

  1. 理论意义：扩展了经典LQ控制理论到均场和马尔可夫切换的复合情形
  2. 实际应用：在金融、工程和社会科学中有广泛应用，如投资组合优化、网络控制等
  3. 技术挑战：无穷时域、均场项和马尔可夫切换的结合带来了显著的技术困难

现有方法局限性

  1. 有限时域限制：大多数现有工作局限于有限时域情形
  2. 缺乏马尔可夫切换：很少有工作同时处理均场项和马尔可夫切换
  3. 稳定性条件：现有的稳定性条件往往过于严格，不适用于马尔可夫切换情形

核心贡献

  1. 建立了新的稳定性理论：在马尔可夫切换环境下定义了L²-指数稳定性、L²-可积性和耗散性，并证明了它们的等价性
  2. 推导了代数Riccati方程：通过配方法得到了依赖于马尔可夫链状态的ARE系统，并证明了其稳定化解的存在唯一性
  3. 建立了无穷时域BSDE理论：证明了含马尔可夫切换项的无穷时域BSDE系统的适定性
  4. 完整的可解性刻画：给出了闭环可解性和开环可解性的完整刻画

方法详解

任务定义

给定初始条件(s,ι,ξ) ∈ D，寻找最优控制ū(·) ∈ U_ad[s,∞)使得：

J_∞(s,ι,ξ;ū(·)) = inf_{u(·)∈U_ad[s,∞)} J_∞(s,ι,ξ;u(·))

核心方法架构

1. 正交分解技术

采用文献21的正交分解方法，将原问题分解为两个正交子空间上的问题：

  • 投影算子：Π₂v(·) = E^α_tv(t)，Π₁ = I - Π₂
  • 分解后的状态方程： 
    dX₁(t) = {A₁(α(t))X₁(t) + B₁(α(t))u₁(t) + b₁(t)}dt + {...}dW(t)
dX₂(t) = {A₂(α(t))X₂(t) + B₂(α(t))u₂(t) + b₂(t)}dt

2. 稳定性分析

定义了三种等价的稳定性概念：

定义 3.1：系统A,Ā,C,C̄称为L²-指数稳定的，如果存在常数K,δ > 0使得：

E|X⁰(t;s,ξ,ι)|² ≤ Ke^{-δ(t-s)}E|ξ|², ∀t ≥ s

命题 3.3：以下条件等价：

  • L²-指数稳定性
  • L²-可积性
  • 耗散性
  • Lyapunov不等式系统(3.7)有正定解

3. 代数Riccati方程

通过配方法推导出ARE系统：

Λ[Pₖ(·)](ι) + Pₖ(ι)Aₖ(ι) + Aₖ(ι)ᵀPₖ(ι) + Cₖ(ι)ᵀP₁(ι)Cₖ(ι) + Qₖ(ι)
- [Pₖ(ι)Bₖ(ι) + Cₖ(ι)ᵀP₁(ι)Dₖ(ι) + Sₖ(ι)ᵀ][Rₖ(ι) + Dₖ(ι)ᵀP₁(ι)Dₖ(ι)]⁻¹
  ·[Bₖ(ι)ᵀPₖ(ι) + Dₖ(ι)ᵀP₁(ι)Cₖ(ι) + Sₖ(ι)] = 0

4. 无穷时域BSDE系统

建立了如下BSDE系统的适定性理论：

dY₁ = -[(A₁^{Θ₁})ᵀY₁ + (C₁^{Θ₁})ᵀΠ₁[Z] + P₁b₁ + (C₁^{Θ₁})ᵀP₁σ₁ + q₁ + Θ₁ᵀr₁]dt + ZdW + Z₁ᴹdM
dY₂ = -[(A₂^{Θ₂})ᵀY₂ + (C₂^{Θ₂})ᵀΠ₂[Z] + P₂b₂ + (C₂^{Θ₂})ᵀP₁σ₂ + q₂ + Θ₂ᵀr₂]dt + Z₂ᴹdM

技术创新点

  1. 马尔可夫测度理论：引入马尔可夫链的鞅测度{Mᵢⱼ(·)|ι,j ∈ M}，为处理切换项提供了工具
  2. 新的稳定化条件：证明了系统A,Ā,C,C̄;B,B̄,D,D̄的L²-可稳定性不等价于每个固定状态ι ∈ M上系统的可稳定性
  3. 无穷时域BSDE新方法：由于稳定性条件较弱，不能直接应用现有结果，发展了新的证明技术

实验设置

理论验证

本文主要是理论工作，通过以下方式验证理论结果：

  1. 构造性证明：通过有限时域问题的极限过程构造ARE的解
  2. 对偶验证：通过对偶关系验证BSDE解的正确性
  3. 反例构造：通过Example 3.4和3.8说明理论结果的必要性

关键假设

  • (A1): 系数有界性
  • (A2): 非齐次项的可积性
  • (A3): 权重矩阵的正定性条件
  • (A4): 可稳定性条件

主要理论结果

定理 5.1 (主要结果)

在假设(A1)-(A4)下：

  1. ARE可解性：存在唯一解P₁,P₂: M → Sⁿ₊₊使得(Θ₁(·),Θ₂(·)) ∈ SA,Ā,C,C̄;B,B̄,D,D̄
  2. BSDE适定性：BSDE系统(5.2)存在唯一适应解
  3. 最优控制：闭环最优策略为：
    ūₖ = ΘₖXₖ - (Rₖ + Dₖᵀ P₁Dₖ)⁻¹(Bₖᵀ Yₖ + Dₖᵀ Πₖ[Z] + Dₖᵀ P₁σₖ + rₖ)

定理 5.2 (ARE可解性)

通过有限时域问题的极限过程，证明了ARE的稳定化解的存在唯一性。

定理 5.3 (BSDE适定性)

对任意(φ₁(·),φ₂(·)) ∈ L²_{F^α}(0,∞;Rⁿ)⊥ × L²_{F^α}(0,∞;Rⁿ)，BSDE系统存在唯一解。

定理 6.1 (开环可解性刻画)

最优对偶(X̄(·),ū(·))等价于FBSDE系统加上静态条件的解。

相关工作

历史发展

  1. 经典LQ理论：Bellman-Glicksberg-Gross (1960), Kalman (1960), Letov (1960)
  2. 随机LQ理论：Kushner (1960s), Wonham (1960s)
  3. 不定LQ理论：Chen-Li-Zhou (1998), Sun-Yong (2014-2018)
  4. 均场LQ理论：Yong (2013), Huang-Li-Yong (2015)

本文贡献相比相关工作

  1. 相比21：扩展到无穷时域情形
  2. 相比经典理论：引入均场项和马尔可夫切换
  3. 相比有限时域均场理论：处理无穷时域的技术挑战

结论与讨论

主要结论

  1. 建立了马尔可夫切换均场LQ问题的完整理论框架
  2. 给出了闭环和开环可解性的充要条件
  3. 发展了处理无穷时域切换BSDE的新方法

局限性

  1. 正定性假设：目前需要权重矩阵正定，作者承认将在后续工作中放松此假设
  2. 有限状态空间：马尔可夫链限制在有限状态空间
  3. 线性结构：仅考虑线性系统

未来方向

  1. 放松正定性条件，研究不定情形
  2. 扩展到无限维情形
  3. 考虑跳跃扩散过程

深度评价

优点

  1. 理论完整性：提供了从稳定性到最优控制的完整理论链条
  2. 技术创新：发展了处理马尔可夫切换的新技术，特别是无穷时域BSDE理论
  3. 严谨性：证明详细严谨，技术处理规范
  4. 实用价值：为实际应用提供了理论基础

不足

  1. 应用验证缺乏：作为纯理论工作，缺乏数值实验和实际应用验证
  2. 假设限制：正定性假设限制了应用范围
  3. 计算复杂性：未讨论ARE和BSDE的数值求解方法

影响力

  1. 学术贡献：填补了马尔可夫切换均场LQ理论的空白
  2. 后续研究：为相关领域提供了重要的理论工具
  3. 应用潜力：在金融数学、随机控制等领域有重要应用前景

适用场景

  1. 金融工程：投资组合优化、风险管理
  2. 工程控制：网络控制系统、多智能体系统
  3. 社会科学：人口动态、经济模型

参考文献

论文引用了41篇相关文献，涵盖了LQ控制理论的主要发展脉络，特别是：

  • 30 Sun & Yong的随机LQ理论专著
  • 21 Mei-Wei-Yong关于有限时域均场LQ问题的前期工作
  • 5 Chen-Li-Zhou关于不定LQ问题的开创性工作

总体评价：这是一篇高质量的理论论文，在马尔可夫切换均场随机控制理论方面做出了重要贡献。论文技术处理严谨，理论结果完整，为该领域的进一步发展奠定了坚实基础。尽管缺乏数值验证，但其理论价值和应用潜力使其成为该领域的重要进展。