Линейно-квадратичное оптимальное управление для среднепольевых стохастических дифференциальных уравнений в бесконечном горизонте с переключением режимов

Основная информация

• ID статьи: 2501.00981
• Название: Linear-Quadratic Optimal Control for Mean-Field Stochastic Differential Equations in Infinite-Horizon with Regime Switching
• Авторы: Hongwei Mei (Texas Tech University), Qingmeng Wei (Northeast Normal University), Jiongmin Yong (University of Central Florida)
• Классификация: math.OC (Оптимизация и управление)
• Дата публикации: 3 января 2025 г.
• Ссылка на статью: https://arxiv.org/abs/2501.00981

Аннотация

В данной работе исследуется задача оптимального управления линейно-квадратичного типа (LQ) в бесконечном временном горизонте с условными среднепольевыми членами в марковской переключаемой среде. Авторы применили метод ортогонального разложения, введённый в работе 21, и вывели ожидаемые алгебраические уравнения Риккати (ARE) и систему обратных стохастических дифференциальных уравнений (BSDE) с коэффициентами, зависящими от марковской цепи, в бесконечном временном горизонте. Определение замкнутой оптимальной стратегии зависит от разрешимости ARE и BSDE. Кроме того, разрешимость BSDE обеспечивает характеризацию разомкнутой разрешимости задачи оптимального управления.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, исследуемая в данной работе, заключается в задаче оптимального управления линейно-квадратичного типа в бесконечном временном горизонте с среднепольевыми членами в марковской переключаемой среде. Конкретно:

1. Уравнение состояния: рассматривается n-мерное управляемое среднепольевое стохастическое дифференциальное уравнение

   dX(t) = [A(α(t))X(t) + Ā(α(t))E^α_t[X(t)] + B(α(t))u(t) + B̄(α(t))E^α_t[u(t)] + b(t)]dt
          + [C(α(t))X(t) + C̄(α(t))E^α_t[X(t)] + D(α(t))u(t) + D̄(α(t))E^α_t[u(t)] + σ(t)]dW(t)
   

2. Целевая функция:

   J_∞(s,ι,ξ;u(·)) = E∫_s^∞ f(t,α(t),X(t),E^α_t[X(t)],u(t),E^α_t[u(t)])dt
   

Значимость исследования

1. Теоретическое значение: расширение классической теории LQ-управления на комбинированный случай среднепольевых и марковских переключаемых систем
2. Практическое применение: широкое применение в финансах, инженерии и социальных науках, таких как оптимизация портфеля, управление сетями и т.д.
3. Технические вызовы: комбинация бесконечного временного горизонта, среднепольевых членов и марковского переключения создаёт значительные технические трудности

Ограничения существующих методов

1. Ограничение конечным горизонтом: большинство существующих работ ограничены случаем конечного временного горизонта
2. Отсутствие марковского переключения: мало работ одновременно рассматривают среднепольевые члены и марковское переключение
3. Условия стабильности: существующие условия стабильности часто слишком строги и неприменимы к марковским переключаемым системам

Основные вклады

1. Установлена новая теория стабильности: определены L²-экспоненциальная стабильность, L²-интегрируемость и диссипативность в марковской переключаемой среде, доказана их эквивалентность
2. Выведены алгебраические уравнения Риккати: методом дополнения получена система ARE, зависящая от состояния марковской цепи, доказана существование и единственность стабилизирующего решения
3. Установлена теория бесконечного горизонта BSDE: доказана корректность системы бесконечного горизонта BSDE с марковскими переключаемыми членами
4. Полная характеризация разрешимости: дана полная характеризация разомкнутой и замкнутой разрешимости

Детальное описание методов

Определение задачи

Для заданных начальных условий (s,ι,ξ) ∈ D найти оптимальное управление ū(·) ∈ U_ad[s,∞) такое, что:

J_∞(s,ι,ξ;ū(·)) = inf_{u(·)∈U_ad[s,∞)} J_∞(s,ι,ξ;u(·))

Архитектура основного метода

1. Техника ортогонального разложения

Применён метод ортогонального разложения из работы 21, разлагающий исходную задачу на две ортогональные подпространства:

• Операторы проекции: Π₂v(·) = E^α_tv(t), Π₁ = I - Π₂
• Разложенные уравнения состояния:

  dX₁(t) = {A₁(α(t))X₁(t) + B₁(α(t))u₁(t) + b₁(t)}dt + {...}dW(t)
  dX₂(t) = {A₂(α(t))X₂(t) + B₂(α(t))u₂(t) + b₂(t)}dt
  

2. Анализ стабильности

Определены три эквивалентных понятия стабильности:

Определение 3.1: Система A,Ā,C,C̄ называется L²-экспоненциально стабильной, если существуют константы K,δ > 0 такие, что:

E|X⁰(t;s,ξ,ι)|² ≤ Ke^{-δ(t-s)}E|ξ|², ∀t ≥ s

Предложение 3.3: Следующие условия эквивалентны:

• L²-экспоненциальная стабильность
• L²-интегрируемость
• Диссипативность
• Система неравенств Ляпунова (3.7) имеет положительно определённое решение

3. Алгебраические уравнения Риккати

Методом дополнения выведена система ARE:

Λ[Pₖ(·)](ι) + Pₖ(ι)Aₖ(ι) + Aₖ(ι)ᵀPₖ(ι) + Cₖ(ι)ᵀP₁(ι)Cₖ(ι) + Qₖ(ι)
- [Pₖ(ι)Bₖ(ι) + Cₖ(ι)ᵀP₁(ι)Dₖ(ι) + Sₖ(ι)ᵀ][Rₖ(ι) + Dₖ(ι)ᵀP₁(ι)Dₖ(ι)]⁻¹
  ·[Bₖ(ι)ᵀPₖ(ι) + Dₖ(ι)ᵀP₁(ι)Cₖ(ι) + Sₖ(ι)] = 0

4. Система BSDE бесконечного горизонта

Установлена теория корректности следующей системы BSDE:

dY₁ = -[(A₁^{Θ₁})ᵀY₁ + (C₁^{Θ₁})ᵀΠ₁[Z] + P₁b₁ + (C₁^{Θ₁})ᵀP₁σ₁ + q₁ + Θ₁ᵀr₁]dt + ZdW + Z₁ᴹdM
dY₂ = -[(A₂^{Θ₂})ᵀY₂ + (C₂^{Θ₂})ᵀΠ₂[Z] + P₂b₂ + (C₂^{Θ₂})ᵀP₁σ₂ + q₂ + Θ₂ᵀr₂]dt + Z₂ᴹdM

Технические инновации

1. Теория марковских мер: введены мартингальные меры марковской цепи {Mᵢⱼ(·)|ι,j ∈ M}, обеспечивающие инструменты для работы с переключаемыми членами
2. Новые условия стабилизируемости: доказано, что L²-стабилизируемость системы A,Ā,C,C̄;B,B̄,D,D̄ не эквивалентна стабилизируемости системы на каждом фиксированном состоянии ι ∈ M
3. Новый метод для BSDE бесконечного горизонта: в связи с более слабыми условиями стабильности разработаны новые методы доказательства

Экспериментальная установка

Теоретическая верификация

Данная работа является теоретической и верифицирует результаты следующим образом:

1. Конструктивные доказательства: построение решения ARE через предельный процесс задач конечного горизонта
2. Двойственная верификация: проверка корректности решения BSDE через двойственные соотношения
3. Построение контрпримеров: примеры 3.4 и 3.8 демонстрируют необходимость теоретических результатов

Ключевые предположения

• (A1): Ограниченность коэффициентов
• (A2): Интегрируемость неоднородных членов
• (A3): Условия положительной определённости матриц весов
• (A4): Условия стабилизируемости

Основные теоретические результаты

Теорема 5.1 (Основной результат)

При предположениях (A1)-(A4):

1. Разрешимость ARE: существует единственное решение P₁,P₂: M → Sⁿ₊₊ такое, что (Θ₁(·),Θ₂(·)) ∈ SA,Ā,C,C̄;B,B̄,D,D̄
2. Корректность BSDE: система BSDE (5.2) имеет единственное адаптированное решение
3. Оптимальное управление: замкнутая оптимальная стратегия имеет вид:

   ūₖ = ΘₖXₖ - (Rₖ + Dₖᵀ P₁Dₖ)⁻¹(Bₖᵀ Yₖ + Dₖᵀ Πₖ[Z] + Dₖᵀ P₁σₖ + rₖ)
   

Теорема 5.2 (Разрешимость ARE)

Через предельный процесс задач конечного горизонта доказана существование и единственность стабилизирующего решения ARE.

Теорема 5.3 (Корректность BSDE)

Для любых (φ₁(·),φ₂(·)) ∈ L²_{F^α}(0,∞;Rⁿ)⊥ × L²_{F^α}(0,∞;Rⁿ) система BSDE имеет единственное решение.

Теорема 6.1 (Характеризация разомкнутой разрешимости)

Оптимальная пара (X̄(·),ū(·)) эквивалентна решению системы FBSDE с добавлением статического условия.

Связанные работы

Историческое развитие

1. Классическая теория LQ: Bellman-Glicksberg-Gross (1960), Kalman (1960), Letov (1960)
2. Стохастическая теория LQ: Kushner (1960s), Wonham (1960s)
3. Неопределённая теория LQ: Chen-Li-Zhou (1998), Sun-Yong (2014-2018)
4. Среднепольевая теория LQ: Yong (2013), Huang-Li-Yong (2015)

Вклад данной работы в сравнении со смежными работами

1. По сравнению с 21: расширение на случай бесконечного временного горизонта
2. По сравнению с классической теорией: введение среднепольевых членов и марковского переключения
3. По сравнению с конечногоризонтной среднепольевой теорией: решение технических вызовов бесконечного горизонта

Заключение и обсуждение

Основные выводы

1. Установлен полный теоретический каркас для марковских переключаемых среднепольевых LQ-задач
2. Даны необходимые и достаточные условия замкнутой и разомкнутой разрешимости
3. Разработаны новые методы для работы с переключаемыми BSDE бесконечного горизонта

Ограничения

1. Предположение положительной определённости: в настоящее время требуется положительная определённость матриц весов; авторы признают, что ослабят это предположение в последующих работах
2. Конечное пространство состояний: марковская цепь ограничена конечным пространством состояний
3. Линейная структура: рассматриваются только линейные системы

Направления будущих исследований

1. Ослабление условия положительной определённости, исследование неопределённого случая
2. Расширение на бесконечномерный случай
3. Рассмотрение процессов скачкообразной диффузии

Глубокая оценка

Преимущества

1. Полнота теории: предоставлена полная теоретическая цепь от стабильности к оптимальному управлению
2. Технические инновации: разработаны новые методы работы с марковским переключением, особенно теория BSDE бесконечного горизонта
3. Строгость: доказательства детальны и строги, техническая обработка надлежащая
4. Практическая ценность: обеспечивает теоретическую основу для практического применения

Недостатки

1. Отсутствие верификации приложений: как чисто теоретическая работа, не содержит численных экспериментов и практических приложений
2. Ограничения предположений: условие положительной определённости ограничивает область применения
3. Вычислительная сложность: не обсуждаются численные методы решения ARE и BSDE

Влияние

1. Академический вклад: заполняет пробел в теории марковских переключаемых среднепольевых LQ-задач
2. Последующие исследования: предоставляет важные теоретические инструменты для смежных областей
3. Потенциал приложений: имеет важное значение для приложений в финансовой математике, стохастическом управлении и других областях

Применимые сценарии

1. Финансовая инженерия: оптимизация портфеля, управление рисками
2. Инженерное управление: системы управления сетями, многоагентные системы
3. Социальные науки: динамика населения, экономические модели

Библиография

Статья цитирует 41 связанную работу, охватывающую основные направления развития теории LQ-управления, в частности:

• 30 Монография Sun & Yong по стохастической теории LQ
• 21 Предыдущая работа Mei-Wei-Yong по конечногоризонтной среднепольевой LQ-задаче
• 5 Основополагающая работа Chen-Li-Zhou по неопределённой LQ-задаче

Общая оценка: Это высококачественная теоретическая работа, вносящая важный вклад в теорию марковских переключаемых среднепольевых стохастических систем управления. Техническая обработка строга, теоретические результаты полны, что обеспечивает прочную основу для дальнейшего развития этой области. Несмотря на отсутствие численной верификации, её теоретическая ценность и потенциал приложений делают её важным прогрессом в данной области.