Control Óptimo Lineal-Cuadrático para Ecuaciones Diferenciales Estocásticas de Campo Medio en Horizonte Infinito con Cambio de Régimen

Información Básica

• ID del Artículo: 2501.00981
• Título: Linear-Quadratic Optimal Control for Mean-Field Stochastic Differential Equations in Infinite-Horizon with Regime Switching
• Autores: Hongwei Mei (Texas Tech University), Qingmeng Wei (Northeast Normal University), Jiongmin Yong (University of Central Florida)
• Clasificación: math.OC (Optimización y Control)
• Fecha de Publicación: 3 de enero de 2025
• Enlace del Artículo: https://arxiv.org/abs/2501.00981

Resumen

Este artículo estudia el problema de control óptimo lineal-cuadrático (LQ) en horizonte infinito con términos de campo medio condicional bajo un entorno de cambio markoviano. El artículo adopta el método de descomposición ortogonal introducido en la referencia 21, derivando las ecuaciones algebraicas de Riccati (ARE) esperadas y un sistema de ecuaciones diferenciales estocásticas hacia atrás (BSDE) con coeficientes dependientes de la cadena de Markov en horizonte infinito. La determinación de la estrategia óptima de lazo cerrado depende de la resolubilidad de ARE y BSDE. Además, la resolubilidad de las BSDE proporciona una caracterización de la resolubilidad de lazo abierto del problema de control óptimo.

Antecedentes de Investigación y Motivación

Definición del Problema

El problema central estudiado en este artículo es el problema de control óptimo lineal-cuadrático estocástico en horizonte infinito con términos de campo medio bajo un entorno de cambio markoviano. Específicamente:

1. Ecuación de Estado: Se considera una ecuación diferencial estocástica de campo medio controlada de dimensión n

   dX(t) = [A(α(t))X(t) + Ā(α(t))E^α_t[X(t)] + B(α(t))u(t) + B̄(α(t))E^α_t[u(t)] + b(t)]dt
          + [C(α(t))X(t) + C̄(α(t))E^α_t[X(t)] + D(α(t))u(t) + D̄(α(t))E^α_t[u(t)] + σ(t)]dW(t)
   

2. Función Objetivo:

   J_∞(s,ι,ξ;u(·)) = E∫_s^∞ f(t,α(t),X(t),E^α_t[X(t)],u(t),E^α_t[u(t)])dt
   

Importancia de la Investigación

1. Significado Teórico: Extiende la teoría clásica de control LQ al caso combinado de campo medio y cambio markoviano
2. Aplicaciones Prácticas: Tiene aplicaciones amplias en finanzas, ingeniería y ciencias sociales, como optimización de carteras, control de redes, etc.
3. Desafíos Técnicos: La combinación de horizonte infinito, términos de campo medio y cambio markoviano presenta dificultades técnicas significativas

Limitaciones de Métodos Existentes

1. Restricción de Horizonte Finito: La mayoría de los trabajos existentes se limitan al caso de horizonte finito
2. Falta de Cambio Markoviano: Pocos trabajos abordan simultáneamente términos de campo medio y cambio markoviano
3. Condiciones de Estabilidad: Las condiciones de estabilidad existentes suelen ser demasiado restrictivas, no aplicables al caso de cambio markoviano

Contribuciones Principales

1. Establecimiento de Nueva Teoría de Estabilidad: Se definen L²-estabilidad exponencial, L²-integrabilidad y disipatividad bajo entorno de cambio markoviano, probando su equivalencia
2. Derivación de Ecuaciones Algebraicas de Riccati: Se obtiene el sistema ARE dependiente del estado de la cadena de Markov mediante el método de completación de cuadrados, probando la existencia y unicidad de su solución estabilizadora
3. Establecimiento de Teoría BSDE en Horizonte Infinito: Se prueba la buena colocación del sistema BSDE en horizonte infinito con términos de cambio markoviano
4. Caracterización Completa de Resolubilidad: Se proporciona una caracterización completa de la resolubilidad de lazo cerrado y lazo abierto

Detalles del Método

Definición de la Tarea

Dado la condición inicial (s,ι,ξ) ∈ D, encontrar el control óptimo ū(·) ∈ U_ad[s,∞) tal que:

J_∞(s,ι,ξ;ū(·)) = inf_{u(·)∈U_ad[s,∞)} J_∞(s,ι,ξ;u(·))

Arquitectura del Método Principal

1. Técnica de Descomposición Ortogonal

Se adopta el método de descomposición ortogonal de la referencia 21, descomponiendo el problema original en problemas en dos subespacios ortogonales:

• Operadores de Proyección: Π₂v(·) = E^α_tv(t), Π₁ = I - Π₂
• Ecuaciones de Estado Descompuestas:

  dX₁(t) = {A₁(α(t))X₁(t) + B₁(α(t))u₁(t) + b₁(t)}dt + {...}dW(t)
  dX₂(t) = {A₂(α(t))X₂(t) + B₂(α(t))u₂(t) + b₂(t)}dt
  

2. Análisis de Estabilidad

Se definen tres conceptos equivalentes de estabilidad:

Definición 3.1: El sistema A,Ā,C,C̄ se denomina L²-exponencialmente estable si existen constantes K,δ > 0 tales que:

E|X⁰(t;s,ξ,ι)|² ≤ Ke^{-δ(t-s)}E|ξ|², ∀t ≥ s

Proposición 3.3: Las siguientes condiciones son equivalentes:

• L²-estabilidad exponencial
• L²-integrabilidad
• Disipatividad
• La desigualdad de Lyapunov sistema (3.7) tiene solución definida positiva

3. Ecuación Algebraica de Riccati

Se deriva el sistema ARE mediante el método de completación de cuadrados:

Λ[Pₖ(·)](ι) + Pₖ(ι)Aₖ(ι) + Aₖ(ι)ᵀPₖ(ι) + Cₖ(ι)ᵀP₁(ι)Cₖ(ι) + Qₖ(ι)
- [Pₖ(ι)Bₖ(ι) + Cₖ(ι)ᵀP₁(ι)Dₖ(ι) + Sₖ(ι)ᵀ][Rₖ(ι) + Dₖ(ι)ᵀP₁(ι)Dₖ(ι)]⁻¹
  ·[Bₖ(ι)ᵀPₖ(ι) + Dₖ(ι)ᵀP₁(ι)Cₖ(ι) + Sₖ(ι)] = 0

4. Sistema BSDE en Horizonte Infinito

Se establece la teoría de buena colocación del siguiente sistema BSDE:

dY₁ = -[(A₁^{Θ₁})ᵀY₁ + (C₁^{Θ₁})ᵀΠ₁[Z] + P₁b₁ + (C₁^{Θ₁})ᵀP₁σ₁ + q₁ + Θ₁ᵀr₁]dt + ZdW + Z₁ᴹdM
dY₂ = -[(A₂^{Θ₂})ᵀY₂ + (C₂^{Θ₂})ᵀΠ₂[Z] + P₂b₂ + (C₂^{Θ₂})ᵀP₁σ₂ + q₂ + Θ₂ᵀr₂]dt + Z₂ᴹdM

Puntos de Innovación Técnica

1. Teoría de Medida Markoviana: Se introduce la medida martingala de la cadena de Markov {Mᵢⱼ(·)|ι,j ∈ M}, proporcionando herramientas para manejar términos de cambio
2. Nuevas Condiciones de Estabilización: Se prueba que la L²-estabilizabilidad del sistema A,Ā,C,C̄;B,B̄,D,D̄ no es equivalente a la estabilizabilidad del sistema en cada estado fijo ι ∈ M
3. Nuevo Método BSDE en Horizonte Infinito: Debido a que las condiciones de estabilidad son más débiles, no se pueden aplicar directamente los resultados existentes, desarrollando nuevas técnicas de prueba

Configuración Experimental

Verificación Teórica

Este trabajo es principalmente teórico, verificando los resultados teóricos de las siguientes maneras:

1. Pruebas Constructivas: Se construyen soluciones ARE mediante el proceso límite de problemas en horizonte finito
2. Verificación Dual: Se verifica la corrección de la solución BSDE mediante relaciones duales
3. Construcción de Contraejemplos: Los Ejemplos 3.4 y 3.8 ilustran la necesidad de los resultados teóricos

Supuestos Clave

• (A1): Acotación de coeficientes
• (A2): Integrabilidad de términos no homogéneos
• (A3): Condiciones de positividad definida de matrices de peso
• (A4): Condiciones de estabilizabilidad

Resultados Teóricos Principales

Teorema 5.1 (Resultado Principal)

Bajo los supuestos (A1)-(A4):

1. Resolubilidad ARE: Existe una solución única P₁,P₂: M → Sⁿ₊₊ tal que (Θ₁(·),Θ₂(·)) ∈ SA,Ā,C,C̄;B,B̄,D,D̄
2. Buena Colocación BSDE: El sistema BSDE (5.2) posee una solución adaptada única
3. Control Óptimo: La estrategia óptima de lazo cerrado es:

   ūₖ = ΘₖXₖ - (Rₖ + Dₖᵀ P₁Dₖ)⁻¹(Bₖᵀ Yₖ + Dₖᵀ Πₖ[Z] + Dₖᵀ P₁σₖ + rₖ)
   

Teorema 5.2 (Resolubilidad ARE)

Mediante el proceso límite de problemas en horizonte finito, se prueba la existencia y unicidad de la solución estabilizadora ARE.

Teorema 5.3 (Buena Colocación BSDE)

Para cualquier (φ₁(·),φ₂(·)) ∈ L²_{F^α}(0,∞;Rⁿ)⊥ × L²_{F^α}(0,∞;Rⁿ), el sistema BSDE posee una solución única.

Teorema 6.1 (Caracterización de Resolubilidad de Lazo Abierto)

El par óptimo (X̄(·),ū(·)) es equivalente a la solución del sistema FBSDE más condiciones estáticas.

Trabajos Relacionados

Desarrollo Histórico

1. Teoría LQ Clásica: Bellman-Glicksberg-Gross (1960), Kalman (1960), Letov (1960)
2. Teoría LQ Estocástica: Kushner (1960s), Wonham (1960s)
3. Teoría LQ Indefinida: Chen-Li-Zhou (1998), Sun-Yong (2014-2018)
4. Teoría LQ de Campo Medio: Yong (2013), Huang-Li-Yong (2015)

Contribución de Este Artículo Comparada con Trabajos Relacionados

1. Comparado con 21: Extensión al caso de horizonte infinito
2. Comparado con Teoría Clásica: Introducción de términos de campo medio y cambio markoviano
3. Comparado con Teoría de Campo Medio en Horizonte Finito: Manejo de desafíos técnicos en horizonte infinito

Conclusiones y Discusión

Conclusiones Principales

1. Se establece un marco teórico completo para problemas LQ de campo medio con cambio markoviano
2. Se proporcionan condiciones necesarias y suficientes para resolubilidad de lazo cerrado y lazo abierto
3. Se desarrollan nuevos métodos para manejar BSDE de cambio markoviano en horizonte infinito

Limitaciones

1. Supuesto de Positividad Definida: Actualmente se requiere que las matrices de peso sean definidas positivas; los autores reconocen que relajarán este supuesto en trabajos posteriores
2. Espacio de Estados Finito: La cadena de Markov se limita a un espacio de estados finito
3. Estructura Lineal: Solo se consideran sistemas lineales

Direcciones Futuras

1. Relajación de la condición de positividad definida, estudiando el caso indefinido
2. Extensión al caso de dimensión infinita
3. Consideración de procesos de difusión con saltos

Evaluación Profunda

Ventajas

1. Completitud Teórica: Proporciona una cadena teórica completa desde estabilidad hasta control óptimo
2. Innovación Técnica: Desarrolla nuevas técnicas para manejar cambio markoviano, particularmente la teoría BSDE en horizonte infinito
3. Rigor: Las pruebas son detalladas y rigurosas, con tratamiento técnico normativo
4. Valor Práctico: Proporciona base teórica para aplicaciones prácticas

Deficiencias

1. Falta de Verificación de Aplicaciones: Como trabajo puramente teórico, carece de experimentos numéricos y verificación de aplicaciones prácticas
2. Limitaciones de Supuestos: El supuesto de positividad definida limita el rango de aplicaciones
3. Complejidad Computacional: No se discuten métodos de resolución numérica para ARE y BSDE

Impacto

1. Contribución Académica: Llena el vacío en la teoría LQ de campo medio con cambio markoviano
2. Investigación Posterior: Proporciona herramientas teóricas importantes para campos relacionados
3. Potencial de Aplicación: Tiene perspectivas de aplicación importantes en matemáticas financieras, control estocástico y otros campos

Escenarios Aplicables

1. Ingeniería Financiera: Optimización de carteras, gestión de riesgos
2. Control de Ingeniería: Sistemas de control de redes, sistemas multiagente
3. Ciencias Sociales: Dinámicas poblacionales, modelos económicos

Referencias

El artículo cita 41 referencias relacionadas, cubriendo el desarrollo principal de la teoría de control LQ, particularmente:

• 30 Monografía de teoría LQ estocástica de Sun & Yong
• 21 Trabajo previo de Mei-Wei-Yong sobre problemas LQ de campo medio en horizonte finito
• 5 Trabajo pionero de Chen-Li-Zhou sobre problemas LQ indefinidos

Evaluación General: Este es un artículo teórico de alta calidad que realiza contribuciones importantes a la teoría de control estocástico de campo medio con cambio markoviano. El tratamiento técnico es riguroso, los resultados teóricos son completos, y proporciona una base sólida para el desarrollo futuro del campo. Aunque carece de verificación numérica, su valor teórico y potencial de aplicación lo convierten en un progreso importante en el campo.