2025-11-21T18:34:22.859424

Linear-Quadratic Optimal Control for Mean-Field Stochastic Differential Equations in Infinite-Horizon with Regime Switching

Mei, Wei, Yong
This paper is concerned with stochastic linear quadratic (LQ, for short) optimal control problems in an infinite horizon with conditional mean-field term in a switching regime environment. The orthogonal decomposition introduced in [21] has been adopted. Desired algebraic Riccati equations (AREs, for short) and a system of backward stochastic differential equations (BSDEs, for short) in infinite time horizon with the coefficients depending on the Markov chain have been derived. The determination of closed-loop optimal strategy follows from the solvability of ARE and BSDE. Moreover, the solvability of BSDEs leads to a characterization of open-loop solvability of the optimal control problem.
academic

Linear-Quadratische Optimalsteuerung für Mean-Field-Stochastische Differentialgleichungen im unendlichen Horizont mit Regime-Switching

Grundinformationen

  • Papier-ID: 2501.00981
  • Titel: Linear-Quadratic Optimal Control for Mean-Field Stochastic Differential Equations in Infinite-Horizon with Regime Switching
  • Autoren: Hongwei Mei (Texas Tech University), Qingmeng Wei (Northeast Normal University), Jiongmin Yong (University of Central Florida)
  • Klassifizierung: math.OC (Optimierung und Steuerung)
  • Veröffentlichungsdatum: 3. Januar 2025
  • Papier-Link: https://arxiv.org/abs/2501.00981

Zusammenfassung

Dieses Papier untersucht das Problem der stochastischen linear-quadratischen (LQ) Optimalsteuerung im unendlichen Zeithorizont mit bedingten Mean-Field-Termen in einer Markov-Switching-Umgebung. Das Papier verwendet die in Referenz 21 eingeführte orthogonale Zerlegungsmethode, um die erwarteten algebraischen Riccati-Gleichungen (AREs) und ein System von rückwärts stochastischen Differentialgleichungen (BSDEs) mit Koeffizienten, die von der Markov-Kette abhängen, im unendlichen Zeithorizont herzuleiten. Die Bestimmung der geschlossenen optimalen Strategie hängt von der Lösbarkeit der ARE und BSDE ab. Darüber hinaus bietet die Lösbarkeit der BSDEs eine Charakterisierung für die offene Lösbarkeit des Optimalsteuerungsproblems.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem dieser Arbeit ist das Problem der stochastischen linear-quadratischen Optimalsteuerung im unendlichen Zeithorizont mit Mean-Field-Termen in einer Markov-Switching-Umgebung. Konkret:

  1. Zustandsgleichung: Betrachten Sie die n-dimensionale gesteuerte Mean-Field-Stochastische Differentialgleichung
    dX(t) = [A(α(t))X(t) + Ā(α(t))E^α_t[X(t)] + B(α(t))u(t) + B̄(α(t))E^α_t[u(t)] + b(t)]dt
       + [C(α(t))X(t) + C̄(α(t))E^α_t[X(t)] + D(α(t))u(t) + D̄(α(t))E^α_t[u(t)] + σ(t)]dW(t)
  2. Zielfunktion:
    J_∞(s,ι,ξ;u(·)) = E∫_s^∞ f(t,α(t),X(t),E^α_t[X(t)],u(t),E^α_t[u(t)])dt

Forschungsbedeutung

  1. Theoretische Bedeutung: Erweiterung der klassischen LQ-Steuerungstheorie auf die kombinierte Situation von Mean-Field und Markov-Switching
  2. Praktische Anwendungen: Breite Anwendungen in Finanzen, Ingenieurwesen und Sozialwissenschaften, wie Portfoliooptimierung, Netzwerksteuerung usw.
  3. Technische Herausforderungen: Die Kombination aus unendlichem Zeithorizont, Mean-Field-Termen und Markov-Switching führt zu erheblichen technischen Schwierigkeiten

Einschränkungen bestehender Methoden

  1. Endliche Zeithorizont-Beschränkung: Die meisten bestehenden Arbeiten sind auf den endlichen Zeithorizont beschränkt
  2. Fehlende Markov-Switching: Nur wenige Arbeiten behandeln gleichzeitig Mean-Field-Terme und Markov-Switching
  3. Stabilitätsbedingungen: Bestehende Stabilitätsbedingungen sind oft zu streng und nicht auf Markov-Switching-Situationen anwendbar

Kernbeiträge

  1. Etablierung einer neuen Stabilitätstheorie: Definition von L²-exponentieller Stabilität, L²-Integrierbarkeit und Dissipativität in der Markov-Switching-Umgebung und Beweis ihrer Äquivalenz
  2. Herleitung algebraischer Riccati-Gleichungen: Ableitung eines ARE-Systems, das vom Markov-Kettenzustand abhängt, durch die Vervollständigungsmethode und Beweis der Existenz und Eindeutigkeit der stabilisierenden Lösung
  3. Etablierung einer unendlichen Zeithorizont-BSDE-Theorie: Beweis der Wohldefiniertheit des unendlichen Zeithorizont-BSDE-Systems mit Markov-Switching-Termen
  4. Vollständige Lösbarkeitscharakterisierung: Bereitstellung einer vollständigen Charakterisierung der geschlossenen und offenen Lösbarkeit

Methodische Details

Aufgabendefinition

Gegeben die Anfangsbedingung (s,ι,ξ) ∈ D, finden Sie die optimale Steuerung ū(·) ∈ U_ad[s,∞) so dass:

J_∞(s,ι,ξ;ū(·)) = inf_{u(·)∈U_ad[s,∞)} J_∞(s,ι,ξ;u(·))

Kernmethodische Architektur

1. Orthogonale Zerlegungstechnik

Verwendung der orthogonalen Zerlegungsmethode aus Referenz 21, um das ursprüngliche Problem in zwei orthogonale Unterräume zu zerlegen:

  • Projektionsoperatoren: Π₂v(·) = E^α_tv(t), Π₁ = I - Π₂
  • Zerlegte Zustandsgleichungen: 
    dX₁(t) = {A₁(α(t))X₁(t) + B₁(α(t))u₁(t) + b₁(t)}dt + {...}dW(t)
dX₂(t) = {A₂(α(t))X₂(t) + B₂(α(t))u₂(t) + b₂(t)}dt

2. Stabilitätsanalyse

Definition von drei äquivalenten Stabilitätskonzepten:

Definition 3.1: Das System A,Ā,C,C̄ wird als L²-exponentiell stabil bezeichnet, wenn es Konstanten K,δ > 0 gibt, so dass:

E|X⁰(t;s,ξ,ι)|² ≤ Ke^{-δ(t-s)}E|ξ|², ∀t ≥ s

Proposition 3.3: Die folgenden Bedingungen sind äquivalent:

  • L²-exponentielle Stabilität
  • L²-Integrierbarkeit
  • Dissipativität
  • Lyapunov-Ungleichungssystem (3.7) hat eine positiv definite Lösung

3. Algebraische Riccati-Gleichung

Herleitung des ARE-Systems durch die Vervollständigungsmethode:

Λ[Pₖ(·)](ι) + Pₖ(ι)Aₖ(ι) + Aₖ(ι)ᵀPₖ(ι) + Cₖ(ι)ᵀP₁(ι)Cₖ(ι) + Qₖ(ι)
- [Pₖ(ι)Bₖ(ι) + Cₖ(ι)ᵀP₁(ι)Dₖ(ι) + Sₖ(ι)ᵀ][Rₖ(ι) + Dₖ(ι)ᵀP₁(ι)Dₖ(ι)]⁻¹
  ·[Bₖ(ι)ᵀPₖ(ι) + Dₖ(ι)ᵀP₁(ι)Cₖ(ι) + Sₖ(ι)] = 0

4. Unendlicher Zeithorizont-BSDE-System

Etablierung der Wohldefiniertheit des folgenden BSDE-Systems:

dY₁ = -[(A₁^{Θ₁})ᵀY₁ + (C₁^{Θ₁})ᵀΠ₁[Z] + P₁b₁ + (C₁^{Θ₁})ᵀP₁σ₁ + q₁ + Θ₁ᵀr₁]dt + ZdW + Z₁ᴹdM
dY₂ = -[(A₂^{Θ₂})ᵀY₂ + (C₂^{Θ₂})ᵀΠ₂[Z] + P₂b₂ + (C₂^{Θ₂})ᵀP₁σ₂ + q₂ + Θ₂ᵀr₂]dt + Z₂ᴹdM

Technische Innovationspunkte

  1. Markov-Maßtheorie: Einführung von Martingal-Maßen der Markov-Kette {Mᵢⱼ(·)|ι,j ∈ M}, die Werkzeuge zur Behandlung von Switching-Termen bereitstellen
  2. Neue Stabilisierungsbedingungen: Beweis, dass die L²-Stabilisierbarkeit des Systems A,Ā,C,C̄;B,B̄,D,D̄ nicht äquivalent zur Stabilisierbarkeit des Systems bei jedem festen Zustand ι ∈ M ist
  3. Neue Methode für unendliche Zeithorizont-BSDE: Da die Stabilitätsbedingungen schwächer sind, können bestehende Ergebnisse nicht direkt angewendet werden; es wurden neue Beweistechniken entwickelt

Experimentelle Einrichtung

Theoretische Verifikation

Dieses Papier ist hauptsächlich eine theoretische Arbeit, die theoretische Ergebnisse auf folgende Weise verifiziert:

  1. Konstruktive Beweise: Konstruktion der ARE-Lösung durch den Grenzprozess von endlichen Zeithorizont-Problemen
  2. Duale Verifikation: Verifikation der Korrektheit der BSDE-Lösung durch duale Beziehungen
  3. Gegenbeispielkonstruktion: Demonstration der Notwendigkeit theoretischer Ergebnisse durch Beispiele 3.4 und 3.8

Schlüsselannahmen

  • (A1): Beschränktheit der Koeffizienten
  • (A2): Integrierbarkeit der inhomogenen Terme
  • (A3): Positive Definitheit der Gewichtungsmatrizen
  • (A4): Stabilisierungsbedingungen

Haupttheoretische Ergebnisse

Theorem 5.1 (Hauptergebnis)

Unter den Annahmen (A1)-(A4):

  1. ARE-Lösbarkeit: Es existiert eine eindeutige Lösung P₁,P₂: M → Sⁿ₊₊ so dass (Θ₁(·),Θ₂(·)) ∈ SA,Ā,C,C̄;B,B̄,D,D̄
  2. BSDE-Wohldefiniertheit: Das BSDE-System (5.2) besitzt eine eindeutige adaptive Lösung
  3. Optimalsteuerung: Die geschlossene optimale Strategie ist:
    ūₖ = ΘₖXₖ - (Rₖ + Dₖᵀ P₁Dₖ)⁻¹(Bₖᵀ Yₖ + Dₖᵀ Πₖ[Z] + Dₖᵀ P₁σₖ + rₖ)

Theorem 5.2 (ARE-Lösbarkeit)

Durch den Grenzprozess von endlichen Zeithorizont-Problemen wird die Existenz und Eindeutigkeit der stabilisierenden Lösung der ARE bewiesen.

Theorem 5.3 (BSDE-Wohldefiniertheit)

Für beliebige (φ₁(·),φ₂(·)) ∈ L²_{F^α}(0,∞;Rⁿ)⊥ × L²_{F^α}(0,∞;Rⁿ) existiert eine eindeutige Lösung des BSDE-Systems.

Theorem 6.1 (Charakterisierung der offenen Lösbarkeit)

Das optimale Paar (X̄(·),ū(·)) ist äquivalent zur Lösung des FBSDE-Systems plus statische Bedingung.

Verwandte Arbeiten

Historische Entwicklung

  1. Klassische LQ-Theorie: Bellman-Glicksberg-Gross (1960), Kalman (1960), Letov (1960)
  2. Stochastische LQ-Theorie: Kushner (1960er Jahre), Wonham (1960er Jahre)
  3. Indefinite LQ-Theorie: Chen-Li-Zhou (1998), Sun-Yong (2014-2018)
  4. Mean-Field-LQ-Theorie: Yong (2013), Huang-Li-Yong (2015)

Beitrag dieses Papiers im Vergleich zu verwandten Arbeiten

  1. Im Vergleich zu 21: Erweiterung auf den unendlichen Zeithorizont
  2. Im Vergleich zur klassischen Theorie: Einführung von Mean-Field-Termen und Markov-Switching
  3. Im Vergleich zur endlichen Zeithorizont-Mean-Field-Theorie: Behandlung der technischen Herausforderungen des unendlichen Zeithorizonts

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Etablierung eines vollständigen theoretischen Rahmens für Markov-Switching-Mean-Field-LQ-Probleme
  2. Bereitstellung notwendiger und hinreichender Bedingungen für geschlossene und offene Lösbarkeit
  3. Entwicklung neuer Methoden zur Behandlung von unendlichen Zeithorizont-Switching-BSDEs

Einschränkungen

  1. Positive Definitheit-Annahme: Derzeit ist positive Definitheit der Gewichtungsmatrizen erforderlich; die Autoren erkennen an, dass diese Annahme in zukünftigen Arbeiten gelockert wird
  2. Endlicher Zustandsraum: Markov-Kette ist auf endlichen Zustandsraum beschränkt
  3. Lineare Struktur: Nur lineare Systeme werden betrachtet

Zukünftige Richtungen

  1. Lockerung der Positive-Definitheit-Bedingung, Untersuchung des indefiniten Falls
  2. Erweiterung auf unendlich-dimensionale Fälle
  3. Betrachtung von Sprung-Diffusionsprozessen

Tiefgreifende Bewertung

Stärken

  1. Theoretische Vollständigkeit: Bereitstellung einer vollständigen theoretischen Kette von Stabilität bis Optimalsteuerung
  2. Technische Innovation: Entwicklung neuer Techniken zur Behandlung von Markov-Switching, insbesondere der unendlichen Zeithorizont-BSDE-Theorie
  3. Strenge: Detaillierte und strenge Beweise mit standardisierter technischer Behandlung
  4. Praktischer Wert: Bereitstellung einer theoretischen Grundlage für praktische Anwendungen

Mängel

  1. Mangel an Anwendungsverifikation: Als reine theoretische Arbeit fehlen numerische Experimente und praktische Anwendungsverifikation
  2. Annahmebeschränkungen: Die Positive-Definitheit-Annahme begrenzt den Anwendungsbereich
  3. Rechenkomplexität: Numerische Lösungsmethoden für ARE und BSDE werden nicht diskutiert

Einflussfähigkeit

  1. Akademischer Beitrag: Schließung einer Lücke in der Markov-Switching-Mean-Field-LQ-Theorie
  2. Nachfolgeforschung: Bereitstellung wichtiger theoretischer Werkzeuge für verwandte Bereiche
  3. Anwendungspotenzial: Wichtige Anwendungsaussichten in Finanzmathematik, stochastischer Steuerung usw.

Anwendbare Szenarien

  1. Finanzingenieurwesen: Portfoliooptimierung, Risikomanagement
  2. Ingenieursteuerung: Netzwerksteuersysteme, Multi-Agent-Systeme
  3. Sozialwissenschaften: Bevölkerungsdynamik, Wirtschaftsmodelle

Literaturverzeichnis

Das Papier zitiert 41 verwandte Referenzen, die den Hauptentwicklungsverlauf der LQ-Steuerungstheorie abdecken, insbesondere:

  • 30 Sun & Yongs Monographie zur stochastischen LQ-Theorie
  • 21 Mei-Wei-Yongs Vorarbeiten zum endlichen Zeithorizont-Mean-Field-LQ-Problem
  • 5 Chen-Li-Zhous Pionierarbeit zum indefiniten LQ-Problem

Gesamtbewertung: Dies ist ein hochqualitatives theoretisches Papier, das wichtige Beiträge zur Markov-Switching-Mean-Field-Stochastischen-Steuerungstheorie leistet. Das Papier behandelt die Techniken streng, die theoretischen Ergebnisse sind vollständig und legen eine solide Grundlage für die weitere Entwicklung des Feldes. Obwohl numerische Verifikationen fehlen, machen sein theoretischer Wert und sein Anwendungspotenzial es zu einem wichtigen Fortschritt in diesem Bereich.