We consider the Schr{ö}dinger bridge problem in discrete time, where the pathwise cost is replaced by a sum of quadratic functions, taking the form of a linear quadratic regulator (LQR) cost. This cost comprises potential terms that act as attractors and kinetic terms that control the diffusion of the process. When the two boundary marginals are Gaussian, we show that the LQR-Schr{ö}dinger bridge problem can be solved in closed form. We follow the dynamic programming principle, interpreting the Kantorovich potentials as cost-to-go functions. Under the LQR-Gaussian assumption, these potentials can be propagated exactly in a backward and forward passes, leading to a system of dual Riccati equations, well known in estimation and control. This system converges rapidly in practice. We then show that the optimal process is Markovian and compute its transition kernel in closed form as well as the Gaussian marginals. Through numerical experiments, we demonstrate that this approach can be used to construct complex, non-homogeneous Gaussian processes with acceleration and loops, given well-chosen attractive potentials. Moreover, this approach allows extending the Bures transport between Gaussian distributions to more complex geometries with negative curvature.
- ID Articolo: 2506.17273
- Titolo: The LQR-Schrödinger Bridge
- Autore: Marc Lambert (INRIA - Ecole Normale Supérieure - PSL Research university, DGA - French Procurement Agency)
- Classificazione: math.OC (Ottimizzazione e Controllo)
- Data di Pubblicazione: 24 novembre 2025 (arXiv v2)
- Link Articolo: https://arxiv.org/abs/2506.17273
Questo articolo studia il problema del ponte di Schrödinger in tempo discreto, sostituendo il costo del percorso con una somma di funzioni quadratiche, formalmente simile al costo del regolatore lineare quadratico (LQR). Questo costo include un termine di potenziale che funge da attrattore e un termine di energia cinetica che controlla la diffusione del processo. Quando le distribuzioni marginali ai due confini sono gaussiane, gli autori dimostrano che il problema del ponte LQR-Schrödinger ammette soluzione in forma chiusa. Seguendo il principio della programmazione dinamica, le funzioni potenziale di Kantorovich sono interpretate come funzioni di costo residuo (cost-to-go), e sotto le ipotesi LQR-gaussiane, questi potenziali possono essere propagati esattamente attraverso passaggi in avanti e all'indietro, derivando un sistema duale di equazioni di Riccati algebriche discrete ben noto in stima e controllo. Questo sistema converge rapidamente nella pratica. Gli autori dimostrano inoltre che il processo ottimale è markoviano e calcolano in forma chiusa il suo nucleo di transizione e le distribuzioni marginali gaussiane. Attraverso esperimenti numerici, gli autori mostrano che il metodo può essere utilizzato per costruire complessi processi gaussiani non omogenei con caratteristiche di accelerazione e cicliche, nonché per estendere il trasporto di Bures tra distribuzioni gaussiane a problemi geometrici più complessi con curvatura negativa.
Il problema del ponte di Schrödinger origina dal lavoro pioneristico di Schrödinger del 1931, mirato a determinare il processo stocastico più probabile date le osservazioni delle distribuzioni marginali in due istanti temporali (istante iniziale p₀ e istante finale pₖ). Si tratta di un problema di trasporto ottimale con regolarizzazione entropica.
- Significato Teorico: Il sistema di Schrödinger è strettamente correlato al trasporto ottimale con regolarizzazione entropica e all'algoritmo di Sinkhorn, rappresentando un problema centrale della moderna teoria del trasporto ottimale
- Valore Applicativo: Ha applicazioni diffuse in teoria del controllo, pianificazione del percorso, controllo della covarianza e altri campi
- Efficienza Computazionale: La ricerca di casi speciali risolvibili in modo efficiente è cruciale per le applicazioni pratiche
- Restrizioni sulla Misura di Riferimento: Quando la misura di riferimento è il moto browniano, è possibile utilizzare l'algoritmo di Sinkhorn in modo efficiente, ma quando la misura di riferimento è un processo stocastico lineare il problema diventa più complesso
- Complessità Computazionale: Metodi esistenti come Chen et al. (2016) e Bakolas (2016), sebbene derivino equazioni di Riccati in avanti-all'indietro, hanno l'equazione in avanti che descrive l'evoluzione della matrice di covarianza dello stato del sistema in anello chiuso, piuttosto che l'evoluzione della funzione potenziale di Kantorovich
- Flessibilità di Modellazione: Mancanza di metodi per controllare direttamente le caratteristiche geometriche del processo attraverso il costo del percorso
Questo articolo propone un'alternativa: invece di specificare la misura di riferimento attraverso un processo stocastico lineare, definire la distribuzione congiunta attraverso il costo del percorso LQR. Questa impostazione non solo consente di controllare la covarianza dello stato fino al valore finale, ma anche di guidarla lungo percorsi o canali specifici, fornendo un quadro di modellazione più flessibile.
- Contributo Teorico: Propone una nuova formulazione del problema del ponte LQR-Schrödinger, definendo la misura di riferimento attraverso il costo del percorso LQR (includente termini di potenziale e energia cinetica)
- Soluzione in Forma Chiusa: Dimostra che sotto le ipotesi di distribuzioni marginali gaussiane e costo quadratico LQR, la funzione potenziale di Kantorovich può essere propagata esattamente, derivando un sistema duale di equazioni di Riccati algebriche discrete:
- Equazione all'indietro: Pk⊖=Qk/ε+Pk+1⊖−Pk+1⊖(Rk/ε+Pk+1⊖)−1Pk+1⊖
- Equazione in avanti: Pk+1⊕−1=εRk−1+Pk⊕−1−Pk⊕−1(εQk−1+Pk⊕−1)Pk⊕−1
- Caratterizzazione del Processo Ottimale: Dimostra che il processo ottimale è markoviano e calcola in forma chiusa il suo nucleo di transizione e le distribuzioni marginali gaussiane
- Estensione Geometrica: Mostra come il metodo può estendere il trasporto di Bures tra distribuzioni gaussiane a problemi geometrici più complessi con curvatura negativa
- Dimostrazione Applicativa: Attraverso esperimenti numerici verifica che il metodo può costruire complessi processi gaussiani non omogenei, realizzando inseguimento del percorso, elusione di ostacoli, traiettorie cicliche e altre funzionalità
Input:
- Distribuzioni marginali gaussiane iniziale e finale: p0=N(μ0,Σ0), pK=N(μK,ΣK)
- Parametri del costo LQR: matrice di potenziale Qk, punti di controllo xk∗, matrice di energia cinetica Rk
- Parametro di temperatura ε>0
Output:
- Distribuzione del percorso ottimale p∗(x0,...,xK)
- Nucleo di transizione p∗(xk+1∣xk)
- Distribuzioni marginali gaussiane agli istanti intermedi
Vincoli:
- Vincoli marginali: ∫p(x0,...,xK)dx1...dxK=p0(x0), ∫p(x0,...,xK)dx0...dxK−1=pK(xK)
Il costo del percorso è definito come somma di termini a coppie:
ℓ(x0,...,xK)=∑k=0K−1ℓk(xk,xk+1)
dove il costo a singolo passo è:
ℓk(xk,xk+1)=21(xk−xk∗)TQk(xk−xk∗)+21(xk+1−xk)TRk(xk+1−xk)
- Termine di Potenziale (termine sinistro): attrae il processo verso i punti di controllo xk∗ attraverso la matrice di penalizzazione Qk
- Termine di Energia Cinetica (termine destro): limita la diffusione del processo attraverso la matrice di penalizzazione Rk
La forma duale del problema del ponte di Schrödinger:
minp∈P(p0,pK)εKL(p∥exp(−ℓ/ε))
La soluzione ottimale ha forma di Gibbs:
p∗(x0,...,xK)∝φ0(x0)r(x0,...,xK)φK(xK)
dove φ0,φK sono funzioni potenziale di Gibbs e r=exp(−ℓ/ε) è la misura di riferimento non normalizzata.
Sotto l'ipotesi gaussiana, la funzione potenziale di Kantorovich è una forma quadratica, rappresentabile mediante matrici simmetriche definite positive:
- Potenziale iniziale: φ0=N(α0,P0−1)
- Potenziale finale: φK=N(αK,PK−1)
- Potenziale propagato in avanti: φk⊕=N(αk⊕,Pk⊕−1)
- Potenziale propagato all'indietro: φk⊖=N(αk⊖,Pk⊖−1)
Propagazione all'Indietro (Equazione 1):
P_k^⊖ = Q_k/ε + P_{k+1}^⊖ - P_{k+1}^⊖(R_k/ε + P_{k+1}^⊖)^{-1}P_{k+1}^⊖}
con aggiornamento del termine di deriva:
αk⊖=αk+1⊖+Pk⊖−1Qk/ε(xk∗−αk+1⊖)
Propagazione in Avanti (Equazione 2):
Pk+1⊕−1=εRk−1+Pk⊕−1−Pk⊕−1(εQk−1+Pk⊕−1)Pk⊕−1
con aggiornamento del termine di deriva:
αk+1⊕=(Qk/ε+Pk⊕)−1(Qk/εxk∗+Pk⊕αk⊕)
L'equazione in avanti manifesta una dualità con l'equazione all'indietro: i ruoli di R e Q si invertono. Questo fornisce una nuova interpretazione della dualità di Kalman:
- Qk−1 può essere interpretato come l'incertezza dell'informazione a priori (covarianza)
- Se Qk−1=0, allora è possibile predire perfettamente la traiettoria nella posizione xk∗
- Altrimenti è possibile stimare solo il vicinato attorno a xk∗
Il nucleo di transizione ottimale ha soluzione in forma chiusa:
p∗(xk+1∣xk)=N(xk+1∣xk+βk+Kkxk,Sk−1)
dove:
- Sk=Rk/ε+Pk+1⊖
- Kk=Sk−1Rk/ε (guadagno LQR)
- β_k = S_k^{-1}P_{k+1}^⊖} α_{k+1} (termine di deriva)
- Chen et al. (2016): L'equazione in avanti descrive l'evoluzione della covarianza dello stato del sistema in anello chiuso
- Questo Articolo: L'equazione in avanti descrive l'evoluzione della funzione potenziale di Kantorovich in avanti, con il costo del percorso che introduce accoppiamenti aggiuntivi
Gli esperimenti sono condotti nello spazio bidimensionale (d=2) utilizzando dati gaussiani sintetici.
- Distribuzioni Marginali:
- Distribuzioni gaussiane iniziale e finale N(μ0,Σ0) e N(μK,ΣK) rappresentate con ellissi rosse
- Inizializzazione delle funzioni potenziale come N(μ0,Σ0−1) e N(μK,ΣK−1)
- Numero di Punti del Percorso: K+1∈[15,100], a seconda delle necessità di visualizzazione
- Parametro di Temperatura:
- Temperatura fredda: ε=0.001 (richiede circa 5 iterazioni)
- Temperatura calda: ε=1 (solitamente converge in 1 iterazione)
- Matrici di Costo:
- Matrice di diffusione: Rk=rI (costante diagonale)
- Matrice di potenziale: Qk=qI (costante diagonale, o zero in alcuni istanti)
Sono stati progettati molteplici scenari tipici per testare le prestazioni del metodo:
- Trasporto Ottimale: Verifica della relazione con il trasporto di Bures
- Inseguimento di Percorso Ondulato: Utilizzo di punti di controllo densi
- Forma a Sega: Scenario di elusione di ostacoli
- Scoubidou: Traiettoria ciclica
- Ostacolo Attorcigliato: Matrice di potenziale non isotropa
Ponte Browniano (Temperatura Calda):
- Parametri: ε=1, q=0, r=100
- Risultato: Ponte browniano standard tra due misure di Dirac, il percorso è un processo stocastico
- Quando ε→0 si contrae in una geodetica euclidea
Geometria a Curvatura Negativa (Temperatura Fredda):
- Parametri: ε=0.001, q=0.3, r=10
- Risultato: Trasporto tra due distribuzioni gaussiane, con potenziale attrattore intermedio aggiunto, la geodetica si discosta dal trasporto di Bures, manifestando caratteristiche di curvatura negativa
- Verifica che il metodo può estendersi a geometrie più complesse
Scenario di Temperatura Fredda (ε=0.001):
- Percorso Ondulato (r=1, q=10, K=15):
- Utilizzo di K punti di controllo densi per la guida
- Il processo è quasi deterministico, la covarianza si riduce a causa degli alti valori di potenziale
- Dimostra la capacità di inseguimento preciso del percorso
- Forma a Sega (r=10, q=0.1, K=100):
- Utilizzo di 2 punti di controllo per guidare il processo gaussiano
- Realizza con successo l'elusione di ostacoli
- Scoubidou (r=10, q=0.2, K=100):
- Utilizzo di 3 punti di controllo
- Forma una struttura di traiettoria ciclica
- Ostacolo Attorcigliato (r=10, q=0.2, K=200):
- Utilizzo di 1 punto di controllo con matrice di potenziale non isotropa
- La covarianza marginale gaussiana subisce una torsione vicino al potenziale
- Dimostra la capacità di controllo della covarianza
Scenario di Temperatura Calda (ε=1):
- Con gli stessi parametri il processo è più diffusivo
- Il vincolo dai punti di controllo è indebolito
- Il percorso ondulato non è più deterministico
- La diffusione negli altri scenari è significativamente aumentata
- Convergenza Rapida: Con temperatura calda o valori grandi di K, solitamente converge in 1 iterazione; con temperatura fredda e K piccolo richiede circa 5 iterazioni
- Effetto della Temperatura:
- Temperatura fredda: il processo è quasi deterministico, l'effetto del potenziale è significativo, la covarianza si riduce
- Temperatura calda: il processo ha forte diffusività, il vincolo del potenziale è indebolito
- Controllo del Potenziale:
- Valore alto di q: forza attrattiva forte, covarianza ridotta, traiettoria più deterministica
- Valore basso di q: vincolo debole, mantiene più casualità
- Qk non isotropa: può controllare la forma e la direzione della covarianza
- Flessibilità Geometrica:
- Quando Qk=0 recupera la geodetica di Bures
- L'attivazione del potenziale produce geometria con curvatura negativa
- Attraverso il posizionamento strategico dei punti attrattori e l'intensità del potenziale è possibile progettare traiettorie complesse
- Schrödinger (1931): Lavoro pioneristico, propone il metodo della massima entropia per determinare il processo più probabile date le distribuzioni marginali
- Léonard (2001, 2014): Formulazione duale di Kantorovich e fondamenti teorici
- Peyré & Cuturi (2019): Connessione tra trasporto ottimale con regolarizzazione entropica e algoritmo di Sinkhorn
- Sinkhorn (1964), Cuturi (2013): Risoluzione efficiente del trasporto ottimale discreto
- Levy et al. (1990): Modellazione e stima di processi gaussiani reciproci in tempo discreto
- Jamison (1975), Beghi (1996): Trasformazione di Doob e condizionamento di processi markoviani
- Chen et al. (2016): Dimostra che il ponte di Schrödinger è equivalente a un problema di controllo stocastico con costo di controllo quadratico, derivando equazioni di Riccati in avanti-all'indietro
- Bakolas (2016): Controllo ottimale della covarianza con vincoli integrali quadratici sullo stato
- Bunne et al. (2022): Soluzione in forma chiusa del ponte di Schrödinger tra misure gaussiane
- Kalman (1960): Lavoro fondamentale su controllo LQR e equazioni di Riccati
- Hotz & Skelton (1985): Teoria del controllo della covarianza
- Okamoto & Tsiotras (2019): Pianificazione del percorso di veicoli stocastici guidata dalla covarianza
- Ziebart et al. (2010): Principio di massima entropia causale
- Haarnoja et al. (2018): Algoritmo Soft Actor-Critic
- Lambert et al. (2024): Programmazione dinamica variazionale
- Quadro Unificato: Unifica controllo LQR, trasporto ottimale e ponte di Schrödinger in un unico quadro
- Soluzione in Forma Chiusa: Ottiene una soluzione completamente analitica sotto l'ipotesi gaussiana
- Efficienza Computazionale: Le equazioni di Riccati possono essere risolte efficientemente, con convergenza rapida
- Flessibilità di Modellazione: Il termine di potenziale fornisce gradi di libertà di controllo aggiuntivi, permettendo la progettazione di geometrie complesse
- Nuove Intuizioni Teoriche: Rivela una nuova interpretazione della dualità di Kalman
- Risultati Teorici: Integra con successo le idee di controllo LQR nel quadro del trasporto ottimale, ottenendo una soluzione completamente in forma chiusa nell'impostazione gaussiana-LQR
- Efficienza dell'Algoritmo: Le equazioni di Riccati duali derivate realizzano la soluzione senza approssimazioni, con convergenza rapida nella pratica
- Ricchezza Geometrica: L'introduzione del termine di potenziale produce una struttura geometrica ricca, permettendo il controllo, la deformazione o la riduzione della covarianza delle distribuzioni gaussiane attraverso il posizionamento strategico di attrattori
- Potenziale Applicativo: Il metodo può essere utilizzato per inseguimento del percorso, guida della covarianza, elusione di ostacoli e altri problemi pratici
- Ipotesi di Controllabilità della Velocità: I risultati attuali sono limitati all'impostazione in cui la velocità è direttamente controllabile (uk∝xk+1−xk), l'estensione al controllo attraverso canali rimane per lavori futuri
- Tempo Discreto: I risultati sono derivati solo nel caso di tempo discreto, la generalizzazione al tempo continuo richiede ulteriori ricerche
- Ipotesi Gaussiana: Il metodo dipende dalla gaussianità delle distribuzioni marginali, l'estensione a casi non gaussiani presenta sfide
- Verifica Sperimentale: Gli esperimenti numerici sono principalmente condotti nello spazio bidimensionale, le prestazioni in dimensioni elevate richiedono ulteriore verifica
- Estensione del Controllo: Integrare informazioni a priori del processo (come dinamiche passive note), limitando l'ottimizzazione alle strategie di controllo p(u∣x)
- Tempo Continuo: Generalizzazione all'impostazione di tempo continuo
- Caso Non Gaussiano: Esplorazione di metodi approssimativi per distribuzioni marginali non gaussiane
- Sviluppo Applicativo: Applicazioni pratiche in pianificazione del percorso robotico, modellazione finanziaria e altri campi
- Approfondimento Teorico: Ulteriore ricerca sulla struttura geometrica indotta dal potenziale e sulle sue proprietà
- Contributo Teorico Significativo:
- Propone una nuova prospettiva sul problema del ponte di Schrödinger, definendo la misura di riferimento attraverso il costo LQR
- Rivela la connessione profonda delle equazioni di Riccati duali, fornendo una nuova interpretazione della dualità di Kalman
- La soluzione in forma chiusa è elegante dal punto di vista teorico e efficiente dal punto di vista computazionale
- Innovazione Metodologica:
- L'introduzione del termine di potenziale è un'innovazione chiave, fornendo gradi di libertà di modellazione aggiuntivi
- Combina abilmente programmazione dinamica, trasporto ottimale e teoria del controllo
- La procedura di normalizzazione ricorsiva è semplice ed efficace
- Rigore Matematico:
- Il processo di derivazione è chiaro e completo, raffinando gradualmente dal ponte di Schrödinger generale al caso gaussiano-LQR
- Sfrutta pienamente le proprietà delle distribuzioni gaussiane (prodotto, formule di convoluzione)
- L'applicazione della formula di Woodbury dimostra competenza tecnica
- Buona Progettazione Sperimentale:
- La progettazione degli scenari è mirata, dimostrando le diverse capacità del metodo
- Il confronto dei parametri di temperatura illustra chiaramente i diversi modelli di comportamento del metodo
- La visualizzazione è intuitiva ed efficace
- Alta Qualità della Scrittura:
- Il sistema di notazione è chiaro (in particolare la notazione in stile grafo probabilistico)
- La struttura logica è ragionevole, procedendo gradualmente dal semplice al complesso
- La discussione delle connessioni con i lavori correlati è completa
- Limitazioni Sperimentali:
- Verifica solo nello spazio bidimensionale, la stabilità numerica e l'efficienza computazionale in dimensioni elevate sono sconosciute
- Manca il confronto quantitativo con altri metodi (come Chen et al. 2016)
- Non fornisce garanzie teoriche di convergenza (sebbene nella pratica converga rapidamente)
- Limitazioni Teoriche:
- L'ipotesi di controllabilità della velocità è piuttosto forte, limitando l'ambito di applicazione
- Impostazione in tempo discreto, la generalizzazione al tempo continuo è non banale
- L'ipotesi gaussiana limita l'universalità del metodo
- Dettagli Tecnici:
- La condizione P0⊖≺Σ0−1 nell'aggiornamento della funzione potenziale non è sufficientemente discussa
- I problemi di stabilità numerica (come l'inversione di matrici) non sono analizzati in dettaglio
- L'effetto della strategia di inizializzazione non è stato sistematicamente studiato
- Guida Applicativa:
- Manca una guida sistematica su come scegliere i parametri (Q_k, R_k, ε) per applicazioni specifiche
- I principi di progettazione dei punti di controllo xk∗ non sono sufficientemente discussi
- L'interfaccia con i problemi di controllo reali richiede ulteriori chiarimenti
- Impatto Teorico:
- Fornisce una nuova prospettiva di ricerca sul problema del ponte di Schrödinger
- Approfondisce la connessione tra trasporto ottimale e teoria del controllo
- Potrebbe ispirare la ricerca di metodi approssimativi per il caso non gaussiano
- Impatto Metodologico:
- Fornisce un algoritmo efficiente e implementabile (il codice è open source)
- Può servire come baseline o componente di altri metodi
- I metodi numerici maturi per le equazioni di Riccati possono essere applicati direttamente
- Impatto Applicativo:
- Pianificazione del percorso robotico: guida della covarianza e elusione di ostacoli
- Modellazione finanziaria: condizionamento di processi stocastici
- Apprendimento automatico: modelli generativi e inferenza variazionale
- Ingegneria del controllo: progettazione di sistemi non omogenei
- Riproducibilità:
- La descrizione dell'algoritmo è chiara e facile da implementare
- Il codice è open source su GitHub
- L'impostazione sperimentale è dettagliata e verificabile
- Più Adatto:
- Problemi di trasporto ottimale tra distribuzioni gaussiane
- Pianificazione del percorso che richiede controllo della covarianza
- Controllo stocastico con vincoli di percorso
- Modellazione di processi gaussiani non omogenei
- Potenzialmente Promettente:
- Come inizializzazione o approssimazione per il caso non gaussiano
- Combinato con metodi di particelle per gestire distribuzioni multimodali
- Controllo adattivo online (attraverso aggiornamento iterativo)
- Non Adatto:
- Distribuzioni marginali non gaussiane (richiede estensione)
- Problemi che richiedono controllo attraverso canali (versione attuale)
- Problemi in dimensioni molto elevate (complessità delle operazioni matriciali)
- Fondamenti del Ponte di Schrödinger:
- Léonard, C. (2014). A survey of the Schrödinger problem and some of its connections with optimal transport.
- Chen, Y., Georgiou, T. T., & Pavon, M. (2021). Stochastic control liaisons: Richard Sinkhorn meets Gaspard Monge on a Schrödinger bridge.
- Trasporto Ottimale:
- Peyré, G., & Cuturi, M. (2019). Computational optimal transport: With applications to data science.
- Villani, C. (2008). Optimal Transport: Old and New.
- Teoria del Controllo:
- Kalman, R. E. (1960). Contributions to the theory of optimal control.
- Lancaster, P., & Rodman, L. (2002). Algebraic Riccati Equations.
- Metodi Correlati:
- Chen, Y., Georgiou, T. T., & Pavon, M. (2016). Optimal steering of a linear stochastic system to a final probability distribution.
- Bunne, C., et al. (2022). The Schrödinger bridge between Gaussian measures has a closed form.
Valutazione Complessiva: Questo è un lavoro teorico di alta qualità che integra con successo il quadro LQR della teoria del controllo con il problema del ponte di Schrödinger del trasporto ottimale, ottenendo una soluzione elegante in forma chiusa sotto l'ipotesi gaussiana. La derivazione delle equazioni di Riccati duali e la nuova interpretazione della dualità di Kalman hanno significativo valore teorico. Sebbene gli esperimenti numerici siano limitati a dimensioni basse, dimostrano efficacemente la flessibilità e il potenziale del metodo. Le principali limitazioni risiedono nell'ipotesi gaussiana e nell'ipotesi di controllabilità della velocità, ma come caso speciale, questo lavoro fornisce una base solida per la ricerca su problemi più generali. La disponibilità del codice open source ne aumenta il valore pratico e la riproducibilità.