We consider the Schr{ö}dinger bridge problem in discrete time, where the pathwise cost is replaced by a sum of quadratic functions, taking the form of a linear quadratic regulator (LQR) cost. This cost comprises potential terms that act as attractors and kinetic terms that control the diffusion of the process. When the two boundary marginals are Gaussian, we show that the LQR-Schr{ö}dinger bridge problem can be solved in closed form. We follow the dynamic programming principle, interpreting the Kantorovich potentials as cost-to-go functions. Under the LQR-Gaussian assumption, these potentials can be propagated exactly in a backward and forward passes, leading to a system of dual Riccati equations, well known in estimation and control. This system converges rapidly in practice. We then show that the optimal process is Markovian and compute its transition kernel in closed form as well as the Gaussian marginals. Through numerical experiments, we demonstrate that this approach can be used to construct complex, non-homogeneous Gaussian processes with acceleration and loops, given well-chosen attractive potentials. Moreover, this approach allows extending the Bures transport between Gaussian distributions to more complex geometries with negative curvature.
- ID del Artículo: 2506.17273
- Título: The LQR-Schrödinger Bridge
- Autor: Marc Lambert (INRIA - Ecole Normale Supérieure - PSL Research university, DGA - French Procurement Agency)
- Clasificación: math.OC (Optimización y Control)
- Fecha de Publicación: 24 de noviembre de 2025 (arXiv v2)
- Enlace del Artículo: https://arxiv.org/abs/2506.17273
Este artículo estudia el problema del puente de Schrödinger en tiempo discreto, reemplazando el costo de trayectoria por una suma de funciones cuadráticas, formalmente similar al costo del regulador lineal cuadrático (LQR). Este costo incluye términos de potencial que actúan como atractores y términos de energía cinética que controlan la difusión del proceso. Cuando las distribuciones marginales de frontera son gaussianas, el autor demuestra que el problema del puente de Schrödinger-LQR admite una solución en forma cerrada. Siguiendo el principio de programación dinámica, se interpreta la función potencial de Kantorovich como la función de costo-por-ir (cost-to-go), que bajo la hipótesis gaussiana-LQR puede propagarse exactamente mediante pasadas hacia adelante y hacia atrás, derivando un sistema dual de ecuaciones de Riccati que es bien conocido en estimación y control. Este sistema converge rápidamente en la práctica. El autor demuestra además que el proceso óptimo es markoviano y calcula en forma cerrada su núcleo de transición y distribuciones marginales gaussianas. A través de experimentos numéricos, se muestra que el método puede utilizarse para construir procesos gaussianos complejos no homogéneos con características de aceleración y ciclo, así como para extender el transporte de Bures entre distribuciones gaussianas a problemas geométricos más complejos con curvatura negativa.
El problema del puente de Schrödinger surge del trabajo pionero de Schrödinger en 1931, cuyo objetivo es determinar el proceso estocástico más probable dadas las observaciones de distribuciones marginales en dos momentos (momento inicial p₀ y momento terminal pₖ). Este es un problema de transporte óptimo con regularización de entropía.
- Significado Teórico: El sistema de Schrödinger está estrechamente relacionado con el transporte óptimo regularizado por entropía y el algoritmo de Sinkhorn, siendo un problema central en la teoría moderna del transporte óptimo
- Valor Aplicado: Tiene aplicaciones amplias en teoría de control, planificación de trayectorias, control de covarianza y otros campos
- Eficiencia Computacional: Encontrar casos especiales que puedan resolverse eficientemente es crucial para aplicaciones prácticas
- Restricciones de Medida de Referencia: Cuando la medida de referencia es movimiento browniano, puede utilizarse el algoritmo de Sinkhorn de manera eficiente, pero cuando la medida de referencia es un proceso estocástico lineal, el problema es más complejo
- Complejidad Computacional: Métodos existentes como Chen et al. (2016) y Bakolas (2016), aunque derivan ecuaciones de Riccati hacia adelante-atrás, tienen ecuaciones hacia adelante que describen la evolución de la matriz de covarianza del estado del sistema en bucle cerrado, no la evolución de la función potencial de Kantorovich
- Flexibilidad de Modelado: Falta un método para controlar directamente las características geométricas del proceso mediante costo de trayectoria
Este artículo propone una alternativa: en lugar de especificar la medida de referencia mediante un proceso estocástico lineal, define la distribución conjunta mediante costo de trayectoria LQR. Esta configuración no solo permite controlar la covarianza del estado para alcanzar un valor terminal, sino también guiarla a lo largo de trayectorias o conductos específicos, proporcionando un marco de modelado más flexible.
- Contribución Teórica: Se propone una nueva formulación del problema del puente de Schrödinger-LQR, definiendo la medida de referencia mediante costo de trayectoria LQR (incluyendo términos de potencial y energía cinética)
- Solución en Forma Cerrada: Se demuestra que bajo distribuciones marginales gaussianas y costo cuadrático LQR, la función potencial de Kantorovich puede propagarse exactamente, derivando un sistema dual de ecuaciones de Riccati algebraicas discretas:
- Ecuación hacia atrás: Pk⊖=Qk/ε+Pk+1⊖−Pk+1⊖(Rk/ε+Pk+1⊖)−1Pk+1⊖
- Ecuación hacia adelante: Pk+1⊕−1=εRk−1+Pk⊕−1−Pk⊕−1(εQk−1+Pk⊕−1)Pk⊕−1
- Caracterización del Proceso Óptimo: Se demuestra que el proceso óptimo es markoviano y se calcula en forma cerrada su núcleo de transición y distribuciones marginales gaussianas
- Extensión Geométrica: Se muestra que el método puede extender el transporte de Bures entre distribuciones gaussianas a problemas geométricos más complejos con curvatura negativa
- Demostración de Aplicaciones: Se valida mediante experimentos numéricos que el método puede construir procesos gaussianos complejos no homogéneos, implementando seguimiento de trayectoria, evasión de obstáculos, trayectorias cíclicas y otras funcionalidades
Entrada:
- Distribuciones marginales gaussianas inicial y terminal: p0=N(μ0,Σ0), pK=N(μK,ΣK)
- Parámetros de costo LQR: matriz de potencial Qk, puntos de control xk∗, matriz de energía cinética Rk
- Parámetro de temperatura ε>0
Salida:
- Distribución de trayectoria óptima p∗(x0,...,xK)
- Núcleo de transición p∗(xk+1∣xk)
- Distribuciones marginales gaussianas en momentos intermedios
Restricciones:
- Restricciones marginales: ∫p(x0,...,xK)dx1...dxK=p0(x0), ∫p(x0,...,xK)dx0...dxK−1=pK(xK)
El costo de trayectoria se define como suma de términos por pares:
ℓ(x0,...,xK)=∑k=0K−1ℓk(xk,xk+1)
donde el costo de un paso es:
ℓk(xk,xk+1)=21(xk−xk∗)TQk(xk−xk∗)+21(xk+1−xk)TRk(xk+1−xk)
- Término de Potencial (término izquierdo): Atrae el proceso hacia puntos de control xk∗ mediante la matriz de penalización Qk
- Término de Energía Cinética (término derecho): Limita la difusión del proceso mediante la matriz de penalización Rk
La forma dual del problema del puente de Schrödinger:
minp∈P(p0,pK)εKL(p∥exp(−ℓ/ε))
La solución óptima tiene forma de Gibbs:
p∗(x0,...,xK)∝φ0(x0)r(x0,...,xK)φK(xK)
donde φ0,φK son funciones potencial de Gibbs, y r=exp(−ℓ/ε) es la medida de referencia no normalizada.
Bajo la hipótesis gaussiana, las funciones potencial de Kantorovich son formas cuadráticas, representables mediante matrices simétricas definidas positivas:
- Potencial inicial: φ0=N(α0,P0−1)
- Potencial terminal: φK=N(αK,PK−1)
- Potencial de propagación hacia adelante: φk⊕=N(αk⊕,Pk⊕−1)
- Potencial de propagación hacia atrás: φk⊖=N(αk⊖,Pk⊖−1)
Propagación hacia atrás (Ecuación 1):
P_k^⊖ = Q_k/ε + P_{k+1}^⊖ - P_{k+1}^⊖(R_k/ε + P_{k+1}^⊖)^{-1}P_{k+1}^⊖}
con actualización de término de deriva:
αk⊖=αk+1⊖+Pk⊖−1Qk/ε(xk∗−αk+1⊖)
Propagación hacia adelante (Ecuación 2):
Pk+1⊕−1=εRk−1+Pk⊕−1−Pk⊕−1(εQk−1+Pk⊕−1)Pk⊕−1
con actualización de término de deriva:
αk+1⊕=(Qk/ε+Pk⊕)−1(Qk/εxk∗+Pk⊕αk⊕)
La ecuación hacia adelante exhibe dualidad con la ecuación hacia atrás: los roles de R y Q se intercambian. Esto proporciona una nueva interpretación de la dualidad de Kalman:
- Qk−1 puede interpretarse como la incertidumbre (covarianza) de la información previa
- Si Qk−1=0, entonces se puede predecir perfectamente que la trayectoria está en la ubicación xk∗
- De lo contrario, solo se puede estimar la vecindad alrededor de xk∗
El núcleo de transición óptimo tiene solución en forma cerrada:
p∗(xk+1∣xk)=N(xk+1∣xk+βk+Kkxk,Sk−1)
donde:
- Sk=Rk/ε+Pk+1⊖
- Kk=Sk−1Rk/ε (ganancia LQR)
- β_k = S_k^{-1}P_{k+1}^⊖} α_{k+1} (término de deriva)
- Chen et al. (2016): La ecuación hacia adelante describe la evolución de la matriz de covarianza del estado del sistema en bucle cerrado
- Este artículo: La ecuación hacia adelante describe la evolución de la función potencial de Kantorovich hacia adelante, con acoplamiento adicional introducido por el costo de trayectoria
Los experimentos se realizan en espacio bidimensional (d=2) utilizando datos gaussianos sintéticos.
- Distribuciones Marginales:
- Distribuciones gaussianas inicial y terminal N(μ0,Σ0) y N(μK,ΣK) representadas con elipses rojas
- Inicialización de funciones potencial como N(μ0,Σ0−1) y N(μK,ΣK−1)
- Número de Puntos de Trayectoria: K+1∈[15,100], dependiendo de necesidades de visualización
- Parámetro de Temperatura:
- Temperatura fría: ε=0.001 (requiere aproximadamente 5 iteraciones)
- Temperatura cálida: ε=1 (típicamente converge en 1 iteración)
- Matrices de Costo:
- Matriz de difusión: Rk=rI (constante diagonal)
- Matriz de potencial: Qk=qI (constante diagonal, o cero en ciertos momentos)
Se diseñaron múltiples escenarios típicos para probar el desempeño del método:
- Transporte Óptimo: Verificación de relación con transporte de Bures
- Seguimiento de Trayectoria Ondulatoria: Uso de puntos de control densos
- Forma de Zigzag: Escenario de evasión de obstáculos
- Scoubidou: Trayectoria cíclica
- Obstáculo Retorcido: Matriz de potencial no isotrópica
Puente Browniano (Temperatura Cálida):
- Parámetros: ε=1, q=0, r=100
- Resultado: Puente browniano estándar entre dos medidas de Dirac, trayectoria como proceso estocástico
- Cuando ε→0 se contrae a geodésica euclidiana
Geometría de Curvatura Negativa (Temperatura Fría):
- Parámetros: ε=0.001, q=0.3, r=10
- Resultado: Transporte entre dos distribuciones gaussianas, con potencial atractor intermedio, la geodésica se desvía del transporte de Bures, exhibiendo características de curvatura negativa
- Verifica que el método se extiende a geometrías más complejas
Escenarios de Temperatura Fría (ε=0.001):
- Trayectoria Ondulatoria (r=1, q=10, K=15):
- Uso de K puntos de control densos para guiar
- El proceso es casi determinista, la covarianza disminuye debido a valores de potencial alto
- Demuestra capacidad de seguimiento de trayectoria preciso
- Forma de Zigzag (r=10, q=0.1, K=100):
- Uso de 2 puntos de control para guiar el proceso gaussiano
- Implementa exitosamente evasión de obstáculos
- Scoubidou (r=10, q=0.2, K=100):
- Uso de 3 puntos de control
- Forma estructura de trayectoria cíclica
- Obstáculo Retorcido (r=10, q=0.2, K=200):
- Uso de 1 punto de control con matriz de potencial no isotrópica
- La covarianza marginal gaussiana se retuerce cerca del potencial
- Demuestra capacidad de control de covarianza
Escenarios de Temperatura Cálida (ε=1):
- Con parámetros idénticos, el proceso es más difusivo
- Las restricciones de puntos de control se debilitan
- La trayectoria ondulatoria ya no es determinista
- En otros escenarios, la difusión aumenta significativamente
- Convergencia Rápida: Con temperatura cálida o valores grandes de K, típicamente converge en 1 iteración; con temperatura fría y K pequeño requiere aproximadamente 5 iteraciones
- Efecto de Temperatura:
- Temperatura fría: El proceso es casi determinista, el efecto del potencial es significativo, la covarianza disminuye
- Temperatura cálida: El proceso tiene fuerte difusividad, las restricciones del potencial se debilitan
- Control de Potencial:
- Valor alto de q: Fuerza atractiva fuerte, la covarianza disminuye, la trayectoria es más determinista
- Valor bajo de q: Restricción débil, mantiene más aleatoriedad
- Qk no isotrópica: Puede controlar la forma y dirección de la covarianza
- Flexibilidad Geométrica:
- Cuando Qk=0 se recupera la geodésica de Bures
- Activar el potencial produce geometría de curvatura negativa
- Mediante colocación estratégica de atractores y ajuste de fuerza de potencial se pueden diseñar trayectorias complejas
- Schrödinger (1931): Trabajo pionero, propone método de máxima entropía para determinar el proceso más probable dadas distribuciones marginales
- Léonard (2001, 2014): Formulación dual de Kantorovich y fundamentos teóricos
- Peyré & Cuturi (2019): Conexión entre transporte óptimo regularizado por entropía y algoritmo de Sinkhorn
- Sinkhorn (1964), Cuturi (2013): Resolución eficiente de transporte óptimo discreto
- Levy et al. (1990): Modelado y estimación de procesos gaussianos recíprocos en tiempo discreto
- Jamison (1975), Beghi (1996): Transformación de Doob y condicionamiento de procesos markovianos
- Chen et al. (2016): Demuestran que el puente de Schrödinger es equivalente a problema de control estocástico con costo de control cuadrático, derivan ecuaciones de Riccati hacia adelante-atrás
- Bakolas (2016): Control óptimo de covarianza con restricciones de estado cuadrático integral
- Bunne et al. (2022): Solución en forma cerrada del puente de Schrödinger entre medidas gaussianas
- Kalman (1960): Trabajo fundamental en control LQR y ecuaciones de Riccati
- Hotz & Skelton (1985): Teoría de control de covarianza
- Okamoto & Tsiotras (2019): Planificación de trayectoria de vehículos estocásticos guiada por covarianza
- Ziebart et al. (2010): Principio de máxima entropía causal
- Haarnoja et al. (2018): Algoritmo de actor-crítico suave
- Lambert et al. (2024): Programación dinámica variacional
- Marco Unificado: Unifica control LQR, transporte óptimo y puente de Schrödinger en un único marco
- Solución en Forma Cerrada: Obtiene solución completamente analítica bajo hipótesis gaussiana
- Eficiencia Computacional: Las ecuaciones de Riccati pueden resolverse eficientemente, convergencia rápida
- Flexibilidad de Modelado: El término de potencial proporciona grados de libertad de control adicionales, permitiendo diseñar geometrías complejas
- Nuevas Perspectivas Teóricas: Revela nueva interpretación de la dualidad de Kalman
- Logros Teóricos: Integración exitosa de ideas de control LQR en marco de transporte óptimo, obtención de solución completamente en forma cerrada bajo configuración gaussiana-LQR
- Eficiencia del Algoritmo: Las ecuaciones de Riccati duales derivadas pueden implementarse sin aproximación, con convergencia rápida en la práctica
- Riqueza Geométrica: La introducción del término de potencial produce estructura geométrica rica, permitiendo controlar, deformar o reducir la covarianza de distribuciones gaussianas mediante colocación estratégica de atractores
- Potencial de Aplicación: El método es aplicable a seguimiento de trayectoria, guía de covarianza, evasión de obstáculos y otros problemas prácticos
- Hipótesis de Controlabilidad de Velocidad: Los resultados actuales se limitan a configuraciones donde la velocidad es directamente controlable (uk∝xk+1−xk), la extensión a control mediante canales se deja para trabajo futuro
- Tiempo Discreto: Los resultados se derivan solo para caso de tiempo discreto, la generalización a tiempo continuo requiere investigación adicional
- Hipótesis Gaussiana: El método depende de la gaussianidad de distribuciones marginales, la generalización a casos no gaussianos presenta desafíos
- Validación Experimental: Los experimentos numéricos se realizan principalmente en espacio bidimensional, el desempeño en dimensiones altas requiere validación adicional
- Extensión de Control: Integración de información previa del proceso (como dinámica pasiva conocida), limitación de optimización a estrategia de control p(u∣x)
- Tiempo Continuo: Generalización a configuración de tiempo continuo
- Caso No Gaussiano: Exploración de métodos de aproximación bajo distribuciones marginales no gaussianas
- Desarrollo de Aplicaciones: Aplicaciones prácticas en planificación de trayectoria robótica, modelado financiero y otros campos
- Profundización Teórica: Investigación adicional de estructura geométrica inducida por potencial y sus propiedades
- Contribución Teórica Significativa:
- Propone nueva perspectiva del problema del puente de Schrödinger, definiendo medida de referencia mediante costo LQR
- Revela conexión profunda de ecuaciones de Riccati duales, proporciona nueva interpretación de dualidad de Kalman
- Solución en forma cerrada es elegante teóricamente y eficiente computacionalmente
- Innovación Metodológica:
- La introducción del término de potencial es innovación clave, proporcionando grados de libertad de modelado adicionales
- Combinación ingeniosa de programación dinámica, transporte óptimo y teoría de control
- Procedimiento de normalización recursiva es simple y efectivo
- Rigor Matemático:
- Proceso de derivación es claro y completo, refinamiento gradual de puente de Schrödinger general a caso gaussiano-LQR
- Aprovechamiento completo de propiedades de distribuciones gaussianas (producto, fórmulas de convolución)
- Aplicación de fórmula de Woodbury demuestra destreza técnica
- Diseño Experimental Sólido:
- Diseño de escenarios es dirigido, demostrando capacidades diversificadas del método
- Comparación de parámetros de temperatura muestra claramente diferentes patrones de comportamiento del método
- Visualización es intuitiva y efectiva
- Calidad de Escritura Alta:
- Sistema de símbolos es claro (especialmente notación estilo modelo gráfico probabilístico)
- Estructura lógica es razonable, progresión gradual de simple a complejo
- Discusión suficiente de conexiones con trabajo relacionado
- Limitaciones Experimentales:
- Validación solo en espacio bidimensional, estabilidad numérica y eficiencia computacional en dimensiones altas desconocidas
- Falta comparación cuantitativa con otros métodos (como Chen et al. 2016)
- No proporciona garantías teóricas de convergencia (aunque en práctica converge rápidamente)
- Limitaciones Teóricas:
- Hipótesis de controlabilidad de velocidad es fuerte, limitando rango de aplicación
- Configuración de tiempo discreto, generalización a tiempo continuo no trivial
- Hipótesis gaussiana limita universalidad del método
- Detalles Técnicos:
- Condición P0⊖≺Σ0−1 en actualización de función potencial no suficientemente discutida
- Problemas de estabilidad numérica (como inversión de matriz) no analizados en detalle
- Impacto de estrategia de inicialización no investigado sistemáticamente
- Orientación de Aplicación:
- Falta orientación sistemática para seleccionar parámetros (Q_k, R_k, ε) para aplicaciones específicas
- Principios de diseño de puntos de control xk∗ no suficientemente discutidos
- Interfaz con problemas de control práctico necesita más explicación
- Influencia Teórica:
- Proporciona nueva perspectiva de investigación para problema del puente de Schrödinger
- Profundiza conexión entre transporte óptimo y teoría de control
- Puede inspirar investigación de métodos de aproximación para caso no gaussiano
- Influencia de Método:
- Proporciona algoritmo eficiente e implementable (código de código abierto disponible)
- Puede servir como baseline o componente de otros métodos
- Métodos numéricos maduros de ecuaciones de Riccati pueden aplicarse directamente
- Influencia de Aplicación:
- Planificación de trayectoria robótica: guía de covarianza y evasión de obstáculos
- Modelado financiero: condicionamiento de procesos estocásticos
- Aprendizaje automático: modelos generativos e inferencia variacional
- Ingeniería de control: diseño de sistemas no homogéneos
- Reproducibilidad:
- Descripción de algoritmo es clara, fácil de implementar
- Código disponible en GitHub de código abierto
- Configuración experimental detallada, validación repetible
- Más Apropiado:
- Problemas de transporte óptimo entre distribuciones gaussianas
- Planificación de trayectoria que requiere control de covarianza
- Control estocástico con restricciones de trayectoria
- Modelado de procesos gaussianos no homogéneos
- Potencial:
- Como inicialización o aproximación para caso no gaussiano
- Combinación con métodos de partículas para distribuciones multimodales
- Control adaptativo en línea (mediante actualización iterativa)
- No Apropiado:
- Distribuciones marginales no gaussianas (requiere extensión)
- Problemas que requieren control mediante canales (versión actual)
- Problemas de dimensión muy alta (complejidad de operaciones matriciales)
- Fundamentos del Puente de Schrödinger:
- Léonard, C. (2014). A survey of the Schrödinger problem and some of its connections with optimal transport.
- Chen, Y., Georgiou, T. T., & Pavon, M. (2021). Stochastic control liaisons: Richard Sinkhorn meets Gaspard Monge on a Schrödinger bridge.
- Transporte Óptimo:
- Peyré, G., & Cuturi, M. (2019). Computational optimal transport: With applications to data science.
- Villani, C. (2008). Optimal Transport: Old and New.
- Teoría de Control:
- Kalman, R. E. (1960). Contributions to the theory of optimal control.
- Lancaster, P., & Rodman, L. (2002). Algebraic Riccati Equations.
- Métodos Relacionados:
- Chen, Y., Georgiou, T. T., & Pavon, M. (2016). Optimal steering of a linear stochastic system to a final probability distribution.
- Bunne, C., et al. (2022). The Schrödinger bridge between Gaussian measures has a closed form.
Evaluación General: Este es un trabajo teórico de alta calidad que integra exitosamente el marco LQR de teoría de control con el problema del puente de Schrödinger de transporte óptimo, obteniendo una solución en forma cerrada elegante bajo hipótesis gaussianas. La derivación de ecuaciones de Riccati duales y la nueva interpretación de dualidad de Kalman tienen valor teórico importante. Aunque los experimentos numéricos se limitan a dimensiones bajas, demuestran efectivamente la flexibilidad y potencial del método. Las limitaciones principales son la hipótesis gaussiana e hipótesis de controlabilidad de velocidad, pero como caso especial, este trabajo establece base sólida para investigación de problemas más generales. La disponibilidad de código de código abierto mejora su valor práctico y reproducibilidad.