We consider the Schr{ö}dinger bridge problem in discrete time, where the pathwise cost is replaced by a sum of quadratic functions, taking the form of a linear quadratic regulator (LQR) cost. This cost comprises potential terms that act as attractors and kinetic terms that control the diffusion of the process. When the two boundary marginals are Gaussian, we show that the LQR-Schr{ö}dinger bridge problem can be solved in closed form. We follow the dynamic programming principle, interpreting the Kantorovich potentials as cost-to-go functions. Under the LQR-Gaussian assumption, these potentials can be propagated exactly in a backward and forward passes, leading to a system of dual Riccati equations, well known in estimation and control. This system converges rapidly in practice. We then show that the optimal process is Markovian and compute its transition kernel in closed form as well as the Gaussian marginals. Through numerical experiments, we demonstrate that this approach can be used to construct complex, non-homogeneous Gaussian processes with acceleration and loops, given well-chosen attractive potentials. Moreover, this approach allows extending the Bures transport between Gaussian distributions to more complex geometries with negative curvature.
- 논문 ID: 2506.17273
- 제목: The LQR-Schrödinger Bridge
- 저자: Marc Lambert (INRIA - Ecole Normale Supérieure - PSL Research university, DGA - French Procurement Agency)
- 분류: math.OC (최적화 및 제어)
- 발표 시간: 2025년 11월 24일 (arXiv v2)
- 논문 링크: https://arxiv.org/abs/2506.17273
본 논문은 이산 시간 슈뢰딩거 브릿지 문제를 연구하며, 경로 비용을 이차 함수의 합으로 대체하여 선형 이차 조절기(LQR) 비용과 형식적으로 유사하게 만듭니다. 이 비용은 흡인자로 작용하는 포텐셜 항과 제어 과정 확산을 조절하는 운동 에너지 항을 포함합니다. 두 경계 주변 분포가 가우시안 분포일 때, 저자는 LQR-슈뢰딩거 브릿지 문제가 폐쇄형으로 풀 수 있음을 증명합니다. 동적 계획법 원리를 따르면서 칸토로비치 포텐셜 함수를 비용-도함수(cost-to-go)로 해석하면, LQR-가우시안 가정 하에서 이러한 포텐셜은 전방향 및 후방향 전달을 통해 정확히 전파되어, 추정 및 제어에서 널리 알려진 쌍대 리카티 방정식 시스템을 도출합니다. 이 시스템은 실제로 빠르게 수렴합니다. 저자는 최적 과정이 마르코프 과정임을 추가로 증명하고, 그 전이 핵과 가우시안 주변 분포를 폐쇄형으로 계산합니다. 수치 실험을 통해 저자는 이 방법이 가속 및 순환 특성을 가진 복잡한 비균질 가우시안 과정을 구성하는 데 사용될 수 있으며, 가우시안 분포 간의 부레스 수송을 음의 곡률을 가진 더 복잡한 기하학 문제로 확장할 수 있음을 보여줍니다.
슈뢰딩거 브릿지 문제는 1931년 슈뢰딩거의 획기적인 연구에서 비롯되었으며, 두 시점의 주변 분포 관측값(초기 시점 p₀ 및 종료 시점 pₖ)이 주어졌을 때 가장 가능성 높은 확률 과정을 결정하는 것을 목표로 합니다. 이는 엔트로피 정규화된 최적 수송 문제입니다.
- 이론적 의의: 슈뢰딩거 시스템은 엔트로피 정규화 최적 수송 및 싱크혼 알고리즘과 밀접하게 관련되어 있으며, 현대 최적 수송 이론의 핵심 문제입니다.
- 응용 가치: 제어 이론, 경로 계획, 공분산 제어 등의 분야에서 광범위한 응용이 있습니다.
- 계산 효율성: 효율적으로 풀 수 있는 특수한 경우를 찾는 것이 실제 응용에 중요합니다.
- 참조 측도 제한: 참조 측도가 브라운 운동일 때는 싱크혼 알고리즘을 사용하여 효율적으로 풀 수 있지만, 참조 측도가 선형 확률 과정일 때는 문제가 더 복잡합니다.
- 계산 복잡도: Chen et al. (2016) 및 Bakolas (2016)와 같은 기존 방법은 전방향-후방향 리카티 방정식을 도출했지만, 전방향 방정식은 칸토로비치 포텐셜 함수의 진화가 아닌 폐루프 시스템의 상태 공분산 행렬 진화를 설명합니다.
- 모델링 유연성: 경로 비용을 통해 과정의 기하학적 특성을 직접 제어하는 방법이 부족합니다.
본 논문은 대안을 제시합니다: 선형 확률 과정으로 참조 측도를 지정하는 대신, 경로 LQR 비용으로 결합 분포를 정의합니다. 이 설정은 상태 공분산이 최종값에 도달하도록 제어할 수 있을 뿐만 아니라 특정 경로 또는 채널을 따라 이동하도록 유도할 수 있어 더 유연한 모델링 프레임워크를 제공합니다.
- 이론적 기여: LQR-슈뢰딩거 브릿지 문제의 새로운 표현을 제시하며, 경로 LQR 비용(포텐셜 항 및 운동 에너지 항 포함)으로 참조 측도를 정의합니다.
- 폐쇄형 해: 가우시안 주변 분포 및 LQR 이차 비용 가정 하에서 칸토로비치 포텐셜 함수를 정확히 전파할 수 있으며, 쌍대 이산 대수 리카티 방정식 시스템을 도출합니다:
- 후방향 방정식: Pk⊖=Qk/ε+Pk+1⊖−Pk+1⊖(Rk/ε+Pk+1⊖)−1Pk+1⊖
- 전방향 방정식: Pk+1⊕−1=εRk−1+Pk⊕−1−Pk⊕−1(εQk−1+Pk⊕−1)Pk⊕−1
- 최적 과정 특성화: 최적 과정이 마르코프 과정임을 증명하고, 그 전이 핵과 가우시안 주변 분포를 폐쇄형으로 계산합니다.
- 기하학적 확장: 이 방법이 가우시안 분포 간의 부레스 수송을 음의 곡률을 가진 더 복잡한 기하학 문제로 확장할 수 있음을 보여줍니다.
- 응용 시연: 수치 실험을 통해 이 방법이 경로 추종, 장애물 회피, 순환 궤적 등의 기능을 갖춘 복잡한 비균질 가우시안 과정을 구성할 수 있음을 검증합니다.
입력:
- 초기 및 종료 가우시안 주변 분포: p0=N(μ0,Σ0), pK=N(μK,ΣK)
- LQR 비용 매개변수: 포텐셜 행렬 Qk, 제어점 xk∗, 운동 에너지 행렬 Rk
- 온도 매개변수 ε>0
출력:
- 최적 경로 분포 p∗(x0,...,xK)
- 전이 핵 p∗(xk+1∣xk)
- 중간 시점의 가우시안 주변 분포
제약 조건:
- 주변 제약: ∫p(x0,...,xK)dx1...dxK=p0(x0), ∫p(x0,...,xK)dx0...dxK−1=pK(xK)
경로 비용은 쌍별 항의 합으로 정의됩니다:
ℓ(x0,...,xK)=∑k=0K−1ℓk(xk,xk+1)
여기서 단일 단계 비용은:
ℓk(xk,xk+1)=21(xk−xk∗)TQk(xk−xk∗)+21(xk+1−xk)TRk(xk+1−xk)
- 포텐셜 항(좌측 항): 페널티 행렬 Qk를 통해 과정을 제어점 xk∗ 근처로 끌어당깁니다.
- 운동 에너지 항(우측 항): 페널티 행렬 Rk를 통해 과정의 확산을 제한합니다.
슈뢰딩거 브릿지 문제의 쌍대 형식:
minp∈P(p0,pK)εKL(p∥exp(−ℓ/ε))
최적 해는 깁스 형식을 가집니다:
p∗(x0,...,xK)∝φ0(x0)r(x0,...,xK)φK(xK)
여기서 φ0,φK는 깁스 포텐셜 함수이고, r=exp(−ℓ/ε)는 정규화되지 않은 참조 측도입니다.
가우시안 가정 하에서, 칸토로비치 포텐셜 함수는 이차 형식이며 대칭 양정치 행렬로 표현될 수 있습니다:
- 초기 포텐셜: φ0=N(α0,P0−1)
- 종료 포텐셜: φK=N(αK,PK−1)
- 전방향 전파 포텐셜: φk⊕=N(αk⊕,Pk⊕−1)
- 후방향 전파 포텐셜: φk⊖=N(αk⊖,Pk⊖−1)
후방향 전파(방정식 1):
Pk⊖=Qk/ε+Pk+1⊖−Pk+1⊖(Rk/ε+Pk+1⊖)−1Pk+1⊖
해당 드리프트 항 업데이트:
αk⊖=αk+1⊖+Pk⊖−1Qk/ε(xk∗−αk+1⊖)
전방향 전파(방정식 2):
Pk+1⊕−1=εRk−1+Pk⊕−1−Pk⊕−1(εQk−1+Pk⊕−1)Pk⊕−1
해당 드리프트 항 업데이트:
αk+1⊕=(Qk/ε+Pk⊕)−1(Qk/εxk∗+Pk⊕αk⊕)
전방향 방정식은 후방향 방정식과의 쌍대성을 나타냅니다: R과 Q의 역할이 바뀝니다. 이는 칼만 쌍대성의 새로운 해석을 제공합니다:
- Qk−1은 사전 정보의 불확실성(공분산)으로 해석될 수 있습니다.
- Qk−1=0이면 궤적이 xk∗의 위치에서 완벽하게 예측 가능합니다.
- 그렇지 않으면 xk∗ 근처의 이웃만 추정할 수 있습니다.
최적 전이 핵은 폐쇄형 해를 가집니다:
p∗(xk+1∣xk)=N(xk+1∣xk+βk+Kkxk,Sk−1)
여기서:
- Sk=Rk/ε+Pk+1⊖
- Kk=Sk−1Rk/ε (LQR 이득)
- β_k = S_k^{-1}P_{k+1}^⊖} α_{k+1} (드리프트 항)
- Chen et al. (2016): 전방향 방정식은 폐루프 시스템 상태 공분산 진화를 설명합니다.
- 본 논문: 전방향 방정식은 전방향 칸토로비치 포텐셜 함수 진화를 설명하며, 경로 비용이 추가 결합을 도입합니다.
실험은 2차원 공간(d=2)에서 수행되며 합성 가우시안 분포 데이터를 사용합니다.
- 주변 분포:
- 초기 및 종료 가우시안 분포 N(μ0,Σ0) 및 N(μK,ΣK)는 빨간색 타원으로 표시됩니다.
- 포텐셜 함수는 N(μ0,Σ0−1) 및 N(μK,ΣK−1)로 초기화됩니다.
- 경로점 수: K+1∈[15,100] (시각화 필요에 따라)
- 온도 매개변수:
- 저온: ε=0.001 (약 5회 반복 필요)
- 고온: ε=1 (일반적으로 1회 반복으로 수렴)
- 비용 행렬:
- 확산 행렬: Rk=rI (대각 상수)
- 포텐셜 행렬: Qk=qI (대각 상수, 또는 특정 시점에서 0)
방법의 성능을 테스트하기 위해 여러 전형적인 시나리오를 설계했습니다:
- 최적 수송: 부레스 수송과의 관계 검증
- 파동 경로 추종: 조밀한 제어점 사용
- 톱니형: 장애물 회피 시나리오
- 스쿠비두: 순환 궤적
- 비틀림 장애물: 비등방성 포텐셜 행렬
브라운 브릿지 (고온):
- 매개변수: ε=1, q=0, r=100
- 결과: 두 디랙 측도 간의 표준 브라운 브릿지, 경로는 확률 과정입니다.
- ε→0일 때 유클리드 측지선으로 축소됩니다.
음의 곡률 기하학 (저온):
- 매개변수: ε=0.001, q=0.3, r=10
- 결과: 두 가우시안 분포 간의 수송, 중간 흡인 포텐셜 추가 후 측지선이 부레스 수송에서 벗어나 음의 곡률 특성을 나타냅니다.
- 방법이 더 복잡한 기하학으로 확장될 수 있음을 검증합니다.
저온 시나리오 (ε=0.001):
- 파동 경로 (r=1, q=10, K=15):
- K개의 제어점을 사용하여 조밀하게 유도합니다.
- 과정은 거의 결정론적이며, 높은 포텐셜 값으로 인해 공분산이 감소합니다.
- 정확한 경로 추종 능력을 보여줍니다.
- 톱니형 (r=10, q=0.1, K=100):
- 2개의 제어점을 사용하여 가우시안 과정을 유도합니다.
- 장애물 회피를 성공적으로 구현합니다.
- 스쿠비두 (r=10, q=0.2, K=100):
- 3개의 제어점을 사용합니다.
- 순환 궤적 구조를 형성합니다.
- 비틀림 장애물 (r=10, q=0.2, K=200):
- 비등방성 포텐셜 행렬을 가진 1개의 제어점을 사용합니다.
- 가우시안 주변 공분산이 포텐셜 근처에서 비틀립니다.
- 공분산 제어 능력을 보여줍니다.
고온 시나리오 (ε=1):
- 동일한 매개변수 하에서 과정이 더 확산성을 가집니다.
- 제어점의 제약이 약해집니다.
- 파동 경로는 더 이상 결정론적이지 않습니다.
- 다른 시나리오에서 확산이 현저히 증가합니다.
- 빠른 수렴: 고온 또는 큰 K 값일 때 일반적으로 1회 반복으로 수렴합니다. 저온 작은 K일 때는 약 5회 반복이 필요합니다.
- 온도 효과:
- 저온: 과정이 거의 결정론적이며, 포텐셜 영향이 현저하고, 공분산이 감소합니다.
- 고온: 과정의 확산성이 강하며, 포텐셜 제약이 약해집니다.
- 포텐셜 제어:
- 높은 q 값: 강한 흡인력, 공분산 감소, 궤적이 더 결정론적입니다.
- 낮은 q 값: 약한 제약, 더 많은 무작위성 유지합니다.
- 비등방성 Qk: 공분산의 형태와 방향을 제어할 수 있습니다.
- 기하학적 유연성:
- Qk=0일 때 부레스 측지선을 복원합니다.
- 포텐셜을 활성화하면 음의 곡률 기하학을 생성할 수 있습니다.
- 제어점의 위치와 포텐셜 강도를 통해 복잡한 궤적을 설계할 수 있습니다.
- Schrödinger (1931): 획기적인 연구로, 주어진 주변 분포에서 최대 엔트로피 방법으로 가장 가능성 높은 과정을 결정하는 것을 제시합니다.
- Léonard (2001, 2014): 칸토로비치 쌍대 표현 및 이론적 기초
- Peyré & Cuturi (2019): 엔트로피 정규화 최적 수송과 싱크혼 알고리즘의 연결
- Sinkhorn (1964), Cuturi (2013): 이산 최적 수송을 효율적으로 푸는 방법
- Levy et al. (1990): 이산 시간 가우시안 상호 과정의 모델링 및 추정
- Jamison (1975), Beghi (1996): Doob 변환 및 마르코프 과정 조건화
- Chen et al. (2016): 슈뢰딩거 브릿지가 이차 제어 비용을 가진 확률 제어 문제와 동등함을 증명하며, 전방향-후방향 리카티 방정식을 도출합니다.
- Bakolas (2016): 적분 이차 상태 제약 하의 최적 공분산 제어
- Bunne et al. (2022): 가우시안 측도 간 슈뢰딩거 브릿지의 폐쇄형 해
- Kalman (1960): LQR 제어 및 리카티 방정식의 기초 연구
- Hotz & Skelton (1985): 공분산 제어 이론
- Okamoto & Tsiotras (2019): 공분산 유도를 사용한 확률 차량 경로 계획
- Ziebart et al. (2010): 최대 인과 엔트로피 원리
- Haarnoja et al. (2018): 소프트 액터-비평가 알고리즘
- Lambert et al. (2024): 변분 동적 계획법
- 통합 프레임워크: LQR 제어, 최적 수송 및 슈뢰딩거 브릿지를 하나의 프레임워크로 통합합니다.
- 폐쇄형 해: 가우시안 가정 하에서 완전히 분석적인 해를 얻습니다.
- 계산 효율성: 리카티 방정식은 효율적으로 풀 수 있으며 빠르게 수렴합니다.
- 모델링 유연성: 포텐셜 항은 추가적인 제어 자유도를 제공하여 복잡한 기하학을 설계할 수 있습니다.
- 새로운 이론적 통찰: 칼만 쌍대성의 새로운 해석을 제시합니다.
- 이론적 성과: LQR 제어 개념을 최적 수송 프레임워크에 성공적으로 통합하여 가우시안-LQR 설정에서 완전한 폐쇄형 해를 얻었습니다.
- 알고리즘 효율성: 도출된 쌍대 리카티 방정식은 근사 없이 정확하게 구현될 수 있으며, 실제로 빠르게 수렴합니다.
- 기하학적 풍부성: 포텐셜 항의 도입은 풍부한 기하학적 구조를 생성하며, 전략적으로 흡인자를 배치하여 가우시안 분포의 공분산을 제어, 변형 또는 감소시킬 수 있습니다.
- 응용 잠재력: 방법은 경로 추종, 공분산 유도, 장애물 회피 등의 실제 문제에 사용될 수 있습니다.
- 속도 제어 가능성 가정: 현재 결과는 속도가 직접 제어 가능한 설정(uk∝xk+1−xk)으로 제한되며, 채널 제어를 통한 확장은 향후 연구로 남겨집니다.
- 이산 시간: 결과는 이산 시간 경우에만 도출되었으며, 연속 시간 일반화는 추가 연구가 필요합니다.
- 가우시안 가정: 방법은 주변 분포의 가우시안 성질에 의존하며, 비가우시안 경우의 일반화는 도전적입니다.
- 실험 검증: 수치 실험은 주로 2차원 공간에서 수행되었으며, 고차원 경우의 성능은 추가 검증이 필요합니다.
- 제어 확장: 과정의 사전 정보(예: 알려진 수동 동역학)를 통합하고 최적화를 제어 정책 p(u∣x)로 제한합니다.
- 연속 시간: 연속 시간 설정으로 일반화합니다.
- 비가우시안 경우: 비가우시안 주변 분포 하의 근사 방법을 탐색합니다.
- 응용 개발: 로봇 경로 계획, 금융 모델링 등의 분야에서 실제 응용을 개발합니다.
- 이론 심화: 포텐셜이 유도하는 기하학적 구조 및 그 성질을 추가로 연구합니다.
- 이론적 기여 현저함:
- 슈뢰딩거 브릿지 문제에 새로운 관점을 제시하며, LQR 비용으로 참조 측도를 정의합니다.
- 쌍대 리카티 방정식의 깊은 연결을 드러내고 칼만 쌍대성의 새로운 해석을 제공합니다.
- 완전한 폐쇄형 해는 이론적으로 우아하고 계산적으로 효율적입니다.
- 방법론적 혁신:
- 포텐셜 항의 도입은 핵심 혁신으로, 추가적인 모델링 자유도를 제공합니다.
- 동적 계획법, 최적 수송 및 제어 이론을 교묘하게 결합합니다.
- 재귀적 정규화 절차는 간결하고 효과적입니다.
- 수학적 엄밀성:
- 도출 과정이 명확하고 완전하며, 일반 슈뢰딩거 브릿지에서 LQR-가우시안 경우로 단계적으로 세분화됩니다.
- 가우시안 분포의 성질(곱, 합성곱 공식)을 충분히 활용합니다.
- 우드베리 공식의 응용은 기술적 숙련도를 보여줍니다.
- 실험 설계 우수:
- 시나리오 설계가 목표 지향적이며 방법의 다양한 능력을 보여줍니다.
- 온도 매개변수의 대비는 방법의 다양한 행동 패턴을 명확하게 보여줍니다.
- 시각화가 직관적이고 효과적입니다.
- 작성 품질 높음:
- 기호 체계가 명확합니다(특히 확률 그래프 모델 스타일의 표기법).
- 논리 구조가 합리적이며 단순에서 복잡으로 단계적으로 진행됩니다.
- 관련 연구와의 연결이 충분히 논의됩니다.
- 실험 한계:
- 2차원 공간에서만 검증되었으며, 고차원 경우의 수치 안정성 및 계산 효율성이 미지수입니다.
- Chen et al. 2016과 같은 다른 방법과의 정량적 비교가 부족합니다.
- 수렴성의 이론적 보장이 제공되지 않았습니다(실제로는 빠르게 수렴하지만).
- 이론적 한계:
- 속도 제어 가능성 가정이 강하며 응용 범위를 제한합니다.
- 이산 시간 설정으로, 연속 시간 일반화는 비자명합니다.
- 가우시안 가정이 방법의 보편성을 제한합니다.
- 기술적 세부사항:
- 포텐셜 함수 업데이트에서 P0⊖≺Σ0−1의 조건이 언제 만족되는지 충분히 논의되지 않았습니다.
- 수치 안정성 문제(예: 행렬 역산)가 상세히 분석되지 않았습니다.
- 초기화 전략의 영향이 체계적으로 연구되지 않았습니다.
- 응용 지침:
- 구체적인 응용을 위해 매개변수(Qk, Rk, ε)를 선택하는 방법에 대한 체계적 지침이 부족합니다.
- 제어점 xk∗의 설계 원칙이 충분히 논의되지 않았습니다.
- 실제 제어 문제와의 인터페이스에 대한 설명이 더 필요합니다.
- 이론적 영향:
- 슈뢰딩거 브릿지 문제에 새로운 연구 관점을 제공합니다.
- 최적 수송과 제어 이론의 연결을 심화합니다.
- 비가우시안 경우의 근사 방법 연구에 영감을 줄 수 있습니다.
- 방법론적 영향:
- 효율적으로 구현 가능한 알고리즘을 제공합니다(코드가 오픈소스로 공개됨).
- 다른 방법의 기준선 또는 구성 요소로 사용될 수 있습니다.
- 성숙한 리카티 방정식 수치 방법을 직접 적용할 수 있습니다.
- 응용 영향:
- 로봇 경로 계획: 공분산 유도 및 장애물 회피
- 금융 모델링: 확률 과정의 조건화
- 기계 학습: 생성 모델 및 변분 추론
- 제어 공학: 비균질 시스템 설계
- 재현성:
- 알고리즘 설명이 명확하여 구현이 용이합니다.
- 코드가 GitHub에 오픈소스로 공개되었습니다.
- 실험 설정이 상세하여 재현 검증이 가능합니다.
- 가장 적합:
- 가우시안 분포 간의 최적 수송 문제
- 공분산 제어가 필요한 경로 계획
- 경로 제약이 있는 확률 제어
- 비균질 가우시안 과정 모델링
- 잠재력 있음:
- 비가우시안 경우의 초기화 또는 근사로 사용
- 입자 방법과 결합하여 다중 모드 분포 처리
- 온라인 적응 제어(반복 업데이트를 통해)
- 부적합:
- 비가우시안 주변 분포(확장 필요)
- 채널 제어가 필요한 문제(현재 버전)
- 극도로 고차원 문제(행렬 연산 복잡도)
- 슈뢰딩거 브릿지 기초:
- Léonard, C. (2014). A survey of the Schrödinger problem and some of its connections with optimal transport.
- Chen, Y., Georgiou, T. T., & Pavon, M. (2021). Stochastic control liaisons: Richard Sinkhorn meets Gaspard Monge on a Schrödinger bridge.
- 최적 수송:
- Peyré, G., & Cuturi, M. (2019). Computational optimal transport: With applications to data science.
- Villani, C. (2008). Optimal Transport: Old and New.
- 제어 이론:
- Kalman, R. E. (1960). Contributions to the theory of optimal control.
- Lancaster, P., & Rodman, L. (2002). Algebraic Riccati Equations.
- 관련 방법:
- Chen, Y., Georgiou, T. T., & Pavon, M. (2016). Optimal steering of a linear stochastic system to a final probability distribution.
- Bunne, C., et al. (2022). The Schrödinger bridge between Gaussian measures has a closed form.
종합 평가: 이는 제어 이론의 LQR 프레임워크를 최적 수송의 슈뢰딩거 브릿지 문제와 성공적으로 결합한 고품질의 이론 연구입니다. 가우시안 가정 하에서 쌍대 리카티 방정식의 도출과 칼만 쌍대성의 새로운 해석은 중요한 이론적 가치를 가집니다. 수치 실험은 저차원으로 제한되지만 방법의 유연성과 잠재력을 효과적으로 보여줍니다. 주요 한계는 가우시안 가정과 속도 제어 가능성 가정이지만, 특수한 경우로서 이 연구는 더 일반적인 문제 연구의 견고한 기초를 제공합니다. 오픈소스 코드 공개는 실용적 가치와 재현성을 향상시킵니다.