Integration Matters for Learning PDEs with Backwards SDEs

基本信息

• 论文ID: 2505.01078
• 标题: Integration Matters for Learning PDEs with Backwards SDEs
• 作者: Sungje Park, Stephen Tu (University of Southern California)
• 分类: cs.LG, cs.SY, eess.SY, math.OC, stat.ML
• 发表时间: 2025年5月5日初稿，2025年11月13日修订
• 论文链接: https://arxiv.org/abs/2505.01078

摘要

本文研究基于后向随机微分方程(BSDE)的深度学习方法求解高维偏微分方程(PDE)问题。尽管BSDE方法在随机最优控制等场景中具有算法优势，但实证表现一直不如物理信息神经网络(PINNs)。作者识别出性能差距的根本原因：标准Euler-Maruyama(EM)积分格式在单步自洽BSDE损失中引入了离散化偏差，该偏差无法通过更精细的步长或多步自洽损失得到满意解决。为此，作者提出基于Stratonovich的BSDE公式，并使用随机Heun积分实现，完全消除了EM积分的偏差问题。实验结果表明，Heun-BSDE方法在多个高维基准测试中持续优于EM变体，并与PINNs取得竞争性结果。

研究背景与动机

问题定义

偏微分方程(PDE)的数值求解是科学与工程建模的基础，但传统数值方法面临维度诅咒，在高维PDE中计算不可行。近年来，深度学习方法提供了两种主要替代方案：

1. 物理信息神经网络(PINNs)：直接在随机采样的配置点上最小化PDE残差
2. BSDE方法：将PDE重构为前向-后向随机微分方程，通过模拟随机过程最小化预测与终端条件的差异

研究动机

尽管BSDE方法在以下场景具有优势：

• 存在底层动力学系统的高维问题（如随机最优控制）
• 可以通过仿真访问但无法显式获得PDE方程的问题（模型自由最优控制）

但现有研究（如Nüsken & Richter 2023）发现BSDE方法在基准测试中显著弱于PINNs。该文献提出插值损失来缓解问题，但存在两个关键缺陷：

1. 未阐明性能差距的根本原因
2. 引入需要调优的超参数（时间范围长度），增加训练复杂度

核心洞察

本文识别出性能差距的关键来源是随机积分格式的选择。标准EM格式在单步BSDE损失中引入不可消除的离散化偏差，该偏差与PDE残差项同阶，无法通过减小步长解决。

核心贡献

1. 理论分析：首次系统性分析了EM和Heun随机积分格式应用于单步自洽BSDE损失的离散化偏差
   • 证明EM格式引入与PDE残差同阶的非消失偏差项（定理4.2）
   • 证明Heun格式完全消除该偏差问题（定理4.4）
2. 方法创新：提出Stratonovich-BSDE公式配合随机Heun积分
   • 将前向和后向SDE解释为Stratonovich SDE（而非Itô SDE）
   • 使用随机Heun方法进行数值积分，消除单步损失的偏差
3. 多步损失分析：深入分析多步自洽损失的权衡（第5节）
   • 揭示EM方法在不同时间范围长度k下的性能权衡
   • 证明Heun方法在单步和多步情况下均保持一致性
4. 实证验证：在多个高维基准（HJB、BSB、BZ方程，维度高达100维）上验证
   • Heun-BSDE持续优于EM-BSDE
   • 与PINNs达到竞争性能，恢复性能对等
5. 算法实现：提供高效的批处理子采样算法，显著降低计算开销

方法详解

任务定义

考虑以下非线性边值PDE：

$R[u](x,t) := \partial_t u(x,t) + \frac{1}{2}\text{tr}(H(x,t)\cdot\nabla^2 u(x,t)) + \langle f(x,t), \nabla u(x,t)\rangle - h[u](x,t) = 0$

其中：

• $x \in \Omega \subseteq \mathbb{R}^d$，$t \in [0,T]$
• 边界条件：$u(x,T) = \phi(x)$
• $H(x,t) = g(x,t)g(x,t)^T$ 为正定矩阵

标准方法回顾

PINNs方法： $L_{\text{PINNs}}(\theta) = \mathbb{E}_{(x,t)\sim\mu}[(R[u_\theta](x,t))^2]$

BSDE方法：基于前向SDE $dX_t = f(X_t,t)dt + g(X_t,t)dB_t$ 和后向SDE $dY_t = h(X_t,t,Y_t,Z_t)dt + Z_t^T g(X_t,t)dB_t$

H-时间范围自洽BSDE损失： $L_{\text{BSDE},H}(\theta) := \mathbb{E}_{x_0,B_t}\left[\frac{1}{NH^2}\sum_{n=0}^{N-1}\left(u_\theta(X_{t_{n+1}},t_{n+1}) - u_\theta(X_{t_n},t_n) - S_\theta(t_n,t_{n+1})\right)^2\right]$

Euler-Maruyama积分问题分析

EM离散化： $\hat{X}_{n+1} = \hat{X}_n + \tau f(\hat{X}_n,t_n) + \sqrt{\tau}g(\hat{X}_n,t_n)w_n$$\hat{Y}^\theta_{n+1} = \hat{Y}^\theta_n + \tau h_\theta(\hat{X}_n,t_n) + \sqrt{\tau}\nabla u_\theta(\hat{X}_n,t_n)^T g(\hat{X}_n,t_n)w_n$

关键定理4.1（点态EM损失）： 对于固定点$(x,t)$，点态EM损失满足： $\tau^{-2}\cdot\ell_{\text{EM},\tau}(\theta,x,t) = (R[u_\theta](x,t))^2 + \frac{1}{2}\text{tr}[(H(x,t)\cdot\nabla^2 u_\theta(x,t))^2] + O(\tau^{1/2})$

关键定理4.2（完整EM-BSDE损失）： $L_{\text{EM},\tau}(\theta) = \frac{1}{T}\int_0^T \mathbb{E}\left[(R[u_\theta](X_t,t))^2 + \frac{1}{2}\text{tr}[(H(X_t,t)\cdot\nabla^2 u_\theta(X_t,t))^2]\right]dt + O(\tau^{1/2})$

关键洞察：偏差项$\frac{1}{2}\text{tr}[(H\cdot\nabla^2 u_\theta)^2]$与PDE残差项同阶，无法通过减小步长$\tau$消除。

Stratonovich-BSDE与Heun积分

Stratonovich前向SDE： $dX_t^\circ = f(X_t^\circ,t)dt + g(X_t^\circ,t)\circ dB_t$

修正的后向SDE： 根据Stratonovich链式法则， $du(X_t^\circ,t) = h^\circ[u](X_t^\circ,t)dt + \nabla u(X_t^\circ,t)^T g(X_t^\circ,t)\circ dB_t$ 其中 $h^\circ[u](x,t) := h[u](x,t) - \frac{1}{2}\text{tr}(H(x,t)\nabla^2 u(x,t))$

随机Heun离散化： $\bar{Z}^\theta_{n+1} = \hat{Z}^\theta_n + \tau F_\theta(\hat{Z}^\theta_n,t_n) + \sqrt{\tau}G_\theta(\hat{Z}^\theta_n,t_n)w_n$$\hat{Z}^\theta_{n+1} = \hat{Z}^\theta_n + \frac{\tau}{2}(F_\theta(\hat{Z}^\theta_n,t_n) + F_\theta(\bar{Z}^\theta_{n+1},t_{n+1})) + \frac{\sqrt{\tau}}{2}(G_\theta(\hat{Z}^\theta_n,t_n) + G_\theta(\bar{Z}^\theta_{n+1},t_{n+1}))w_n$

其中$Z^\theta_t = (X_t, Y_t^\theta)$为增广过程。

关键定理4.3（点态Heun损失）： $\tau^{-2}\cdot\ell_{\text{Heun},\tau}(\theta,x,t) = (R[u_\theta](x,t))^2 + O(\tau^{1/2})$

关键定理4.4（完整Heun-BSDE损失）： $L_{\text{Heun},\tau}(\theta) = \frac{1}{T}\int_0^T \mathbb{E}(R[u_\theta](X_t^\circ,t))^2 dt + O(\tau^{1/2})$

突破性结果：Heun方法完全消除了EM方法中的偏差项，使得单步损失的主导项仅为PDE残差平方。

技术创新点

1. 问题诊断：首次识别出BSDE性能差距源于积分格式而非损失函数设计
2. 理论突破：提供严格的数学证明，量化EM和Heun方法的离散化偏差
3. 方法设计：巧妙利用Stratonovich解释消除Hessian相关的偏差项
4. 实用性：Heun方法虽然计算量更大，但通过批处理和子采样实现高效训练

多步损失分析（第5节）

EM方法的权衡

对于k步损失（$1 < k \leq N$）：

命题E.3：在SDE层面， $L_{\text{BSDE},T}(\theta) \leq L_{\text{BSDE},\tau}(\theta) + O(\tau^{1/2})$

命题E.4：全时间范围EM损失 $L_{\text{EM}}^N(\theta) = L_{\text{BSDE},T}(\theta) + O(\tau^{1/2})$

命题E.5：单步EM损失 $L_{\text{EM},\tau}(\theta) = L_{\text{BSDE},\tau}(\theta) + \text{Bias}(\theta) + O(\tau^{1/2})$

关键洞察：

• 全时间范围损失$L_{\text{EM}}^N$消除了偏差，但其近似的SDE损失$L_{\text{BSDE},T}$被更强的损失$L_{\text{BSDE},\tau}$支配
• 单步损失$L_{\text{EM},\tau}$虽近似更强的损失，但引入不可消除的偏差
• 中间多步损失试图平衡这一权衡，这正是插值损失方法的本质

Heun方法的一致性

命题E.8-E.10：对于Heun方法， $L_{\text{Heun}}^N(\theta) \leq L_{\text{Heun},\tau}(\theta) + O(\tau^{1/2})$

关键结论：在Heun设置下，单步和全时间范围损失在SDE和离散化层面保持相同关系，消除了选择时间范围k的需求。

实验设置

数据集与PDE基准

1. Hamilton-Jacobi-Bellman (HJB)方程（100维）： $\partial_t u = -\text{Tr}[\nabla^2 u] + \|\nabla u\|^2$ 终端条件：$u(x,T) = \ln(0.5(1+\|x\|^2))$

2. Black-Scholes-Barenblatt (BSB)方程（100维）： $\partial_t u = -\frac{1}{2}\text{Tr}[\sigma^2\text{diag}(x^2)\nabla^2 u] + r(u - \nabla u^T x)$ 终端条件：$u(x,T) = \|x\|^2$

3. Bender & Zhang (BZ)完全耦合FBSDE（10维和100维）： 前向过程依赖于后向过程，测试更复杂的耦合场景

4. 摆锤摆动最优控制问题： 展示在非线性控制问题中的应用

评价指标

相对L2误差（RL2）： $\text{RL2} := \sqrt{\frac{\sum_{i=0}^N (u_{\text{ref}}(X_{t_i},t_i) - u_{\text{pred}}(X_{t_i},t_i))^2}{\sum_{i=0}^N u_{\text{ref}}^2(X_{t_i},t_i)}}$

沿5条前向SDE轨迹评估，与解析解比较。

对比方法

1. PINNs：标准PINNs损失，配置点从拟合前向SDE轨迹的正态分布采样
2. FS-PINNs：使用前向SDE直接采样配置点的PINNs变体
3. EM-BSDE：标准EM积分的自洽损失
4. EM-BSDE (NR)：无重置变体，使用BSDE传播$Y_t$而非直接设置为$u_\theta(X_t,t)$
5. Heun-BSDE（本文）：基于Stratonovich的Heun积分方法

实现细节

• 网络架构：8层，每层64神经元，Swish激活函数
• 特征工程：256维Fourier嵌入，奇数层跳跃连接
• 训练策略：Adam优化器，多步学习率调度（$10^{-3} \to 10^{-4} \to 10^{-5}$）
• 批次大小：64条轨迹，子采样批次1024
• 训练迭代：100k次
• 精度：float64（float32在某些情况下数值不稳定，见表3）
• 硬件：单块NVIDIA A100 GPU

实验结果

主要结果（表1）

100维HJB问题：

100维BSB问题：

10维BZ问题：

关键发现：

1. Heun-BSDE在几乎所有情况下优于EM-BSDE变体
2. Heun-BSDE与FS-PINNs性能相当，恢复BSDE与PINNs的性能对等
3. 标准PINNs表现较差，凸显采样分布的重要性

离散化步长实验（图3）

在10维BSB问题上测试不同步长$\tau \in \{0.04, 0.02, 0.01, 0.005\}$：

• EM-BSDE方法的改进极其有限（从$\sim 10^{-2}$降至$\sim 8\times10^{-3}$）
• Heun-BSDE持续改进（从$\sim 2\times10^{-3}$降至$\sim 10^{-3}$）
• 验证理论：EM的偏差项与PDE残差同阶，无法通过减小步长消除

多步损失实验（图5）

在10维BSB上测试不同跳跃长度$k \in \{1,2,\ldots,50\}$：

EM-BSDE行为：

• $k=1$时RL2 $\sim 10^{-2}$（受偏差影响）
• $k$增加至$\sim 10$时性能改善至$\sim 3\times10^{-3}$（减轻偏差）
• $k$继续增加性能退化（损失质量下降）
• 存在最优$k^* \approx 10$（权衡点）

Heun-BSDE行为：

• $k=1$时即达到最佳性能$\sim 10^{-3}$
• $k$增加时性能单调下降
• 验证理论：无偏差问题，单步即为最优

运行时间分析（表2，图4）

计算开销（相对于PINNs）：

运行时间归一化性能（图4，100维HJB）：

• EM-BSDE快速收敛至$\sim 10^{-2}$但无法进一步改善
• Heun-BSDE和FS-PINNs在相同运行时间达到相似的$\sim 10^{-3}$精度

开销来源：

1. Heun需要约2倍的前向传播（预测步+校正步）
2. Heun和PINNs需要计算Hessian $\nabla^2 u$，而EM-BSDE对某些PDE可避免

维度扩展性（图6）

在HJB问题上测试维度$d \in \{2,10,50,100,200,500\}$：

• 所有轨迹方法（FS-PINNs、EM-BSDE、Heun-BSDE）展现良好扩展性
• EM-BSDE在所有维度持续落后
• Heun-BSDE和FS-PINNs保持相近性能

摆锤控制实验（表4）

Heun-BSDE在非线性控制问题中展现更低的PDE误差，尽管累积成本相近。

消融实验

浮点精度影响（表3）：

• 100维BSB中，Heun-BSDE在float32下RL2=0.4587，float64下降至0.0535（10倍改进）
• EM-BSDE对精度不太敏感
• 表明Heun积分对数值稳定性要求更高

相关工作

PINNs方法

• Raissi等人（2017-2019）提出PINNs框架
• 仍存在优化挑战（Krishnapriyan等2021，Wang等2022）
• 采样策略对性能影响显著（Nabian等2021，Daw等2023）

BSDE方法

• 原始BSDE（E等2017，Han等2018）：每个时间步学习独立网络预测$Y_t$和$Z_t$
• 自洽BSDE（Raissi 2024，Nüsken & Richter 2023）：单一网络参数化所有时空，使用自洽损失
• 本文关系：聚焦自洽方法，首次系统研究积分格式影响

随机数值方法

• Chassagneux等（2022）研究Runge-Kutta离散化，但仅针对原始BSDE损失
• 本文首次揭示自洽损失中的积分格式问题

差异化

本文与Nüsken & Richter（2023）的关键区别：

• 他们：提出插值损失（需要调优时间范围超参数）
• 本文：识别根本原因（积分格式），提供无需超参数调优的解决方案

结论与讨论

主要结论

1. 根本原因识别：BSDE与PINNs性能差距源于EM积分在单步自洽损失中的离散化偏差
2. 理论贡献：严格证明EM引入不可消除偏差，Heun完全消除该偏差
3. 方法创新：Stratonovich-BSDE + Heun积分恢复BSDE与PINNs的性能对等
4. 实证验证：在多个高维基准上验证理论预测
5. 实践指导：积分格式选择对BSDE求解器至关重要

局限性

1. 计算开销：

• Heun-BSDE比EM-BSDE慢约6倍（批处理算法）
• 需要Hessian计算（对某些PDE）
• 对浮点精度更敏感（需float64）

2. 性能相对性：

• 虽恢复与PINNs对等，但未展现数量级优势
• 当前优势主要在模型自由场景

3. 理论分析范围：

• 仅分析单步（$k=1$）和全时间范围（$k=N$）情况
• 中间多步情况仅实证研究
• 未涵盖完全耦合FBSDE的理论分析

4. 适用场景：

• 高维BZ问题（100维）所有方法均失败
• 需进一步研究超高维完全耦合系统

未来方向

1. 计算效率改进：

• Hutchinson迹估计减少Hessian计算
• 可逆Heun方法提升数值稳定性
• 自适应时间步长策略

2. 方法扩展：

• 控制变量技术（Takahashi等2022）
• 算子分裂设置（Beck等2021）
• 完全非线性PDE（Pham等2021）

3. 理论深化：

• 多步损失的完整理论分析
• 完全耦合FBSDE的收敛性分析
• 与其他高阶积分格式的比较

4. 应用拓展：

• 模型自由随机最优控制
• 高维金融衍生品定价
• 复杂物理系统建模

深度评价

优点

1. 理论贡献深刻：

• 首次系统性识别BSDE性能问题的根本原因
• 提供严格的数学证明（定理4.1-4.4，命题E.1-E.10）
• 理论与实证高度一致（图1、3、5）

2. 方法设计巧妙：

• Stratonovich解释优雅地消除Hessian偏差项
• Heun积分自然收敛至Stratonovich解
• 理论驱动的方法设计范例

3. 实验设计全面：

• 多个基准（HJB、BSB、BZ、摆锤控制）
• 多个维度（2维至500维）
• 多个变体（完整/批处理算法，float32/64）
• 充分的消融实验（图3、5、6）

4. 实用价值高：

• 提供高效批处理算法（算法1）
• 开源代码可复现
• 对BSDE求解器设计有直接指导意义

5. 写作清晰：

• 逻辑严密，从问题诊断到解决方案
• 数学推导详尽（附录D-F）
• 图表直观（图1、3、5特别有说服力）

不足

1. 计算开销显著：

• 6倍速度损失可能限制实际应用
• 未充分探索加速技术（如Hutchinson估计）
• 与EM方法的效率-精度权衡需更深入讨论

2. 数值稳定性问题：

• 对浮点精度敏感（表3）
• 未提供数值稳定的实现细节
• 可逆Heun等替代方案未实验验证

3. 理论分析不完整：

• 多步损失缺乏理论刻画
• 完全耦合FBSDE未纳入理论框架
• 高阶积分格式（如Milstein）未讨论

4. 实验局限：

• 100维BZ问题失败，未深入分析原因
• 缺少与其他高阶方法（如Milstein）的比较
• 实际应用案例较少（仅摆锤控制）

5. 与PINNs比较：

• 未展现超越PINNs的显著优势
• 模型自由优势未充分实证展示（仅附录C理论讨论）
• 采样分布对PINNs影响未深入研究

影响力

1. 学术贡献：

• 填补BSDE求解器积分格式研究空白
• 为后续高阶方法研究奠定基础
• 可能启发其他科学计算领域的积分格式研究

2. 实用价值：

• 对需要BSDE方法的应用（模型自由控制）有直接价值
• 为BSDE求解器实现者提供明确指导
• 代码开源促进可复现性

3. 局限性：

• 计算开销可能限制大规模应用
• 需要进一步工程优化才能广泛采用
• 当前阶段更多是"恢复对等"而非"超越"

适用场景

最适合：

1. 模型自由随机最优控制：无法显式获得动力学方程，只能仿真
2. 高维金融问题：存在底层随机过程，需要高精度解
3. 研究原型：探索BSDE方法潜力的学术研究

不太适合：

1. 计算资源受限场景：6倍开销可能不可接受
2. 已知PDE方程且无底层动力学：PINNs可能更直接
3. 超高维完全耦合系统（>100维）：所有方法均面临挑战

需要注意：

• 需要float64精度
• 需要仔细调优网络架构和训练策略
• 采样分布选择仍然重要（FS-PINNs vs. PINNs）

参考文献（关键文献）

1. Raissi等（2017-2019）：PINNs方法奠基工作
2. E, Han, Jentzen（2017）：原始深度BSDE方法
3. Nüsken & Richter（2023）：插值损失方法，本文直接回应的工作
4. Kloeden & Platen（1992）：随机微分方程数值解经典教材
5. Chassagneux等（2022）：BSDE的Runge-Kutta离散化

总体评价：这是一篇高质量的理论与实证结合的论文，识别并解决了BSDE方法的关键瓶颈。理论分析严谨，实验设计全面，对领域有重要贡献。主要不足在于计算开销和数值稳定性问题需要进一步工程优化。论文为BSDE求解器设计提供了清晰的方法论指导，预期在模型自由控制等特定应用场景产生实际影响。