2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.
Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).
academic

Functional Tensor Train Neural Network for Solving High-Dimensional PDEs

基本信息

  • 论文ID: 2510.13386
  • 标题: Functional tensor train neural network for solving high-dimensional PDEs
  • 作者: Yani Feng (The University of Hong Kong), Michael K. Ng (Hong Kong Baptist University), Kejun Tang (Great Bay University), Zhiwen Zhang (The University of Hong Kong)
  • 分类: math.NA cs.NA
  • 发表时间: 2025年10月15日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2510.13386

摘要

离散张量训练分解被广泛用于缓解传统方法求解高维偏微分方程时的维数灾难问题。然而，张量训练方法的直接应用通常需要规则域上的均匀网格，这限制了其在非均匀网格或不规则域上的应用。为解决这一局限性，本文开发了一种函数张量训练神经网络(FTTNN)来求解高维偏微分方程，该方法可以表示非均匀网格或不规则域上的PDE解。该方法的核心是通过函数张量训练格式表示PDE解，其中TT核函数由神经网络近似。为给出函数张量训练表示，论文提出并研究了函数张量训练秩的概念，并将其应用到物理信息损失函数的训练中。由于张量训练表示的特性，损失函数中的高维积分可以通过高斯积分规则计算一维积分来求解。数值实验表明，所提出的FTTNN在规则或不规则域上的高维PDE求解性能优于物理信息神经网络(PINN)。

研究背景与动机

问题背景

高维偏微分方程在科学和工程应用中广泛存在，如薛定谔特征值问题、流体力学、热传导、电磁学和量子力学等领域。传统数值方法(有限差分、有限元、谱方法)在低维问题中表现良好，但在高维问题中面临严重的**维数灾难(Curse of Dimensionality, CoD)**挑战。

现有方法局限性

  1. 张量方法局限性：
    • 离散张量分解方法(CP分解、Tucker分解、张量训练分解)虽能降低计算复杂度，但通常要求规则域上的均匀网格
    • 难以应用于非均匀网格或不规则域
  2. 神经网络方法局限性：
    • PINN、DGM、DRM等方法依赖采样方法估计高维积分
    • 采样引入统计误差，可能掩盖神经网络的能力

研究动机

开发一种既能处理不规则域，又能高效计算高维积分的方法，结合张量分解的低秩结构优势和神经网络的函数逼近能力。

核心贡献

  1. 提出函数张量训练神经网络(FTTNN)：将离散张量训练分解扩展到连续域，可处理非均匀网格和不规则域上的高维PDE
  2. 建立理论基础：
    • 定义函数张量训练秩(Functional Tensor Train Rank)
    • 给出函数张量训练分解的数学表示
    • 提供FTTNN的逼近性质理论分析
  3. 高效积分计算：利用张量训练结构将高维积分分解为一维积分，通过高斯积分规则精确计算，避免采样误差
  4. 优越的数值性能：在多个高维PDE问题上验证了FTTNN相比PINN和其他方法的精度优势

方法详解

任务定义

求解如下形式的高维PDE边值问题：

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

其中Ω ⊂ Rᵈ是有界连通的多边形边界域，L是偏微分算子，B是边界算子。

核心理论框架

1. 函数张量训练秩定义

定义2.4：给定张量函数u: Ω ⊂ Rᵈ → R，函数张量训练秩定义为：

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

其中Su是u的采样张量集合。

2. 函数张量训练分解

定理2.6：若u的FTT-rank为(r₀, r₁, ..., rₐ)，则存在TT核函数uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ}使得：

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

模型架构

FTTNN结构

每个TT核函数由神经网络参数化：

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

其中θ = {θ₁, ..., θₐ}是所有子网络的可训练参数。

损失函数

采用物理信息损失函数：

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

技术创新点

1. 高维积分的张量分解计算

对于二阶椭圆算子Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ)，残差损失可分解为：

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

每项都可表示为张量训练格式，通过一维积分计算：

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (uᵢ相关项) dxᵢ

2. 边界条件处理

通过网络架构直接嵌入边界条件：

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

实验设置

测试问题

  1. 函数逼近：具有奇点的高维函数
  2. 不规则域泊松方程：L形域上的3维问题
  3. 高维泊松方程：规则域上d=3,5,7维问题
  4. 高维亥姆霍兹方程：包括高波数情况
  5. 薛定谔特征值问题：d=5,10维问题

评价指标

相对误差：

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

对比方法

  • 离散张量训练分解(TTD)
  • 物理信息神经网络(PINN)
  • 深度Ritz方法(DRM)

实现细节

  • 网络结构：单隐藏层全连接网络，激活函数为sine
  • 优化器：Adam(5000轮) + L-BFGS(1000轮)
  • 积分计算：高斯-勒让德积分规则
  • 硬件：NVIDIA A100 GPU

实验结果

主要结果

1. 函数逼近(测试1)

方法维度d秩r参数数量相对误差
TTD423604.1×10⁻¹
FTTNN4243324.9×10⁻²
TTD6354002.2×10⁻¹
FTTNN6372423.6×10⁻³

2. 高维泊松方程(测试3)

维度dFTTNNPINN
32.6×10⁻⁵5.5×10⁻⁵
52.5×10⁻⁴2.0×10⁻³
71.3×10⁻⁴8.0×10⁻²

3. 高维亥姆霍兹方程(测试4.1)

维度dFTTNNPINN
38.0×10⁻⁵4.0×10⁻⁵
51.3×10⁻⁴1.5×10⁻²

关键发现

  1. 维度敏感性：随着维度增加，FTTNN相对于PINN的优势更加明显
  2. 不规则域适应性：FTTNN成功处理L形域等不规则几何
  3. 高波数稳定性：通过渐进初始化策略处理k=25π的高振荡问题
  4. 特征值精度：在薛定谔特征值问题上优于DRM

相关工作

张量方法发展

  • Oseledets等人的离散张量训练分解理论基础
  • Gorodetsky等人的连续函数张量训练算法
  • 在不确定性量化和量子动力学中的应用

神经网络PDE求解

  • PINN：开创性的物理信息神经网络
  • DGM：深度Galerkin方法
  • DRM：深度Ritz方法
  • 采样误差问题的普遍存在

本文创新对比

  1. vs 传统张量方法：扩展到连续域和不规则几何
  2. vs 神经网络方法：避免采样误差，精确积分计算
  3. vs 现有混合方法：更强的表达能力和理论保证

结论与讨论

主要结论

  1. FTTNN成功将离散张量训练分解扩展到连续函数空间
  2. 函数张量训练秩建立了离散与连续表示的理论联系
  3. 张量结构实现了高维积分的高效精确计算
  4. 数值实验证明了方法在多类高维PDE上的优越性能

局限性

  1. 张量秩选择：需要先验知识或自适应策略确定合适的FTT-rank
  2. 函数形式限制：源函数f(x)和系数b(x)需要张量训练表示
  3. 初始化敏感性：高波数问题需要精心设计的初始化策略
  4. 理论分析：逼近误差界的紧致性有待改进

未来方向

  1. Fokker-Planck方程：扩展到更复杂的随机PDE
  2. 自适应秩选择：开发动态调整FTT-rank的算法
  3. 更一般的算子：处理非线性和时间相关的PDE
  4. 并行计算：利用张量结构的天然并行性

深度评价

优点

  1. 理论贡献扎实：
    • 函数张量训练秩的严格定义
    • 连续张量分解的完整理论框架
    • 逼近性质的数学证明
  2. 技术创新显著：
    • 高维积分的张量分解计算避免了采样误差
    • 灵活处理不规则域的能力
    • 保持了张量方法的低秩优势
  3. 实验验证充分：
    • 涵盖多种类型的高维PDE
    • 系统的消融研究和对比分析
    • 从低维到高维的渐进验证
  4. 实用价值突出：
    • 解决了传统张量方法的域限制
    • 为高维科学计算提供了新工具

不足

  1. 计算复杂度分析不足：
    • 缺乏与PINN等方法的理论复杂度对比
    • 张量分解的计算开销分析有限
  2. 适用范围限制：
    • 要求源函数的张量分解表示
    • 对于一般非线性PDE的扩展性未充分探讨
  3. 参数调优指导缺乏：
    • FTT-rank选择缺乏系统性指导
    • 网络架构设计的经验性较强
  4. 收敛性分析：
    • 训练过程的收敛保证不够充分
    • 损失函数景观的分析有待深入

影响力评估

  1. 学术影响：
    • 为张量分解和神经网络的结合提供了新范式
    • 可能催生更多函数张量分解的研究
  2. 应用前景：
    • 在量子化学、材料科学等高维问题中有重要应用价值
    • 为工程中的复杂几何PDE求解提供新选择
  3. 方法普适性：
    • 框架具有良好的扩展性
    • 为其他类型的高维数值问题提供启发

适用场景

  1. 高维规则PDE：维数d≥5的椭圆型、抛物型问题
  2. 不规则域问题：复杂几何形状的中低维PDE
  3. 特征值计算：高维薛定谔算子的谱问题
  4. 参数化PDE：具有低秩结构的参数相关问题

总体评价：这是一篇在高维PDE数值求解领域具有重要贡献的论文。通过巧妙结合张量分解和神经网络的优势，提出了既有理论深度又有实用价值的FTTNN方法。尽管存在一些局限性，但其创新性和有效性使其成为该领域的重要进展，值得进一步发展和应用。