2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.
Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).
academic

高次元偏微分方程を解くための関数テンソル列車ニューラルネットワーク

基本情報

  • 論文ID: 2510.13386
  • タイトル: Functional tensor train neural network for solving high-dimensional PDEs
  • 著者: Yani Feng (香港大学)、Michael K. Ng (香港浸会大学)、Kejun Tang (大湾区大学)、Zhiwen Zhang (香港大学)
  • 分類: math.NA cs.NA
  • 発表日: 2025年10月15日 (arXiv プレプリント)
  • 論文リンク: https://arxiv.org/abs/2510.13386

要旨

離散テンソル列車分解は、従来の方法で高次元偏微分方程式を解く際の次元の呪いを軽減するために広く使用されている。しかし、テンソル列車法の直接的な応用は通常、正則領域上の均一メッシュを必要とするため、非均一メッシュまたは不規則領域への適用が制限されている。この制限を解決するために、本論文は高次元偏微分方程式を解くための関数テンソル列車ニューラルネットワーク(FTTNN)を開発した。この方法は、非均一メッシュまたは不規則領域上のPDE解を表現できる。本手法の核心は、関数テンソル列車形式によるPDE解の表現であり、TT核関数はニューラルネットワークで近似される。関数テンソル列車表現を提供するために、本論文は関数テンソル列車秩の概念を提案・研究し、物理情報損失関数の訓練に適用した。テンソル列車表現の特性により、損失関数の高次元積分はガウス積分規則を用いた一次元積分の計算で解くことができる。数値実験は、提案されたFTTNNが正則または不規則領域上の高次元PDE求解において物理情報ニューラルネットワーク(PINN)より優れた性能を示すことを示している。

研究背景と動機

問題背景

高次元偏微分方程式は、シュレーディンガー固有値問題、流体力学、熱伝導、電磁気学、量子力学など、科学および工学応用に広く存在する。従来の数値法(有限差分法、有限要素法、スペクトル法)は低次元問題では良好な性能を示すが、高次元問題では深刻な**次元の呪い(Curse of Dimensionality, CoD)**の課題に直面している。

既存方法の限界

  1. テンソル法の限界:
    • 離散テンソル分解法(CP分解、Tucker分解、テンソル列車分解)は計算複雑度を低減できるが、通常は正則領域上の均一メッシュを必要とする
    • 非均一メッシュまたは不規則領域への適用が困難
  2. ニューラルネットワーク法の限界:
    • PINN、DGM、DRMなどの方法はサンプリング法に依存して高次元積分を推定する
    • サンプリングは統計誤差を導入し、ニューラルネットワークの能力を隠す可能性がある

研究動機

不規則領域を処理でき、かつ高次元積分を効率的に計算できる方法を開発すること。テンソル分解の低秩構造の利点とニューラルネットワークの関数近似能力を組み合わせる。

核心的貢献

  1. 関数テンソル列車ニューラルネットワーク(FTTNN)の提案:離散テンソル列車分解を連続領域に拡張し、非均一メッシュおよび不規則領域上の高次元PDEを処理できる
  2. 理論的基礎の確立:
    • 関数テンソル列車秩(Functional Tensor Train Rank)の定義
    • 関数テンソル列車分解の数学的表現
    • FTTNNの近似特性の理論的分析
  3. 効率的な積分計算:テンソル列車構造を利用して高次元積分を一次元積分に分解し、ガウス積分規則で正確に計算し、サンプリング誤差を回避
  4. 優れた数値性能:複数の高次元PDE問題でFTTNNがPINNおよび他の方法に対する精度の優位性を検証

方法の詳細

タスク定義

次の形式の高次元PDE境界値問題を解く:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

ここで、Ω ⊂ Rᵈは有界連結の多角形境界領域、Lは偏微分作用素、Bは境界作用素である。

核心的理論フレームワーク

1. 関数テンソル列車秩の定義

定義2.4: テンソル関数u: Ω ⊂ Rᵈ → Rが与えられたとき、関数テンソル列車秩は以下のように定義される:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

ここで、Suはuのサンプリングテンソル集合である。

2. 関数テンソル列車分解

定理2.6: uのFTT-rankが(r₀, r₁, ..., rₐ)である場合、TT核関数uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ}が存在し、以下が成り立つ:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

モデルアーキテクチャ

FTTNN構造

各TT核関数はニューラルネットワークでパラメータ化される:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

ここで、θ = {θ₁, ..., θₐ}はすべてのサブネットワークの訓練可能なパラメータである。

損失関数

物理情報損失関数を採用:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

技術的革新点

1. 高次元積分のテンソル分解計算

二階楕円型作用素Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ)に対して、残差損失は以下のように分解できる:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

各項はテンソル列車形式で表現でき、一次元積分で計算される:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (uᵢ関連項) dxᵢ

2. 境界条件の処理

ネットワークアーキテクチャに直接境界条件を組み込む:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

実験設定

テスト問題

  1. 関数近似:特異点を持つ高次元関数
  2. 不規則領域ポアソン方程式字領域上の3次元問題
  3. 高次元ポアソン方程式:正則領域上のd=3,5,7次元問題
  4. 高次元ヘルムホルツ方程式:高波数を含む場合
  5. シュレーディンガー固有値問題=5,10次元問題

評価指標

相対誤差:

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

比較方法

  • 離散テンソル列車分解(TTD)
  • 物理情報ニューラルネットワーク(PINN)
  • 深いRitz法(DRM)

実装の詳細

  • ネットワーク構造:単一隠れ層全結合ネットワーク、活性化関数はsine
  • オプティマイザー:Adam(5000エポック) + L-BFGS(1000エポック)
  • 積分計算:ガウス-ルジャンドル積分規則
  • ハードウェア:NVIDIA A100 GPU

実験結果

主要な結果

1. 関数近似(テスト1)

方法次元d秩rパラメータ数相対誤差
TTD423604.1×10⁻¹
FTTNN4243324.9×10⁻²
TTD6354002.2×10⁻¹
FTTNN6372423.6×10⁻³

2. 高次元ポアソン方程式(テスト3)

次元dFTTNNPINN
32.6×10⁻⁵5.5×10⁻⁵
52.5×10⁻⁴2.0×10⁻³
71.3×10⁻⁴8.0×10⁻²

3. 高次元ヘルムホルツ方程式(テスト4.1)

次元dFTTNNPINN
38.0×10⁻⁵4.0×10⁻⁵
51.3×10⁻⁴1.5×10⁻²

主要な発見

  1. 次元感度:次元が増加するにつれて、FTTNNのPINNに対する優位性がより顕著になる
  2. 不規則領域適応性はL字領域などの不規則幾何形状を正常に処理
  3. 高波数安定性:段階的初期化戦略によってk=25πの高振動問題を処理
  4. 固有値精度:シュレーディンガー固有値問題でDRMより優れている

関連研究

テンソル法の発展

  • Oseledetsらによる離散テンソル列車分解の理論的基礎
  • Gorodetskiらによる連続関数テンソル列車アルゴリズム
  • 不確実性定量化および量子動力学への応用

ニューラルネットワークPDE求解

  • PINN:革新的な物理情報ニューラルネットワーク
  • DGM:深いGalerkin法
  • DRM:深いRitz法
  • サンプリング誤差の普遍的存在

本論文の革新との比較

  1. 従来のテンソル法との比較:連続領域および不規則幾何への拡張
  2. ニューラルネットワーク法との比較:サンプリング誤差を回避し、正確な積分計算
  3. 既存の混合法との比較:より強い表現能力と理論的保証

結論と考察

主要な結論

  1. FTTNNは離散テンソル列車分解を連続関数空間に正常に拡張した
  2. 関数テンソル列車秩は離散表現と連続表現の理論的関連性を確立した
  3. テンソル構造は高次元積分の効率的で正確な計算を実現した
  4. 数値実験は複数のクラスの高次元PDEにおける方法の優れた性能を証明した

限界

  1. テンソル秩の選択:適切なFTT-rankを決定するために先験知識または適応戦略が必要
  2. 関数形式の制限:ソース関数f(x)と係数b(x)はテンソル列車表現を必要とする
  3. 初期化感度:高波数問題は慎重に設計された初期化戦略を必要とする
  4. 理論的分析:近似誤差界の厳密性は改善の余地がある

今後の方向

  1. Fokker-Planck方程式:より複雑な確率PDE への拡張
  2. 適応的秩選択を動的に調整するアルゴリズムの開発
  3. より一般的な作用素:非線形および時間依存PDE の処理
  4. 並列計算:テンソル構造の自然な並列性の利用

深い評価

利点

  1. 理論的貢献が堅実:
    • 関数テンソル列車秩の厳密な定義
    • 連続テンソル分解の完全な理論フレームワーク
    • 近似特性の数学的証明
  2. 技術的革新が顕著:
    • 高次元積分のテンソル分解計算がサンプリング誤差を回避
    • 不規則領域を柔軟に処理する能力
    • テンソル法の低秩優位性を保持
  3. 実験検証が充分:
    • 複数のタイプの高次元PDEをカバー
    • 体系的なアブレーション研究と比較分析
    • 低次元から高次元への段階的検証
  4. 実用的価値が顕著:
    • 従来のテンソル法の領域制限を解決
    • 高次元科学計算に新しいツールを提供

不足

  1. 計算複雑度分析が不十分:
    • PINNなどの方法との理論的複雑度比較が欠落
    • テンソル分解の計算コストの分析が限定的
  2. 適用範囲の制限:
    • ソース関数のテンソル分解表現が必要
    • 一般的な非線形PDEへの拡張性が十分に検討されていない
  3. パラメータ調整ガイダンスが不足:
    • FTT-rank選択の体系的なガイダンスが欠落
    • ネットワークアーキテクチャ設計の経験的性質が強い
  4. 収束性分析:
    • 訓練プロセスの収束保証が十分でない
    • 損失関数の景観分析が深化の余地がある

影響力の評価

  1. 学術的影響:
    • テンソル分解とニューラルネットワークの結合に新しいパラダイムを提供
    • より多くの関数テンソル分解研究を触発する可能性
  2. 応用前景:
    • 量子化学、材料科学などの高次元問題に重要な応用価値
    • 工学における複雑な幾何形状PDE求解に新しい選択肢を提供
  3. 方法の普遍性:
    • フレームワークは良好な拡張性を持つ
    • 他のタイプの高次元数値問題に示唆を提供

適用シーン

  1. 高次元正則PDE:次元d≥5の楕円型、放物型問題
  2. 不規則領域問題:複雑な幾何形状の中低次元PDE
  3. 固有値計算:高次元シュレーディンガー作用素のスペクトル問題
  4. パラメータ化PDE:低秩構造を持つパラメータ関連問題

総合評価:これは高次元PDE数値求解分野における重要な貢献を持つ論文である。テンソル分解とニューラルネットワークの利点を巧みに組み合わせることで、理論的深さと実用的価値の両方を持つFTTNN法を提案した。いくつかの限界が存在するが、その革新性と有効性により、この分野の重要な進展となり、さらなる発展と応用に値する。