2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.
Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).
academic

Funktionales Tensor-Train-Neuronales Netzwerk zur Lösung hochdimensionaler PDEs

Grundinformationen

  • Papier-ID: 2510.13386
  • Titel: Functional tensor train neural network for solving high-dimensional PDEs
  • Autoren: Yani Feng (The University of Hong Kong), Michael K. Ng (Hong Kong Baptist University), Kejun Tang (Great Bay University), Zhiwen Zhang (The University of Hong Kong)
  • Klassifizierung: math.NA cs.NA
  • Veröffentlichungsdatum: 15. Oktober 2025 (arXiv-Preprint)
  • Papierlink: https://arxiv.org/abs/2510.13386

Zusammenfassung

Die diskrete Tensor-Train-Zerlegung wird häufig verwendet, um die Fluch-der-Dimensionalität bei der Lösung hochdimensionaler partieller Differentialgleichungen (PDEs) mit traditionellen Methoden zu mildern. Die direkte Anwendung von Tensor-Train-Methoden erfordert jedoch typischerweise einheitliche Gitter auf regulären Domänen, was ihre Anwendung auf ungleichmäßigen Gittern oder unregelmäßigen Domänen einschränkt. Um diese Einschränkung zu beheben, entwickeln wir ein funktionales Tensor-Train-Neuronales Netzwerk (FTTNN) zur Lösung hochdimensionaler PDEs, das PDE-Lösungen auf ungleichmäßigen Gittern oder unregelmäßigen Domänen darstellen kann. Der Kern der Methode besteht darin, die PDE-Lösung durch ein funktionales Tensor-Train-Format darzustellen, wobei die TT-Kernfunktionen durch neuronale Netze approximiert werden. Um die funktionale Tensor-Train-Darstellung bereitzustellen, führen wir das Konzept des funktionalen Tensor-Train-Rangs ein und wenden es auf das Training mit physikalisch informierten Verlustfunktionen an. Aufgrund der Eigenschaften der Tensor-Train-Darstellung können hochdimensionale Integrale in der Verlustfunktion durch die Berechnung eindimensionaler Integrale mit Gauß-Quadraturregeln gelöst werden. Numerische Experimente zeigen, dass das vorgeschlagene FTTNN die Leistung physikalisch informierter neuronaler Netze (PINN) bei der Lösung hochdimensionaler PDEs auf regulären oder unregelmäßigen Domänen übertrifft.

Forschungshintergrund und Motivation

Problemhintergrund

Hochdimensionale partielle Differentialgleichungen sind in wissenschaftlichen und technischen Anwendungen weit verbreitet, wie in der Schrödinger-Eigenwertproblematik, Strömungsmechanik, Wärmeleitung, Elektromagnetismus und Quantenmechanik. Traditionelle numerische Methoden (Finite Differenzen, Finite Elemente, Spektralmethoden) funktionieren bei niedrigdimensionalen Problemen gut, sehen sich aber bei hochdimensionalen Problemen mit ernsthaften Herausforderungen durch den Fluch der Dimensionalität (Curse of Dimensionality, CoD) konfrontiert.

Einschränkungen bestehender Methoden

  1. Einschränkungen von Tensormethoden:
    • Diskrete Tensorzerlegungsmethoden (CP-Zerlegung, Tucker-Zerlegung, Tensor-Train-Zerlegung) können zwar die Rechenkomplexität reduzieren, erfordern aber typischerweise einheitliche Gitter auf regulären Domänen
    • Schwierig anzuwenden auf ungleichmäßigen Gittern oder unregelmäßigen Domänen
  2. Einschränkungen von Neuronalen-Netzwerk-Methoden:
    • PINN, DGM, DRM und andere Methoden verlassen sich auf Stichprobenmethoden zur Schätzung hochdimensionaler Integrale
    • Stichprobennahme führt zu statistischen Fehlern, die die Fähigkeiten des neuronalen Netzes möglicherweise verschleiern

Forschungsmotivation

Entwicklung einer Methode, die sowohl unregelmäßige Domänen verarbeiten als auch hochdimensionale Integrale effizient berechnen kann, wobei die Vorteile der Niederrang-Struktur der Tensorzerlegung und der Funktionsapproximationsfähigkeit neuronaler Netze kombiniert werden.

Kernbeiträge

  1. Vorschlag eines funktionalen Tensor-Train-Neuronalen Netzwerks (FTTNN): Erweiterung der diskreten Tensor-Train-Zerlegung auf den kontinuierlichen Bereich, um hochdimensionale PDEs auf ungleichmäßigen Gittern und unregelmäßigen Domänen zu verarbeiten
  2. Etablierung theoretischer Grundlagen:
    • Definition des funktionalen Tensor-Train-Rangs
    • Mathematische Darstellung der funktionalen Tensor-Train-Zerlegung
    • Theoretische Analyse der Approximationseigenschaften von FTTNN
  3. Effiziente Integralberechnung: Nutzung der Tensor-Train-Struktur zur Zerlegung hochdimensionaler Integrale in eindimensionale Integrale, die durch Gauß-Quadraturregeln exakt berechnet werden, wodurch Stichprobenfehler vermieden werden
  4. Überlegene numerische Leistung: Validierung der Genauigkeitsvorteile von FTTNN gegenüber PINN und anderen Methoden bei mehreren hochdimensionalen PDE-Problemen

Methodische Details

Aufgabendefinition

Lösung des folgenden hochdimensionalen PDE-Randwertproblems:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

wobei Ω ⊂ Rᵈ eine beschränkte zusammenhängende polygonale Randdomäne ist, L ein Differentialoperator und B ein Randoperator.

Theoretischer Kernrahmen

1. Definition des funktionalen Tensor-Train-Rangs

Definition 2.4: Gegeben eine Tensorfunktion u: Ω ⊂ Rᵈ → R, ist der funktionale Tensor-Train-Rang definiert als:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

wobei Su die Menge der Stichprobentensoren von u ist.

2. Funktionale Tensor-Train-Zerlegung

Theorem 2.6: Wenn u den FTT-Rang (r₀, r₁, ..., rₐ) hat, dann existieren TT-Kernfunktionen uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ} so dass:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

Modellarchitektur

FTTNN-Struktur

Jede TT-Kernfunktion wird durch ein neuronales Netz parametrisiert:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

wobei θ = {θ₁, ..., θₐ} die trainierbaren Parameter aller Subnetzwerke sind.

Verlustfunktion

Verwendung einer physikalisch informierten Verlustfunktion:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

Technische Innovationspunkte

1. Tensorzerlegungsberechnung hochdimensionaler Integrale

Für einen elliptischen Operator zweiter Ordnung Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ) kann der Residuumsverlust zerlegt werden in:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

Jeder Term kann im Tensor-Train-Format dargestellt werden, berechnet durch eindimensionale Integrale:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (uᵢ-bezogene Terme) dxᵢ

2. Behandlung von Randbedingungen

Direkte Einbettung von Randbedingungen durch Netzwerkarchitektur:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

Experimentelle Einrichtung

Testprobleme

  1. Funktionsapproximation: Hochdimensionale Funktionen mit Singularitäten
  2. Poisson-Gleichung auf unregelmäßiger Domäne: 3D-Problem auf L-förmiger Domäne
  3. Hochdimensionale Poisson-Gleichung: Probleme mit d=3,5,7 auf regulärer Domäne
  4. Hochdimensionale Helmholtz-Gleichung: Einschließlich Fälle mit hoher Wellenzahl
  5. Schrödinger-Eigenwertproblem: Probleme mit d=5,10

Bewertungsmetriken

Relativer Fehler:

Relativer Fehler = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

Vergleichsmethoden

  • Diskrete Tensor-Train-Zerlegung (TTD)
  • Physikalisch informierte neuronale Netze (PINN)
  • Deep-Ritz-Methode (DRM)

Implementierungsdetails

  • Netzwerkstruktur: Vollständig verbundenes Netzwerk mit einer verborgenen Schicht, Aktivierungsfunktion Sinus
  • Optimierer: Adam (5000 Iterationen) + L-BFGS (1000 Iterationen)
  • Integralberechnung: Gauß-Legendre-Quadraturregeln
  • Hardware: NVIDIA A100 GPU

Experimentelle Ergebnisse

Hauptergebnisse

1. Funktionsapproximation (Test 1)

MethodeDimension dRang rParameteranzahlRelativer Fehler
TTD423604,1×10⁻¹
FTTNN4243324,9×10⁻²
TTD6354002,2×10⁻¹
FTTNN6372423,6×10⁻³

2. Hochdimensionale Poisson-Gleichung (Test 3)

Dimension dFTTNNPINN
32,6×10⁻⁵5,5×10⁻⁵
52,5×10⁻⁴2,0×10⁻³
71,3×10⁻⁴8,0×10⁻²

3. Hochdimensionale Helmholtz-Gleichung (Test 4.1)

Dimension dFTTNNPINN
38,0×10⁻⁵4,0×10⁻⁵
51,3×10⁻⁴1,5×10⁻²

Wichtigste Erkenntnisse

  1. Dimensionsempfindlichkeit: Mit zunehmender Dimension wird der Vorteil von FTTNN gegenüber PINN deutlicher
  2. Anpassungsfähigkeit an unregelmäßige Domänen: FTTNN verarbeitet erfolgreich unregelmäßige Geometrien wie L-förmige Domänen
  3. Stabilität bei hoher Wellenzahl: Behandlung hochoszillierender Probleme mit k=25π durch progressive Initialisierungsstrategie
  4. Genauigkeit von Eigenwerten: Überlegenheit gegenüber DRM bei Schrödinger-Eigenwertproblemen

Verwandte Arbeiten

Entwicklung von Tensormethoden

  • Theoretische Grundlagen der diskreten Tensor-Train-Zerlegung von Oseledets et al.
  • Kontinuierliche funktionale Tensor-Train-Algorithmen von Gorodetsky et al.
  • Anwendungen in Unsicherheitsquantifizierung und Quantendynamik

Neuronale-Netzwerk-PDE-Lösung

  • PINN: Bahnbrechende physikalisch informierte neuronale Netze
  • DGM: Deep-Galerkin-Methode
  • DRM: Deep-Ritz-Methode
  • Allgegenwärtige Stichprobenfehlerprobleme

Innovationen dieses Papiers im Vergleich

  1. vs. traditionelle Tensormethoden: Erweiterung auf kontinuierliche Domänen und unregelmäßige Geometrien
  2. vs. Neuronale-Netzwerk-Methoden: Vermeidung von Stichprobenfehlern, exakte Integralberechnung
  3. vs. bestehende Hybridmethoden: Stärkere Ausdrucksfähigkeit und theoretische Garantien

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. FTTNN erweitert erfolgreich die diskrete Tensor-Train-Zerlegung auf kontinuierliche Funktionsräume
  2. Der funktionale Tensor-Train-Rang etabliert theoretische Verbindungen zwischen diskreter und kontinuierlicher Darstellung
  3. Die Tensorstruktur ermöglicht effiziente und exakte Berechnung hochdimensionaler Integrale
  4. Numerische Experimente demonstrieren die überlegene Leistung der Methode bei mehreren Klassen hochdimensionaler PDEs

Einschränkungen

  1. Tensorrang-Auswahl: Erfordert Vorwissen oder adaptive Strategien zur Bestimmung des geeigneten FTT-Rangs
  2. Funktionsformeinschränkungen: Quellfunktion f(x) und Koeffizient b(x) müssen Tensor-Train-Darstellung haben
  3. Initialisierungsempfindlichkeit: Hochwellenzahl-Probleme erfordern sorgfältig gestaltete Initialisierungsstrategien
  4. Theoretische Analyse: Straffheit der Approximationsfehler-Schranken bedarf Verbesserung

Zukünftige Richtungen

  1. Fokker-Planck-Gleichungen: Erweiterung auf komplexere stochastische PDEs
  2. Adaptive Rangauswahl: Entwicklung von Algorithmen zur dynamischen Anpassung des FTT-Rangs
  3. Allgemeinere Operatoren: Behandlung nichtlinearer und zeitabhängiger PDEs
  4. Parallelrechnung: Nutzung der natürlichen Parallelität der Tensorstruktur

Tiefgreifende Bewertung

Stärken

  1. Solide theoretische Beiträge:
    • Strenge Definition des funktionalen Tensor-Train-Rangs
    • Vollständiger theoretischer Rahmen für kontinuierliche Tensorzerlegung
    • Mathematische Beweise von Approximationseigenschaften
  2. Signifikante technische Innovationen:
    • Tensorzerlegungsberechnung hochdimensionaler Integrale vermeidet Stichprobenfehler
    • Flexible Fähigkeit zur Verarbeitung unregelmäßiger Domänen
    • Beibehaltung der Niederrang-Vorteile von Tensormethoden
  3. Umfassende experimentelle Validierung:
    • Abdeckung mehrerer Arten hochdimensionaler PDEs
    • Systematische Ablationsstudien und Vergleichsanalysen
    • Progressive Validierung von niedrig bis hochdimensional
  4. Hervorragende praktische Bedeutung:
    • Lösung der Domänen-Einschränkungen traditioneller Tensormethoden
    • Bereitstellung neuer Werkzeuge für hochdimensionale wissenschaftliche Berechnungen

Mängel

  1. Unzureichende Analyse der Rechenkomplexität:
    • Fehlende theoretische Komplexitätsvergleiche mit Methoden wie PINN
    • Begrenzte Analyse der Rechenkosten der Tensorzerlegung
  2. Eingeschränkter Anwendungsbereich:
    • Erfordert Tensor-Train-Darstellung der Quellfunktion
    • Erweiterbarkeit auf allgemeine nichtlineare PDEs nicht ausreichend erforscht
  3. Mangel an Parameteroptimierungsleitfaden:
    • Fehlende systematische Anleitung zur FTT-Rang-Auswahl
    • Empirischer Charakter des Netzwerk-Architektur-Designs
  4. Konvergenzanalyse:
    • Unzureichende Konvergenzgarantien für den Trainingsprozess
    • Analyse der Verlustfunktionslandschaft bedarf Vertiefung

Bewertung der Auswirkungen

  1. Akademische Auswirkungen:
    • Bietet neues Paradigma für die Kombination von Tensorzerlegung und neuronalen Netzen
    • Könnte weitere Forschung zu funktionalen Tensorzerlegungen katalysieren
  2. Anwendungsperspektiven:
    • Wichtiger Anwendungswert bei hochdimensionalen Problemen in Quantenchemie und Materialwissenschaften
    • Neue Optionen für die PDE-Lösung bei komplexen Geometrien in der Technik
  3. Methodische Universalität:
    • Rahmen mit guter Erweiterbarkeit
    • Inspiriert andere hochdimensionale numerische Probleme

Anwendungsszenarien

  1. Hochdimensionale reguläre PDEs: Elliptische und parabolische Probleme mit Dimension d≥5
  2. Probleme auf unregelmäßigen Domänen: PDEs mit komplexer geometrischer Form
  3. Eigenwertberechnung: Spektralprobleme hochdimensionaler Schrödinger-Operatoren
  4. Parametrisierte PDEs: Parameterabhängige Probleme mit Niederrang-Struktur

Gesamtbewertung: Dies ist ein Papier mit wichtigen Beiträgen im Bereich der numerischen Lösung hochdimensionaler PDEs. Durch geschickte Kombination der Vorteile von Tensorzerlegung und neuronalen Netzen wird die FTTNN-Methode vorgeschlagen, die sowohl theoretische Tiefe als auch praktischen Wert hat. Trotz einiger Einschränkungen machen ihre Innovativität und Effektivität sie zu einem wichtigen Fortschritt in diesem Bereich und verdienen weitere Entwicklung und Anwendung.