2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.
Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).
academic

Réseau de Neurones à Décomposition Tensorielle Fonctionnelle pour la Résolution d'EDP Haute-Dimensionnelles

Informations Fondamentales

  • ID de l'article: 2510.13386
  • Titre: Functional tensor train neural network for solving high-dimensional PDEs
  • Auteurs: Yani Feng (The University of Hong Kong), Michael K. Ng (Hong Kong Baptist University), Kejun Tang (Great Bay University), Zhiwen Zhang (The University of Hong Kong)
  • Classification: math.NA cs.NA
  • Date de publication: 15 octobre 2025 (prépublication arXiv)
  • Lien de l'article: https://arxiv.org/abs/2510.13386

Résumé

La décomposition tensorielle discrète en train est largement utilisée pour atténuer le problème de la malédiction de la dimensionnalité lors de la résolution d'équations aux dérivées partielles (EDP) haute-dimensionnelles par des méthodes traditionnelles. Cependant, l'application directe des méthodes de train tensoriel nécessite généralement des maillages uniformes sur des domaines réguliers, ce qui limite leur application sur des maillages non uniformes ou des domaines irréguliers. Pour résoudre cette limitation, cet article développe un réseau de neurones à décomposition tensorielle fonctionnelle (FTTNN) pour résoudre les EDP haute-dimensionnelles, capable de représenter les solutions d'EDP sur des maillages non uniformes ou des domaines irréguliers. Le cœur de la méthode consiste à représenter la solution d'EDP via un format de train tensoriel fonctionnel, où les noyaux TT sont approximés par des réseaux de neurones. Pour fournir une représentation en train tensoriel fonctionnel, l'article propose et étudie le concept de rang de train tensoriel fonctionnel et l'applique à l'entraînement avec une fonction de perte physiquement informée. Grâce aux propriétés de la représentation en train tensoriel, les intégrales haute-dimensionnelles dans la fonction de perte peuvent être résolues en calculant des intégrales unidimensionnelles via des règles de quadrature gaussienne. Les expériences numériques montrent que le FTTNN proposé surpasse les réseaux de neurones physiquement informés (PINN) pour la résolution d'EDP haute-dimensionnelles sur des domaines réguliers ou irréguliers.

Contexte de Recherche et Motivation

Contexte du Problème

Les équations aux dérivées partielles haute-dimensionnelles sont largement présentes dans les applications scientifiques et d'ingénierie, notamment dans les problèmes de valeurs propres de Schrödinger, la mécanique des fluides, la conduction thermique, l'électromagnétisme et la mécanique quantique. Les méthodes numériques traditionnelles (différences finies, éléments finis, méthodes spectrales) fonctionnent bien pour les problèmes basse-dimensionnels, mais font face à des défis sérieux de malédiction de la dimensionnalité (Curse of Dimensionality, CoD) pour les problèmes haute-dimensionnels.

Limitations des Méthodes Existantes

  1. Limitations des méthodes tensorielles:
    • Les méthodes de décomposition tensorielle discrète (décomposition CP, décomposition Tucker, décomposition en train tensoriel) peuvent réduire la complexité computationnelle, mais exigent généralement des maillages uniformes sur des domaines réguliers
    • Difficiles à appliquer sur des maillages non uniformes ou des domaines irréguliers
  2. Limitations des méthodes de réseaux de neurones:
    • Les méthodes PINN, DGM, DRM et autres dépendent de méthodes d'échantillonnage pour estimer les intégrales haute-dimensionnelles
    • L'échantillonnage introduit des erreurs statistiques qui peuvent masquer les capacités du réseau de neurones

Motivation de la Recherche

Développer une méthode capable de traiter les domaines irréguliers tout en calculant efficacement les intégrales haute-dimensionnelles, combinant les avantages de la structure de faible rang de la décomposition tensorielle et la capacité d'approximation fonctionnelle des réseaux de neurones.

Contributions Principales

  1. Proposition du réseau de neurones à décomposition tensorielle fonctionnelle (FTTNN): Extension de la décomposition tensorielle discrète en train au domaine continu, capable de traiter les EDP haute-dimensionnelles sur des maillages non uniformes et des domaines irréguliers
  2. Établissement des fondations théoriques:
    • Définition du rang de train tensoriel fonctionnel (Functional Tensor Train Rank)
    • Représentation mathématique de la décomposition en train tensoriel fonctionnel
    • Analyse théorique des propriétés d'approximation du FTTNN
  3. Calcul efficace des intégrales: Utilisation de la structure en train tensoriel pour décomposer les intégrales haute-dimensionnelles en intégrales unidimensionnelles, calculées précisément via des règles de quadrature gaussienne, évitant les erreurs d'échantillonnage
  4. Performance numérique supérieure: Vérification sur plusieurs problèmes d'EDP haute-dimensionnels de l'avantage de précision du FTTNN par rapport aux PINN et autres méthodes

Détails de la Méthode

Définition de la Tâche

Résoudre le problème aux valeurs limites d'EDP haute-dimensionnelle de la forme suivante:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

où Ω ⊂ Rᵈ est un domaine borné connexe à frontière polygonale, L est un opérateur aux dérivées partielles, B est un opérateur de frontière.

Cadre Théorique Principal

1. Définition du Rang de Train Tensoriel Fonctionnel

Définition 2.4: Étant donnée une fonction tensorielle u: Ω ⊂ Rᵈ → R, le rang de train tensoriel fonctionnel est défini comme:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

où Su est l'ensemble des tenseurs échantillonnés de u.

2. Décomposition en Train Tensoriel Fonctionnel

Théorème 2.6: Si le FTT-rank de u est (r₀, r₁, ..., rₐ), alors il existe des noyaux TT fonctionnels uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ} tels que:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

Architecture du Modèle

Structure du FTTNN

Chaque noyau TT est paramétrisé par un réseau de neurones:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

où θ = {θ₁, ..., θₐ} sont les paramètres entraînables de tous les sous-réseaux.

Fonction de Perte

Utilisation d'une fonction de perte physiquement informée:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

Points d'Innovation Technique

1. Calcul des Intégrales Haute-Dimensionnelles par Décomposition Tensorielle

Pour un opérateur elliptique du second ordre Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ), la perte résiduelle peut être décomposée comme:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

Chaque terme peut être exprimé au format train tensoriel, calculé via des intégrales unidimensionnelles:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (termes relatifs à uᵢ) dxᵢ

2. Traitement des Conditions aux Limites

Intégration directe des conditions aux limites via l'architecture du réseau:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

Configuration Expérimentale

Problèmes de Test

  1. Approximation fonctionnelle: Fonctions haute-dimensionnelles avec singularités
  2. Équation de Poisson sur domaine irrégulier: Problème 3D sur domaine en L
  3. Équation de Poisson haute-dimensionnelle: Problèmes d=3,5,7 sur domaine régulier
  4. Équation de Helmholtz haute-dimensionnelle: Incluant les cas de nombre d'onde élevé
  5. Problème de valeur propre de Schrödinger: Problèmes d=5,10

Métriques d'Évaluation

Erreur relative:

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

Méthodes de Comparaison

  • Décomposition tensorielle discrète (TTD)
  • Réseaux de neurones physiquement informés (PINN)
  • Méthode de Ritz profonde (DRM)

Détails d'Implémentation

  • Architecture réseau: Réseau entièrement connecté à une couche cachée, fonction d'activation sine
  • Optimiseur: Adam (5000 itérations) + L-BFGS (1000 itérations)
  • Calcul d'intégrales: Règle de quadrature de Gauss-Legendre
  • Matériel: GPU NVIDIA A100

Résultats Expérimentaux

Résultats Principaux

1. Approximation Fonctionnelle (Test 1)

MéthodeDimension dRang rNombre de paramètresErreur relative
TTD423604.1×10⁻¹
FTTNN4243324.9×10⁻²
TTD6354002.2×10⁻¹
FTTNN6372423.6×10⁻³

2. Équation de Poisson Haute-Dimensionnelle (Test 3)

Dimension dFTTNNPINN
32.6×10⁻⁵5.5×10⁻⁵
52.5×10⁻⁴2.0×10⁻³
71.3×10⁻⁴8.0×10⁻²

3. Équation de Helmholtz Haute-Dimensionnelle (Test 4.1)

Dimension dFTTNNPINN
38.0×10⁻⁵4.0×10⁻⁵
51.3×10⁻⁴1.5×10⁻²

Découvertes Clés

  1. Sensibilité à la dimensionnalité: L'avantage du FTTNN par rapport aux PINN devient plus apparent avec l'augmentation de la dimension
  2. Adaptabilité aux domaines irréguliers: Le FTTNN traite avec succès les géométries irrégulières comme les domaines en L
  3. Stabilité pour les nombres d'onde élevés: Traitement des problèmes hautement oscillants (k=25π) via une stratégie d'initialisation progressive
  4. Précision des valeurs propres: Supériorité par rapport à DRM pour les problèmes de valeurs propres de Schrödinger

Travaux Connexes

Développement des Méthodes Tensorielles

  • Fondations théoriques de la décomposition en train tensoriel discret par Oseledets et al.
  • Algorithmes de train tensoriel fonctionnel continu par Gorodetsky et al.
  • Applications en quantification d'incertitude et dynamique quantique

Résolution d'EDP par Réseaux de Neurones

  • PINN: Réseaux de neurones physiquement informés pionniers
  • DGM: Méthode Galerkin profonde
  • DRM: Méthode de Ritz profonde
  • Problème universel des erreurs d'échantillonnage

Comparaison des Innovations de cet Article

  1. vs méthodes tensorielles traditionnelles: Extension au domaine continu et aux géométries irrégulières
  2. vs méthodes de réseaux de neurones: Évite les erreurs d'échantillonnage, calcul d'intégrales précis
  3. vs méthodes hybrides existantes: Capacité d'expression plus forte et garanties théoriques

Conclusions et Discussion

Conclusions Principales

  1. Le FTTNN étend avec succès la décomposition tensorielle discrète en train à l'espace des fonctions continues
  2. Le rang de train tensoriel fonctionnel établit un lien théorique entre les représentations discrètes et continues
  3. La structure tensorielle réalise un calcul efficace et précis des intégrales haute-dimensionnelles
  4. Les expériences numériques démontrent la performance supérieure de la méthode sur plusieurs classes d'EDP haute-dimensionnelles

Limitations

  1. Sélection du rang tensoriel: Nécessite des connaissances préalables ou des stratégies adaptatives pour déterminer un FTT-rank approprié
  2. Restrictions sur la forme fonctionnelle: Les fonctions sources f(x) et les coefficients b(x) doivent admettre une représentation en train tensoriel
  3. Sensibilité à l'initialisation: Les problèmes à nombre d'onde élevé nécessitent des stratégies d'initialisation soigneusement conçues
  4. Analyse théorique: L'optimalité des bornes d'erreur d'approximation reste à améliorer

Directions Futures

  1. Équations de Fokker-Planck: Extension aux EDP stochastiques plus complexes
  2. Sélection adaptative du rang: Développement d'algorithmes pour ajuster dynamiquement le FTT-rank
  3. Opérateurs plus généraux: Traitement des EDP non linéaires et dépendantes du temps
  4. Calcul parallèle: Exploitation du parallélisme naturel de la structure tensorielle

Évaluation Approfondie

Avantages

  1. Contributions théoriques solides:
    • Définition rigoureuse du rang de train tensoriel fonctionnel
    • Cadre théorique complet pour la décomposition tensorielle continue
    • Preuves mathématiques des propriétés d'approximation
  2. Innovations techniques significatives:
    • Le calcul des intégrales haute-dimensionnelles par décomposition tensorielle évite les erreurs d'échantillonnage
    • Capacité flexible à traiter les domaines irréguliers
    • Conservation des avantages de faible rang des méthodes tensorielles
  3. Vérification expérimentale complète:
    • Couverture de plusieurs types d'EDP haute-dimensionnelles
    • Études d'ablation systématiques et analyses comparatives
    • Vérification progressive du basse-dimensionnel au haute-dimensionnel
  4. Valeur pratique remarquable:
    • Résolution des limitations de domaine des méthodes tensorielles traditionnelles
    • Fourniture d'un nouvel outil pour le calcul scientifique haute-dimensionnel

Insuffisances

  1. Analyse insuffisante de la complexité computationnelle:
    • Manque de comparaison théorique de complexité avec les méthodes PINN et autres
    • Analyse limitée des coûts computationnels de la décomposition tensorielle
  2. Limitations de l'étendue d'application:
    • Exigence d'une représentation en train tensoriel de la fonction source
    • Extensibilité insuffisamment explorée aux EDP non linéaires générales
  3. Manque de guidance pour l'ajustement des paramètres:
    • Absence de guidance systématique pour la sélection du FTT-rank
    • Nature empirique de la conception de l'architecture réseau
  4. Analyse de convergence:
    • Garanties de convergence insuffisantes du processus d'entraînement
    • Analyse approfondie du paysage de la fonction de perte à développer

Évaluation de l'Impact

  1. Impact académique:
    • Fourniture d'un nouveau paradigme pour la combinaison de la décomposition tensorielle et des réseaux de neurones
    • Susceptible de catalyser davantage de recherches sur la décomposition tensorielle fonctionnelle
  2. Perspectives d'application:
    • Valeur d'application importante dans les problèmes haute-dimensionnels de chimie quantique et science des matériaux
    • Nouvelle option pour la résolution d'EDP avec géométries complexes en ingénierie
  3. Universalité de la méthode:
    • Cadre possédant une bonne extensibilité
    • Inspiration pour d'autres problèmes numériques haute-dimensionnels

Scénarios d'Application

  1. EDP régulière haute-dimensionnelle: Problèmes elliptiques et paraboliques de dimension d≥5
  2. Problèmes sur domaines irréguliers: EDP de dimension moyenne sur géométries complexes
  3. Calcul de valeurs propres: Problèmes spectraux d'opérateurs de Schrödinger haute-dimensionnels
  4. EDP paramétrées: Problèmes dépendant de paramètres possédant une structure de faible rang

Évaluation Globale: Cet article constitue une contribution importante dans le domaine de la résolution numérique d'EDP haute-dimensionnelles. En combinant intelligemment les avantages de la décomposition tensorielle et des réseaux de neurones, il propose la méthode FTTNN qui possède à la fois une profondeur théorique et une valeur pratique. Malgré certaines limitations, son caractère innovant et son efficacité en font un progrès important dans ce domaine, méritant un développement et une application ultérieurs.