2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.
Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).
academic

Rete Neurale Funzionale Tensor Train per la Risoluzione di EDP ad Alta Dimensionalità

Informazioni Fondamentali

  • ID Articolo: 2510.13386
  • Titolo: Functional tensor train neural network for solving high-dimensional PDEs
  • Autori: Yani Feng (The University of Hong Kong), Michael K. Ng (Hong Kong Baptist University), Kejun Tang (Great Bay University), Zhiwen Zhang (The University of Hong Kong)
  • Classificazione: math.NA cs.NA
  • Data di Pubblicazione: 15 ottobre 2025 (preprint arXiv)
  • Link Articolo: https://arxiv.org/abs/2510.13386

Riassunto

La decomposizione discreta tensor train è ampiamente utilizzata per mitigare la maledizione della dimensionalità nel risolvere equazioni differenziali parziali ad alta dimensionalità con metodi tradizionali. Tuttavia, l'applicazione diretta dei metodi tensor train richiede tipicamente griglie uniformi su domini regolari, il che limita l'applicazione su griglie non uniformi o domini irregolari. Per affrontare questa limitazione, questo articolo sviluppa una rete neurale funzionale tensor train (FTTNN) per risolvere EDP ad alta dimensionalità, che può rappresentare soluzioni di EDP su griglie non uniformi o domini irregolari. Il nucleo del metodo consiste nel rappresentare la soluzione dell'EDP attraverso il formato tensor train funzionale, dove i nuclei TT sono approssimati da reti neurali. Per fornire la rappresentazione tensor train funzionale, l'articolo propone e studia il concetto di rango tensor train funzionale e lo applica all'addestramento con funzione di perdita fisicamente informata. Grazie alle proprietà della rappresentazione tensor train, gli integrali ad alta dimensionalità nella funzione di perdita possono essere risolti calcolando integrali unidimensionali mediante regole di integrazione gaussiana. Gli esperimenti numerici dimostrano che il FTTNN proposto supera le reti neurali fisicamente informate (PINN) nella risoluzione di EDP ad alta dimensionalità su domini regolari o irregolari.

Contesto di Ricerca e Motivazione

Contesto del Problema

Le equazioni differenziali parziali ad alta dimensionalità sono ampiamente presenti nelle applicazioni scientifiche e ingegneristiche, come problemi agli autovalori di Schrödinger, meccanica dei fluidi, conduzione del calore, elettromagnetismo e meccanica quantistica. I metodi numerici tradizionali (differenze finite, elementi finiti, metodi spettrali) funzionano bene per problemi a bassa dimensionalità, ma affrontano la sfida seria della maledizione della dimensionalità (Curse of Dimensionality, CoD) nei problemi ad alta dimensionalità.

Limitazioni dei Metodi Esistenti

  1. Limitazioni dei Metodi Tensoriali:
    • I metodi di decomposizione tensoriale discreta (decomposizione CP, decomposizione Tucker, decomposizione tensor train), sebbene riducano la complessità computazionale, richiedono tipicamente griglie uniformi su domini regolari
    • Difficili da applicare su griglie non uniformi o domini irregolari
  2. Limitazioni dei Metodi Basati su Reti Neurali:
    • PINN, DGM, DRM e altri metodi si affidano a metodi di campionamento per stimare integrali ad alta dimensionalità
    • Il campionamento introduce errori statistici che possono mascherare le capacità della rete neurale

Motivazione della Ricerca

Sviluppare un metodo che possa gestire domini irregolari e calcolare efficientemente integrali ad alta dimensionalità, combinando i vantaggi della struttura a basso rango della decomposizione tensoriale con la capacità di approssimazione funzionale delle reti neurali.

Contributi Principali

  1. Propone la Rete Neurale Funzionale Tensor Train (FTTNN): Estende la decomposizione discreta tensor train al dominio continuo, gestendo EDP ad alta dimensionalità su griglie non uniformi e domini irregolari
  2. Stabilisce Fondamenti Teorici:
    • Definisce il rango tensor train funzionale (Functional Tensor Train Rank)
    • Fornisce la rappresentazione matematica della decomposizione tensor train funzionale
    • Fornisce analisi teorica delle proprietà di approssimazione di FTTNN
  3. Calcolo Efficiente degli Integrali: Utilizza la struttura tensor train per decomporre integrali ad alta dimensionalità in integrali unidimensionali, calcolati precisamente mediante regole di integrazione gaussiana, evitando errori di campionamento
  4. Prestazioni Numeriche Superiori: Verifica su molteplici problemi di EDP ad alta dimensionalità i vantaggi di precisione di FTTNN rispetto a PINN e altri metodi

Spiegazione Dettagliata del Metodo

Definizione del Compito

Risolvere il seguente problema di valore al contorno di EDP ad alta dimensionalità:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

dove Ω ⊂ Rᵈ è un dominio poligonale limitato e connesso, L è un operatore differenziale parziale, B è un operatore al contorno.

Quadro Teorico Centrale

1. Definizione del Rango Tensor Train Funzionale

Definizione 2.4: Data una funzione tensoriale u: Ω ⊂ Rᵈ → R, il rango tensor train funzionale è definito come:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

dove Su è l'insieme dei tensori campionati di u.

2. Decomposizione Tensor Train Funzionale

Teorema 2.6: Se il FTT-rank di u è (r₀, r₁, ..., rₐ), allora esistono funzioni nuclei TT uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ} tali che:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

Architettura del Modello

Struttura FTTNN

Ogni funzione nucleo TT è parametrizzata da una rete neurale:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

dove θ = {θ₁, ..., θₐ} sono i parametri addestrabili di tutte le sottoreti.

Funzione di Perdita

Utilizza una funzione di perdita fisicamente informata:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

Punti di Innovazione Tecnica

1. Calcolo della Decomposizione Tensoriale per Integrali ad Alta Dimensionalità

Per un operatore ellittico del secondo ordine Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ), la perdita residua può essere decomposta come:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

Ogni termine può essere rappresentato nel formato tensor train, calcolato mediante integrali unidimensionali:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (termini correlati a uᵢ) dxᵢ

2. Trattamento delle Condizioni al Contorno

Incorpora direttamente le condizioni al contorno nell'architettura della rete:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

Configurazione Sperimentale

Problemi di Test

  1. Approssimazione Funzionale: Funzioni ad alta dimensionalità con singolarità
  2. Equazione di Poisson su Dominio Irregolare: Problema 3D su dominio a forma di L
  3. Equazione di Poisson ad Alta Dimensionalità: Problemi d=3,5,7 su dominio regolare
  4. Equazione di Helmholtz ad Alta Dimensionalità: Inclusi casi ad alto numero d'onda
  5. Problema agli Autovalori di Schrödinger: Problemi d=5,10 dimensionali

Metriche di Valutazione

Errore relativo:

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

Metodi di Confronto

  • Decomposizione Discreta Tensor Train (TTD)
  • Rete Neurale Fisicamente Informata (PINN)
  • Metodo Deep Ritz (DRM)

Dettagli di Implementazione

  • Architettura di rete: Rete completamente connessa con singolo strato nascosto, funzione di attivazione sine
  • Ottimizzatore: Adam (5000 iterazioni) + L-BFGS (1000 iterazioni)
  • Calcolo degli integrali: Regola di integrazione Gauss-Legendre
  • Hardware: GPU NVIDIA A100

Risultati Sperimentali

Risultati Principali

1. Approssimazione Funzionale (Test 1)

MetodoDimensione dRango rNumero di ParametriErrore Relativo
TTD423604.1×10⁻¹
FTTNN4243324.9×10⁻²
TTD6354002.2×10⁻¹
FTTNN6372423.6×10⁻³

2. Equazione di Poisson ad Alta Dimensionalità (Test 3)

Dimensione dFTTNNPINN
32.6×10⁻⁵5.5×10⁻⁵
52.5×10⁻⁴2.0×10⁻³
71.3×10⁻⁴8.0×10⁻²

3. Equazione di Helmholtz ad Alta Dimensionalità (Test 4.1)

Dimensione dFTTNNPINN
38.0×10⁻⁵4.0×10⁻⁵
51.3×10⁻⁴1.5×10⁻²

Scoperte Chiave

  1. Sensibilità alla Dimensionalità: Con l'aumento della dimensionalità, il vantaggio di FTTNN rispetto a PINN diventa più evidente
  2. Adattabilità ai Domini Irregolari: FTTNN gestisce con successo geometrie irregolari come domini a forma di L
  3. Stabilità ad Alto Numero d'Onda: Affronta problemi altamente oscillanti con k=25π attraverso strategie di inizializzazione progressive
  4. Precisione degli Autovalori: Supera DRM nel problema agli autovalori di Schrödinger

Lavori Correlati

Sviluppo dei Metodi Tensoriali

  • Fondamenti teorici della decomposizione discreta tensor train di Oseledets e colleghi
  • Algoritmi tensor train funzionali continui di Gorodetsky e colleghi
  • Applicazioni nella quantificazione dell'incertezza e nella dinamica quantistica

Risoluzione di EDP con Reti Neurali

  • PINN: Reti neurali fisicamente informate pioneristiche
  • DGM: Metodo Deep Galerkin
  • DRM: Metodo Deep Ritz
  • Problema universale degli errori di campionamento

Confronto dell'Innovazione di questo Articolo

  1. vs Metodi Tensoriali Tradizionali: Estensione a domini continui e geometrie irregolari
  2. vs Metodi Basati su Reti Neurali: Evita errori di campionamento, calcolo preciso degli integrali
  3. vs Metodi Ibridi Esistenti: Capacità espressiva più forte e garanzie teoriche

Conclusioni e Discussione

Conclusioni Principali

  1. FTTNN estende con successo la decomposizione discreta tensor train allo spazio funzionale continuo
  2. Il rango tensor train funzionale stabilisce il collegamento teorico tra rappresentazioni discrete e continue
  3. La struttura tensoriale realizza il calcolo efficiente e preciso degli integrali ad alta dimensionalità
  4. Gli esperimenti numerici dimostrano le prestazioni superiori del metodo su molteplici classi di EDP ad alta dimensionalità

Limitazioni

  1. Selezione del Rango Tensoriale: Richiede conoscenza a priori o strategie adattive per determinare il FTT-rank appropriato
  2. Restrizioni sulla Forma Funzionale: La funzione sorgente f(x) e i coefficienti b(x) devono avere rappresentazione tensor train
  3. Sensibilità all'Inizializzazione: I problemi ad alto numero d'onda richiedono strategie di inizializzazione attentamente progettate
  4. Analisi Teorica: La stretta limitazione degli errori di approssimazione rimane da migliorare

Direzioni Future

  1. Equazione di Fokker-Planck: Estensione a EDP stocastiche più complesse
  2. Selezione Adattiva del Rango: Sviluppo di algoritmi per l'aggiustamento dinamico del FTT-rank
  3. Operatori Più Generali: Gestione di EDP non lineari e dipendenti dal tempo
  4. Calcolo Parallelo: Sfruttamento della parallelismo naturale della struttura tensoriale

Valutazione Approfondita

Punti di Forza

  1. Contributi Teorici Solidi:
    • Definizione rigorosa del rango tensor train funzionale
    • Quadro teorico completo per la decomposizione tensoriale continua
    • Prove matematiche delle proprietà di approssimazione
  2. Innovazione Tecnica Significativa:
    • Il calcolo della decomposizione tensoriale per integrali ad alta dimensionalità evita errori di campionamento
    • Capacità flessibile di gestire domini irregolari
    • Mantenimento dei vantaggi a basso rango dei metodi tensoriali
  3. Verifica Sperimentale Completa:
    • Copertura di molteplici tipi di EDP ad alta dimensionalità
    • Studi di ablazione sistematici e analisi comparativa
    • Verifica progressiva da bassa a alta dimensionalità
  4. Valore Pratico Prominente:
    • Risolve le limitazioni di dominio dei metodi tensoriali tradizionali
    • Fornisce nuovi strumenti per il calcolo scientifico ad alta dimensionalità

Insufficienze

  1. Analisi della Complessità Computazionale Incompleta:
    • Manca il confronto teorico della complessità con metodi come PINN
    • L'analisi del costo computazionale della decomposizione tensoriale è limitata
  2. Limitazioni dell'Ambito di Applicabilità:
    • Richiede la rappresentazione tensor train della funzione sorgente
    • L'estensibilità a EDP non lineari generali non è sufficientemente esplorata
  3. Mancanza di Guida per l'Ottimizzazione dei Parametri:
    • La selezione del FTT-rank manca di guida sistematica
    • La progettazione dell'architettura di rete è più empirica
  4. Analisi della Convergenza:
    • Le garanzie di convergenza del processo di addestramento non sono sufficientemente complete
    • L'analisi del paesaggio della funzione di perdita rimane da approfondire

Valutazione dell'Impatto

  1. Impatto Accademico:
    • Fornisce un nuovo paradigma per la combinazione di decomposizione tensoriale e reti neurali
    • Potrebbe catalizzare ulteriori ricerche sulla decomposizione tensoriale funzionale
  2. Prospettive di Applicazione:
    • Valore di applicazione importante in chimica quantistica, scienza dei materiali e altri problemi ad alta dimensionalità
    • Fornisce una nuova scelta per la risoluzione di EDP con geometrie complesse in ingegneria
  3. Universalità del Metodo:
    • Il quadro ha buona estensibilità
    • Fornisce ispirazione per altri problemi numerici ad alta dimensionalità

Scenari di Applicabilità

  1. EDP Regolari ad Alta Dimensionalità: Problemi ellittici e parabolici con dimensione d≥5
  2. Problemi su Domini Irregolari: EDP con forme geometriche complesse a media-bassa dimensionalità
  3. Calcolo degli Autovalori: Problemi spettrali dell'operatore di Schrödinger ad alta dimensionalità
  4. EDP Parametrizzate: Problemi dipendenti da parametri con struttura a basso rango

Valutazione Complessiva: Questo è un articolo con importanti contributi nel campo della risoluzione numerica di EDP ad alta dimensionalità. Combinando abilmente i vantaggi della decomposizione tensoriale e delle reti neurali, propone il metodo FTTNN che ha sia profondità teorica che valore pratico. Nonostante alcune limitazioni, la sua innovatività ed efficacia lo rendono un importante progresso in questo campo, meritevole di ulteriore sviluppo e applicazione.