2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.
Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).
academic

उच्च-आयामी PDEs को हल करने के लिए कार्यात्मक टेंसर ट्रेन न्यूरल नेटवर्क

मूल जानकारी

  • पेपर ID: 2510.13386
  • शीर्षक: उच्च-आयामी PDEs को हल करने के लिए कार्यात्मक टेंसर ट्रेन न्यूरल नेटवर्क
  • लेखक: यानी फेंग (हांगकांग विश्वविद्यालय), माइकल के. एनजी (हांगकांग बैपटिस्ट विश्वविद्यालय), केजुन तांग (ग्रेट बे विश्वविद्यालय), झिवेन झांग (हांगकांग विश्वविद्यालय)
  • वर्गीकरण: math.NA cs.NA
  • प्रकाशन समय: 15 अक्टूबर 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.13386

सारांश

असतत टेंसर ट्रेन अपघटन का व्यापक रूप से उच्च-आयामी आंशिक अवकल समीकरणों (PDEs) को हल करते समय आयामीता के अभिशाप को कम करने के लिए उपयोग किया जाता है। हालांकि, टेंसर ट्रेन विधि का प्रत्यक्ष अनुप्रयोग आमतौर पर नियमित डोमेन पर समान ग्रिड की आवश्यकता होती है, जो गैर-समान ग्रिड या अनियमित डोमेन पर इसके अनुप्रयोग को सीमित करता है। इस सीमा को दूर करने के लिए, यह पेपर उच्च-आयामी PDEs को हल करने के लिए एक कार्यात्मक टेंसर ट्रेन न्यूरल नेटवर्क (FTTNN) विकसित करता है, जो गैर-समान ग्रिड या अनियमित डोमेन पर PDE समाधान का प्रतिनिधित्व कर सकता है। विधि का मूल कार्यात्मक टेंसर ट्रेन प्रारूप के माध्यम से PDE समाधान का प्रतिनिधित्व करना है, जहां TT कोर फ़ंक्शन तंत्रिका नेटवर्क द्वारा अनुमानित होते हैं। कार्यात्मक टेंसर ट्रेन प्रतिनिधित्व प्रदान करने के लिए, पेपर कार्यात्मक टेंसर ट्रेन रैंक की अवधारणा प्रस्तावित और अध्ययन करता है, और इसे भौतिक सूचना हानि फ़ंक्शन के प्रशिक्षण में लागू करता है। टेंसर ट्रेन प्रतिनिधित्व की विशेषताओं के कारण, हानि फ़ंक्शन में उच्च-आयामी समाकलन को गाऊसी समाकलन नियम का उपयोग करके एक-आयामी समाकलन की गणना के माध्यम से हल किया जा सकता है। संख्यात्मक प्रयोग दर्शाते हैं कि प्रस्तावित FTTNN नियमित या अनियमित डोमेन पर उच्च-आयामी PDE समाधान में भौतिक सूचना तंत्रिका नेटवर्क (PINN) से बेहतर प्रदर्शन करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या की पृष्ठभूमि

उच्च-आयामी आंशिक अवकल समीकरण वैज्ञानिक और इंजीनियरिंग अनुप्रयोगों में व्यापक रूप से मौजूद हैं, जैसे कि श्रोडिंगर आइगेनवैल्यू समस्याएं, द्रव यांत्रिकी, ताप संचालन, विद्युत चुंबकत्व और क्वांटम यांत्रिकी। पारंपरिक संख्यात्मक विधियां (परिमित अंतर, परिमित तत्व, वर्णक्रमीय विधि) निम्न-आयामी समस्याओं में अच्छा प्रदर्शन करती हैं, लेकिन उच्च-आयामी समस्याओं में आयामीता के अभिशाप (Curse of Dimensionality, CoD) की गंभीर चुनौती का सामना करती हैं।

मौजूदा विधियों की सीमाएं

  1. टेंसर विधियों की सीमाएं:
    • असतत टेंसर अपघटन विधियां (CP अपघटन, Tucker अपघटन, टेंसर ट्रेन अपघटन) हालांकि कम्प्यूटेशनल जटिलता को कम कर सकती हैं, लेकिन आमतौर पर नियमित डोमेन पर समान ग्रिड की आवश्यकता होती है
    • गैर-समान ग्रिड या अनियमित डोमेन पर लागू करना मुश्किल है
  2. तंत्रिका नेटवर्क विधियों की सीमाएं:
    • PINN, DGM, DRM आदि विधियां उच्च-आयामी समाकलन का अनुमान लगाने के लिए नमूनाकरण विधि पर निर्भर करती हैं
    • नमूनाकरण सांख्यिकीय त्रुटि का परिचय देता है, जो तंत्रिका नेटवर्क की क्षमता को छिपा सकता है

अनुसंधान प्रेरणा

एक ऐसी विधि विकसित करना जो अनियमित डोमेन को संभाल सके और उच्च-आयामी समाकलन की कुशलतापूर्वक गणना कर सके, टेंसर अपघटन की निम्न-रैंक संरचना के लाभ और तंत्रिका नेटवर्क की फ़ंक्शन सन्निकटन क्षमता को जोड़ते हुए।

मुख्य योगदान

  1. कार्यात्मक टेंसर ट्रेन न्यूरल नेटवर्क (FTTNN) प्रस्तावित करना: असतत टेंसर ट्रेन अपघटन को निरंतर डोमेन तक विस्तारित करना, गैर-समान ग्रिड और अनियमित डोमेन पर उच्च-आयामी PDE को संभाल सकता है
  2. सैद्धांतिक आधार स्थापित करना:
    • कार्यात्मक टेंसर ट्रेन रैंक (Functional Tensor Train Rank) को परिभाषित करना
    • कार्यात्मक टेंसर ट्रेन अपघटन का गणितीय प्रतिनिधित्व देना
    • FTTNN के सन्निकटन गुणों का सैद्धांतिक विश्लेषण प्रदान करना
  3. कुशल समाकलन गणना: टेंसर ट्रेन संरचना का उपयोग करके उच्च-आयामी समाकलन को एक-आयामी समाकलन में विघटित करना, गाऊसी समाकलन नियम के माध्यम से सटीक गणना, नमूनाकरण त्रुटि से बचना
  4. उत्कृष्ट संख्यात्मक प्रदर्शन: कई उच्च-आयामी PDE समस्याओं पर FTTNN की PINN और अन्य विधियों की तुलना में सटीकता के लाभ को सत्यापित करना

विधि विवरण

कार्य परिभाषा

निम्नलिखित रूप की उच्च-आयामी PDE सीमा मूल्य समस्या को हल करना:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

जहां Ω ⊂ Rᵈ एक परिबद्ध जुड़ा हुआ बहुभुज सीमा डोमेन है, L एक आंशिक अवकल संचालक है, B एक सीमा संचालक है।

मुख्य सैद्धांतिक ढांचा

1. कार्यात्मक टेंसर ट्रेन रैंक परिभाषा

परिभाषा 2.4: एक टेंसर फ़ंक्शन u: Ω ⊂ Rᵈ → R दिया गया है, कार्यात्मक टेंसर ट्रेन रैंक को इस प्रकार परिभाषित किया जाता है:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

जहां Su u के नमूना टेंसर का समुच्चय है।

2. कार्यात्मक टेंसर ट्रेन अपघटन

प्रमेय 2.6: यदि u की FTT-रैंक (r₀, r₁, ..., rₐ) है, तो TT कोर फ़ंक्शन uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ} मौजूद हैं जैसे कि:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

मॉडल आर्किटेक्चर

FTTNN संरचना

प्रत्येक TT कोर फ़ंक्शन को तंत्रिका नेटवर्क द्वारा पैरामीटरीकृत किया जाता है:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

जहां θ = {θ₁, ..., θₐ} सभी उप-नेटवर्क के प्रशिक्षणीय पैरामीटर हैं।

हानि फ़ंक्शन

भौतिक सूचना हानि फ़ंक्शन का उपयोग करना:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

तकनीकी नवाचार बिंदु

1. उच्च-आयामी समाकलन की टेंसर अपघटन गणना

दूसरे क्रम की दीर्घवृत्तीय संचालक Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ) के लिए, अवशिष्ट हानि को इस प्रकार विघटित किया जा सकता है:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

प्रत्येक पद को टेंसर ट्रेन प्रारूप में प्रदर्शित किया जा सकता है, एक-आयामी समाकलन के माध्यम से गणना की जाती है:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (uᵢ संबंधित पद) dxᵢ

2. सीमा शर्तों का प्रबंधन

नेटवर्क आर्किटेक्चर के माध्यम से सीमा शर्तों को सीधे एम्बेड करना:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

प्रयोग सेटअप

परीक्षण समस्याएं

  1. फ़ंक्शन सन्निकटन: विलक्षणताओं वाले उच्च-आयामी फ़ंक्शन
  2. अनियमित डोमेन पॉइसन समीकरण: L-आकार के डोमेन पर 3-आयामी समस्या
  3. उच्च-आयामी पॉइसन समीकरण: नियमित डोमेन पर d=3,5,7-आयामी समस्याएं
  4. उच्च-आयामी हेल्महोल्ट्ज समीकरण: उच्च तरंग संख्या के मामले सहित
  5. श्रोडिंगर आइगेनवैल्यू समस्या: d=5,10-आयामी समस्याएं

मूल्यांकन मेट्रिक्स

सापेक्ष त्रुटि:

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

तुलना विधियां

  • असतत टेंसर ट्रेन अपघटन (TTD)
  • भौतिक सूचना तंत्रिका नेटवर्क (PINN)
  • गहरी Ritz विधि (DRM)

कार्यान्वयन विवरण

  • नेटवर्क संरचना: एकल छिपी हुई परत पूरी तरह से जुड़ा हुआ नेटवर्क, सक्रियण फ़ंक्शन साइन
  • अनुकूलक: Adam (5000 चक्र) + L-BFGS (1000 चक्र)
  • समाकलन गणना: गाऊस-लीजेंड्रे समाकलन नियम
  • हार्डवेयर: NVIDIA A100 GPU

प्रयोग परिणाम

मुख्य परिणाम

1. फ़ंक्शन सन्निकटन (परीक्षण 1)

विधिआयाम dरैंक rपैरामीटर संख्यासापेक्ष त्रुटि
TTD423604.1×10⁻¹
FTTNN4243324.9×10⁻²
TTD6354002.2×10⁻¹
FTTNN6372423.6×10⁻³

2. उच्च-आयामी पॉइसन समीकरण (परीक्षण 3)

आयाम dFTTNNPINN
32.6×10⁻⁵5.5×10⁻⁵
52.5×10⁻⁴2.0×10⁻³
71.3×10⁻⁴8.0×10⁻²

3. उच्च-आयामी हेल्महोल्ट्ज समीकरण (परीक्षण 4.1)

आयाम dFTTNNPINN
38.0×10⁻⁵4.0×10⁻⁵
51.3×10⁻⁴1.5×10⁻²

मुख्य निष्कर्ष

  1. आयाम संवेदनशीलता: आयाम बढ़ने के साथ, PINN के सापेक्ष FTTNN का लाभ अधिक स्पष्ट हो जाता है
  2. अनियमित डोमेन अनुकूलन: FTTNN L-आकार आदि अनियमित ज्यामिति को सफलतापूर्वक संभालता है
  3. उच्च तरंग संख्या स्थिरता: क्रमिक प्रारंभिकीकरण रणनीति के माध्यम से k=25π की उच्च दोलन समस्या को संभालना
  4. आइगेनवैल्यू सटीकता: श्रोडिंगर आइगेनवैल्यू समस्या पर DRM से बेहतर

संबंधित कार्य

टेंसर विधि विकास

  • Oseledets आदि द्वारा असतत टेंसर ट्रेन अपघटन सैद्धांतिक आधार
  • Gorodetsky आदि द्वारा निरंतर फ़ंक्शन टेंसर ट्रेन एल्गोरिदम
  • अनिश्चितता मात्रा और क्वांटम गतिविज्ञान में अनुप्रयोग

तंत्रिका नेटवर्क PDE समाधान

  • PINN: अग्रणी भौतिक सूचना तंत्रिका नेटवर्क
  • DGM: गहरी गैलेरकिन विधि
  • DRM: गहरी Ritz विधि
  • नमूनाकरण त्रुटि समस्या की सार्वभौमिक उपस्थिति

इस पेपर का नवाचार तुलना

  1. बनाम पारंपरिक टेंसर विधियां: निरंतर डोमेन और अनियमित ज्यामिति तक विस्तार
  2. बनाम तंत्रिका नेटवर्क विधियां: नमूनाकरण त्रुटि से बचना, सटीक समाकलन गणना
  3. बनाम मौजूदा मिश्रित विधियां: मजबूत अभिव्यक्ति क्षमता और सैद्धांतिक गारंटी

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. FTTNN असतत टेंसर ट्रेन अपघटन को निरंतर फ़ंक्शन स्पेस तक सफलतापूर्वक विस्तारित करता है
  2. कार्यात्मक टेंसर ट्रेन रैंक असतत और निरंतर प्रतिनिधित्व के बीच सैद्धांतिक संबंध स्थापित करता है
  3. टेंसर संरचना उच्च-आयामी समाकलन की कुशल सटीक गणना को लागू करती है
  4. संख्यात्मक प्रयोग कई वर्गों की उच्च-आयामी PDEs पर विधि के उत्कृष्ट प्रदर्शन को प्रमाणित करते हैं

सीमाएं

  1. टेंसर रैंक चयन: उपयुक्त FTT-रैंक निर्धारित करने के लिए पूर्व ज्ञान या अनुकूली रणनीति की आवश्यकता होती है
  2. फ़ंक्शन रूप प्रतिबंध: स्रोत फ़ंक्शन f(x) और गुणांक b(x) को टेंसर ट्रेन प्रतिनिधित्व की आवश्यकता होती है
  3. प्रारंभिकीकरण संवेदनशीलता: उच्च तरंग संख्या समस्याओं के लिए सावधानीपूर्वक डिजाइन की गई प्रारंभिकीकरण रणनीति की आवश्यकता होती है
  4. सैद्धांतिक विश्लेषण: सन्निकटन त्रुटि सीमा की कसाई में सुधार की आवश्यकता है

भविष्य की दिशाएं

  1. Fokker-Planck समीकरण: अधिक जटिल स्टोकेस्टिक PDEs तक विस्तार
  2. स्वचालित रैंक चयन: FTT-रैंक को गतिशील रूप से समायोजित करने के लिए एल्गोरिदम विकसित करना
  3. अधिक सामान्य संचालक: गैर-रैखिक और समय-संबंधित PDEs को संभालना
  4. समानांतर कम्प्यूटिंग: टेंसर संरचना की प्राकृतिक समानता का उपयोग करना

गहन मूल्यांकन

लाभ

  1. ठोस सैद्धांतिक योगदान:
    • कार्यात्मक टेंसर ट्रेन रैंक की कठोर परिभाषा
    • निरंतर टेंसर अपघटन का संपूर्ण सैद्धांतिक ढांचा
    • सन्निकटन गुणों का गणितीय प्रमाण
  2. महत्वपूर्ण तकनीकी नवाचार:
    • उच्च-आयामी समाकलन की टेंसर अपघटन गणना नमूनाकरण त्रुटि से बचती है
    • अनियमित डोमेन को संभालने की लचीली क्षमता
    • टेंसर विधि के निम्न-रैंक लाभ को बनाए रखना
  3. पर्याप्त प्रयोग सत्यापन:
    • कई प्रकार की उच्च-आयामी PDEs को कवर करना
    • व्यवस्थित विलोपन अध्ययन और तुलनात्मक विश्लेषण
    • निम्न-आयाम से उच्च-आयाम तक क्रमिक सत्यापन
  4. उत्कृष्ट व्यावहारिक मूल्य:
    • पारंपरिक टेंसर विधि की डोमेन सीमा को हल करना
    • उच्च-आयामी वैज्ञानिक कम्प्यूटिंग के लिए नया उपकरण प्रदान करना

कमियां

  1. कम्प्यूटेशनल जटिलता विश्लेषण अपर्याप्त:
    • PINN आदि विधियों के साथ सैद्धांतिक जटिलता तुलना की कमी
    • टेंसर अपघटन की कम्प्यूटेशनल लागत विश्लेषण सीमित
  2. अनुप्रयोग सीमा:
    • स्रोत फ़ंक्शन के टेंसर अपघटन प्रतिनिधित्व की आवश्यकता
    • सामान्य गैर-रैखिक PDEs के विस्तार की पर्याप्त खोज नहीं
  3. पैरामीटर ट्यूनिंग निर्देश की कमी:
    • FTT-रैंक चयन के लिए व्यवस्थित निर्देश की कमी
    • नेटवर्क आर्किटेक्चर डिजाइन में अनुभवजन्य प्रकृति
  4. अभिसरण विश्लेषण:
    • प्रशिक्षण प्रक्रिया के अभिसरण गारंटी अपर्याप्त
    • हानि फ़ंक्शन परिदृश्य का विश्लेषण गहराई से करने की आवश्यकता

प्रभाव मूल्यांकन

  1. शैक्षणिक प्रभाव:
    • टेंसर अपघटन और तंत्रिका नेटवर्क के संयोजन के लिए नया प्रतिमान प्रदान करना
    • अधिक कार्यात्मक टेंसर अपघटन अनुसंधान को उत्प्रेरित कर सकता है
  2. अनुप्रयोग संभावनाएं:
    • क्वांटम रसायन, सामग्री विज्ञान आदि उच्च-आयामी समस्याओं में महत्वपूर्ण अनुप्रयोग मूल्य
    • इंजीनियरिंग में जटिल ज्यामिति PDE समाधान के लिए नया विकल्प प्रदान करना
  3. विधि सार्वभौमिकता:
    • ढांचे में अच्छी विस्तार क्षमता
    • अन्य प्रकार की उच्च-आयामी संख्यात्मक समस्याओं के लिए प्रेरणा प्रदान करना

लागू परिदृश्य

  1. उच्च-आयामी नियमित PDE: आयाम d≥5 की दीर्घवृत्तीय, परवलयिक समस्याएं
  2. अनियमित डोमेन समस्याएं: जटिल ज्यामिति आकार की मध्य-निम्न आयामी PDEs
  3. आइगेनवैल्यू गणना: उच्च-आयामी श्रोडिंगर संचालक की वर्णक्रमीय समस्याएं
  4. पैरामीटरीकृत PDE: निम्न-रैंक संरचना वाली पैरामीटर-संबंधित समस्याएं

समग्र मूल्यांकन: यह उच्च-आयामी PDE संख्यात्मक समाधान क्षेत्र में महत्वपूर्ण योगदान वाला एक पेपर है। टेंसर अपघटन और तंत्रिका नेटवर्क के लाभों को चतुराई से जोड़कर, यह एक ऐसी FTTNN विधि प्रस्तावित करता है जिसमें सैद्धांतिक गहराई और व्यावहारिक मूल्य दोनों हैं। कुछ सीमाओं के बावजूद, इसकी नवीनता और प्रभावशीलता इसे इस क्षेत्र में एक महत्वपूर्ण प्रगति बनाती है, जो आगे के विकास और अनुप्रयोग के योग्य है।