2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.

Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).

academic

شبكة عصبية دالة تدفق الموتر لحل معادلات تفاضلية جزئية عالية الأبعاد

المعلومات الأساسية

معرّف الورقة: 2510.13386
العنوان: شبكة عصبية دالة تدفق الموتر لحل معادلات تفاضلية جزئية عالية الأبعاد
المؤلفون: Yani Feng (جامعة هونج كونج)، Michael K. Ng (جامعة هونج كونج المعمدانية)، Kejun Tang (جامعة الخليج الكبرى)، Zhiwen Zhang (جامعة هونج كونج)
التصنيف: math.NA cs.NA
تاريخ النشر: 15 أكتوبر 2025 (نسخة arXiv المسبقة)
رابط الورقة: https://arxiv.org/abs/2510.13386

الملخص

يُستخدم تحليل تدفق الموتر المنفصل على نطاق واسع للتخفيف من مشكلة لعنة الأبعاد عند حل معادلات تفاضلية جزئية عالية الأبعاد بالطرق التقليدية. ومع ذلك، فإن التطبيق المباشر لطرق تدفق الموتر عادة ما يتطلب شبكات موحدة على مجالات منتظمة، مما يحد من تطبيقه على الشبكات غير المنتظمة أو المجالات غير المنتظمة. لمعالجة هذا القيد، تطور هذه الورقة شبكة عصبية دالة تدفق الموتر (FTTNN) لحل معادلات تفاضلية جزئية عالية الأبعاد، والتي يمكنها تمثيل حلول المعادلات التفاضلية الجزئية على الشبكات غير المنتظمة أو المجالات غير المنتظمة. يكمن جوهر الطريقة في تمثيل حل المعادلة التفاضلية الجزئية من خلال صيغة تدفق الموتر الدالة، حيث يتم تقريب وظائف نوى TT بواسطة الشبكات العصبية. لتقديم تمثيل تدفق الموتر الدالي، تقترح الورقة وتدرس مفهوم رتبة تدفق الموتر الدالية وتطبقه على التدريب باستخدام دالة الخسارة المستندة إلى المعلومات الفيزيائية. نظراً لخصائص تمثيل تدفق الموتر، يمكن حل التكاملات عالية الأبعاد في دالة الخسارة من خلال حساب التكاملات أحادية البعد باستخدام قواعد التكامل الغاوسي. تُظهر التجارب العددية أن FTTNN المقترح يتفوق على الشبكات العصبية المستندة إلى المعلومات الفيزيائية (PINN) في حل معادلات تفاضلية جزئية عالية الأبعاد على مجالات منتظمة أو غير منتظمة.

خلفية البحث والدافع

خلفية المشكلة

توجد معادلات تفاضلية جزئية عالية الأبعاد على نطاق واسع في التطبيقات العلمية والهندسية، مثل مسائل القيمة الذاتية لشرودنجر، وديناميكيات السوائل، ونقل الحرارة، والكهرومغناطيسية، وميكانيكا الكم. تُظهر الطرق العددية التقليدية (الفروقات المحدودة، والعناصر المحدودة، والطرق الطيفية) أداءً جيداً في المسائل منخفضة الأبعاد، لكنها تواجه تحديات لعنة الأبعاد (Curse of Dimensionality, CoD) الخطيرة في المسائل عالية الأبعاد.

قيود الطرق الموجودة

قيود طرق الموتر:
- على الرغم من أن طرق تحليل الموتر المنفصل (تحليل CP، تحليل Tucker، تحليل تدفق الموتر) يمكنها تقليل التعقيد الحسابي، إلا أنها عادة ما تتطلب شبكات موحدة على مجالات منتظمة
- يصعب تطبيقها على الشبكات غير المنتظمة أو المجالات غير المنتظمة
قيود طرق الشبكات العصبية:
- تعتمد طرق PINN و DGM و DRM على طرق العينات لتقدير التكاملات عالية الأبعاد
- تُدخل العينات أخطاء إحصائية قد تخفي قدرات الشبكة العصبية

دافع البحث

تطوير طريقة يمكنها التعامل مع المجالات غير المنتظمة وحساب التكاملات عالية الأبعاد بكفاءة، مع الجمع بين مزايا البنية منخفضة الرتبة لتحليل الموتر وقدرة الشبكات العصبية على تقريب الدوال.

المساهمات الأساسية

اقتراح شبكة عصبية دالة تدفق الموتر (FTTNN): توسيع تحليل تدفق الموتر المنفصل إلى المجال المستمر، يمكنها التعامل مع معادلات تفاضلية جزئية عالية الأبعاد على شبكات غير منتظمة ومجالات غير منتظمة
إنشاء أساس نظري:
- تعريف رتبة تدفق الموتر الدالية (Functional Tensor Train Rank)
- تقديم التمثيل الرياضي لتحليل تدفق الموتر الدالي
- توفير تحليل نظري لخصائص التقريب في FTTNN
حساب التكامل الفعال: الاستفادة من بنية تدفق الموتر لتحليل التكاملات عالية الأبعاد إلى تكاملات أحادية البعد، حسابها بدقة باستخدام قواعد التكامل الغاوسي، مما يتجنب أخطاء العينات
أداء عددي متفوق: التحقق من مزايا الدقة في FTTNN مقارنة بـ PINN والطرق الأخرى على عدة مسائل معادلات تفاضلية جزئية عالية الأبعاد

شرح الطريقة

تعريف المهمة

حل مسألة القيمة الحدية للمعادلة التفاضلية الجزئية بالصيغة التالية:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

حيث Ω ⊂ Rᵈ هو مجال متصل محدود متعدد الأضلاع، L هو عامل تفاضلي جزئي، B هو عامل حدي.

الإطار النظري الأساسي

1. تعريف رتبة تدفق الموتر الدالية

التعريف 2.4: بالنظر إلى دالة موتر u: Ω ⊂ Rᵈ → R، يُعرّف رتبة تدفق الموتر الدالية كما يلي:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

حيث Su هي مجموعة الموترات المأخوذة من u.

2. تحليل تدفق الموتر الدالي

النظرية 2.6: إذا كانت رتبة FTT لـ u هي (r₀, r₁, ..., rₐ)، فإنه توجد وظائف نوى TT uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ} بحيث:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

معمارية النموذج

بنية FTTNN

يتم تحديد معاملات كل دالة نوى TT بواسطة شبكة عصبية:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

حيث θ = {θ₁, ..., θₐ} هي المعاملات القابلة للتدريب لجميع الشبكات الفرعية.

دالة الخسارة

استخدام دالة خسارة مستندة إلى المعلومات الفيزيائية:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

نقاط الابتكار التقني

1. حساب التكامل عالي الأبعاد من خلال تحليل الموتر

بالنسبة لعامل إهليلجي من الدرجة الثانية Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ)، يمكن تحليل خسارة البقايا إلى:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

يمكن تمثيل كل حد بصيغة تدفق الموتر، حسابه من خلال التكاملات أحادية البعد:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (uᵢ الحدود ذات الصلة) dxᵢ

2. معالجة الشروط الحدية

دمج الشروط الحدية مباشرة في معمارية الشبكة:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

إعداد التجارب

مسائل الاختبار

تقريب الدوال: دوال عالية الأبعاد ذات نقاط شاذة
معادلة بواسون على مجالات غير منتظمة: مسألة ثلاثية الأبعاد على مجال على شكل L
معادلة بواسون عالية الأبعاد: مسائل d=3,5,7 على مجالات منتظمة
معادلة هيلمهولتز عالية الأبعاد: تشمل حالات الموجات العالية
مسألة القيمة الذاتية لشرودنجر: مسائل d=5,10 أبعاد

مؤشرات التقييم

الخطأ النسبي:

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

طرق المقارنة

تحليل تدفق الموتر المنفصل (TTD)
الشبكات العصبية المستندة إلى المعلومات الفيزيائية (PINN)
طريقة ريتز العميقة (DRM)

تفاصيل التنفيذ

معمارية الشبكة: شبكة متصلة بطبقة مخفية واحدة، دالة التفعيل sine
المحسّن: Adam (5000 دورة) + L-BFGS (1000 دورة)
حساب التكامل: قاعدة غاوس-لجندر للتكامل
الأجهزة: وحدة معالجة رسومات NVIDIA A100

نتائج التجارب

النتائج الرئيسية

1. تقريب الدوال (الاختبار 1)

الطريقة	البعد d	الرتبة r	عدد المعاملات	الخطأ النسبي
TTD	4	2	360	4.1×10⁻¹
FTTNN	4	2	4332	4.9×10⁻²
TTD	6	3	5400	2.2×10⁻¹
FTTNN	6	3	7242	3.6×10⁻³

2. معادلة بواسون عالية الأبعاد (الاختبار 3)

البعد d	FTTNN	PINN
3	2.6×10⁻⁵	5.5×10⁻⁵
5	2.5×10⁻⁴	2.0×10⁻³
7	1.3×10⁻⁴	8.0×10⁻²

3. معادلة هيلمهولتز عالية الأبعاد (الاختبار 4.1)

البعد d	FTTNN	PINN
3	8.0×10⁻⁵	4.0×10⁻⁵
5	1.3×10⁻⁴	1.5×10⁻²

النتائج الرئيسية

حساسية الأبعاد: مع زيادة الأبعاد، تصبح مزايا FTTNN مقابل PINN أكثر وضوحاً
التكيف مع المجالات غير المنتظمة: نجح FTTNN في التعامل مع الأشكال الهندسية غير المنتظمة مثل مجال على شكل L
استقرار الموجات العالية: معالجة المسائل عالية التذبذب مع k=25π من خلال استراتيجية التهيئة التدريجية
دقة القيمة الذاتية: تفوق على DRM في مسائل القيمة الذاتية لشرودنجر

الأعمال ذات الصلة

تطور طرق الموتر

الأساس النظري لتحليل تدفق الموتر المنفصل من قبل Oseledets وآخرين
خوارزمية تدفق الموتر الدالية المستمرة من قبل Gorodetsky وآخرين
التطبيقات في تحديد الكميات غير المؤكدة وديناميكيات الكم

حل معادلات تفاضلية جزئية بالشبكات العصبية

PINN: الشبكات العصبية الرائدة المستندة إلى المعلومات الفيزيائية
DGM: طريقة غالركين العميقة
DRM: طريقة ريتز العميقة
الوجود الشامل لمشكلة أخطاء العينات

مقارنة الابتكار في هذه الورقة

مقابل طرق الموتر التقليدية: التوسع إلى المجال المستمر والأشكال الهندسية غير المنتظمة
مقابل طرق الشبكات العصبية: تجنب أخطاء العينات، حساب التكامل الدقيق
مقابل الطرق المختلطة الموجودة: قدرة تعبيرية أقوى وضمانات نظرية

الاستنتاجات والمناقشة

الاستنتاجات الرئيسية

نجح FTTNN في توسيع تحليل تدفق الموتر المنفصل إلى فضاء الدوال المستمرة
رتبة تدفق الموتر الدالية تؤسس الصلة النظرية بين التمثيلات المنفصلة والمستمرة
بنية الموتر تحقق حساب التكامل عالي الأبعاد الفعال والدقيق
أثبتت التجارب العددية تفوق الطريقة على عدة فئات من معادلات تفاضلية جزئية عالية الأبعاد

القيود

اختيار رتبة الموتر: يتطلب معرفة مسبقة أو استراتيجيات تكيفية لتحديد FTT-rank المناسب
قيود الشكل الدالي: تتطلب الدوال المصدرية f(x) والمعاملات b(x) تمثيل تدفق الموتر
حساسية التهيئة: تتطلب مسائل الموجات العالية استراتيجيات تهيئة مصممة بعناية
التحليل النظري: تحتاج حدود خطأ التقريب إلى تحسين الإحكام

الاتجاهات المستقبلية

معادلة فوكر-بلانك: التوسع إلى معادلات تفاضلية جزئية عشوائية أكثر تعقيداً
اختيار الرتبة التكيفي: تطوير خوارزميات لتعديل FTT-rank ديناميكياً
عوامل أكثر عمومية: معالجة معادلات تفاضلية جزئية غير خطية وتابعة للزمن
الحوسبة المتوازية: الاستفادة من الطبيعة المتوازية الطبيعية لبنية الموتر

التقييم المتعمق

المزايا

مساهمات نظرية قوية:
- تعريف صارم لرتبة تدفق الموتر الدالية
- إطار نظري كامل لتحليل الموتر المستمر
- إثبات رياضي لخصائص التقريب
ابتكار تقني كبير:
- حساب التكامل عالي الأبعاد من خلال تحليل الموتر يتجنب أخطاء العينات
- القدرة على التعامل المرن مع المجالات غير المنتظمة
- الحفاظ على مزايا البنية منخفضة الرتبة لطرق الموتر
التحقق التجريبي الشامل:
- يغطي عدة أنواع من معادلات تفاضلية جزئية عالية الأبعاد
- دراسات استئصالية منهجية وتحليلات مقارنة
- التحقق التدريجي من الأبعاد المنخفضة إلى العالية
القيمة العملية البارزة:
- حل قيود المجال في طرق الموتر التقليدية
- توفير أداة جديدة للحوسبة العلمية عالية الأبعاد

أوجه القصور

تحليل التعقيد الحسابي غير كافٍ:
- نقص المقارنة النظرية للتعقيد مع طرق مثل PINN
- تحليل محدود لتكاليف الحوسبة في تحليل الموتر
قيود نطاق التطبيق:
- يتطلب تمثيل تحليل الموتر للدوال المصدرية
- لم يتم استكشاف قابلية التوسع الكافية للمعادلات التفاضلية الجزئية غير الخطية العامة
نقص التوجيه في ضبط المعاملات:
- اختيار FTT-rank يفتقر إلى توجيه منهجي
- تصميم معمارية الشبكة ذو طابع تجريبي قوي
تحليل التقارب:
- ضمانات التقارب في عملية التدريب غير كافية
- تحليل منظر دالة الخسارة يحتاج إلى تعمق أكثر

تقييم التأثير

التأثير الأكاديمي:
- توفير نموذج جديد لدمج تحليل الموتر والشبكات العصبية
- قد يحفز المزيد من الأبحاث في تحليل الموتر الدالي
آفاق التطبيق:
- قيمة تطبيقية مهمة في مسائل عالية الأبعاد في الكيمياء الكمية وعلم المواد
- توفير خيار جديد لحل معادلات تفاضلية جزئية معقدة الهندسة في الهندسة
عمومية الطريقة:
- الإطار يتمتع بقابلية توسع جيدة
- توفير إلهام لأنواع أخرى من مسائل الحوسبة العددية عالية الأبعاد

السيناريوهات المناسبة

معادلات تفاضلية جزئية منتظمة عالية الأبعاد: مسائل إهليلجية وقطعية الأبعاد d≥5
مسائل المجالات غير المنتظمة: معادلات تفاضلية جزئية ذات أشكال هندسية معقدة منخفضة إلى متوسطة الأبعاد
حساب القيم الذاتية: مسائل الطيف لعوامل شرودنجر عالية الأبعاد
معادلات تفاضلية جزئية معاملية: مسائل ذات معاملات تابعة للمعاملات ذات بنية منخفضة الرتبة

التقييم الإجمالي: هذه ورقة ذات مساهمة مهمة في مجال الحل العددي للمعادلات التفاضلية الجزئية عالية الأبعاد. من خلال الجمع الماهر بين مزايا تحليل الموتر والشبكات العصبية، تقترح طريقة FTTNN التي تتمتع بعمق نظري وقيمة عملية. على الرغم من وجود بعض القيود، فإن ابتكاريتها وفعاليتها تجعلها تقدماً مهماً في هذا المجال، يستحق المزيد من التطوير والتطبيق.