2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.

Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).

academic

উচ্চ-মাত্রিক PDEs সমাধানের জন্য ফাংশনাল টেনসর ট্রেন নিউরাল নেটওয়ার্ক

মৌলিক তথ্য

পেপার আইডি: 2510.13386
শিরোনাম: উচ্চ-মাত্রিক PDEs সমাধানের জন্য ফাংশনাল টেনসর ট্রেন নিউরাল নেটওয়ার্ক
লেখক: ইয়ানি ফেং (হংকং বিশ্ববিদ্যালয়), মাইকেল কে. এনজি (হংকং ব্যাপটিস্ট বিশ্ববিদ্যালয়), কেজুন ট্যাং (গ্রেট বে বিশ্ববিদ্যালয়), ঝিওয়েন ঝাং (হংকং বিশ্ববিদ্যালয়)
শ্রেণীবিভাগ: math.NA cs.NA
প্রকাশনার সময়: ২০২৫ সালের অক্টোবর ১৫ তারিখ (arXiv প্রিপ্রিন্ট)
পেপার লিংক: https://arxiv.org/abs/2510.13386

সারসংক্ষেপ

বিচ্ছিন্ন টেনসর ট্রেন বিয়োজন ঐতিহ্যবাহী পদ্ধতিতে উচ্চ-মাত্রিক আংশিক ডিফারেনশিয়াল সমীকরণ (PDE) সমাধানের সময় মাত্রার অভিশাপ (Curse of Dimensionality) প্রশমিত করতে ব্যাপকভাবে ব্যবহৃত হয়। তবে, টেনসর ট্রেন পদ্ধতির সরাসরি প্রয়োগ সাধারণত নিয়মিত ডোমেনে সমান জালকের প্রয়োজন, যা অ-সমান জাল বা অনিয়মিত ডোমেনে এর প্রয়োগকে সীমাবদ্ধ করে। এই সীমাবদ্ধতা সমাধানের জন্য, এই পেপারটি উচ্চ-মাত্রিক PDEs সমাধানের জন্য একটি ফাংশনাল টেনসর ট্রেন নিউরাল নেটওয়ার্ক (FTTNN) বিকশিত করেছে, যা অ-সমান জাল বা অনিয়মিত ডোমেনে PDE সমাধান প্রতিনিধিত্ব করতে পারে। এই পদ্ধতির মূল হল ফাংশনাল টেনসর ট্রেন ফরম্যাটের মাধ্যমে PDE সমাধান প্রতিনিধিত্ব করা, যেখানে TT মূল ফাংশনগুলি নিউরাল নেটওয়ার্ক দ্বারা অনুমান করা হয়। ফাংশনাল টেনসর ট্রেন প্রতিনিধিত্ব প্রদানের জন্য, পেপারটি ফাংশনাল টেনসর ট্রেন র‍্যাঙ্কের ধারণা প্রস্তাব এবং অধ্যয়ন করেছে এবং এটি ফিজিক্যাল ইনফরমেশন লস ফাংশনের প্রশিক্ষণে প্রয়োগ করেছে। টেনসর ট্রেন প্রতিনিধিত্বের বৈশিষ্ট্যের কারণে, লস ফাংশনে উচ্চ-মাত্রিক সমাকলন গাউস সমাকলন নিয়ম ব্যবহার করে এক-মাত্রিক সমাকলন গণনা করে সমাধান করা যায়। সংখ্যাগত পরীক্ষা-নিরীক্ষা দেখায় যে প্রস্তাবিত FTTNN নিয়মিত বা অনিয়মিত ডোমেনে উচ্চ-মাত্রিক PDE সমাধানে ফিজিক্যাল ইনফরমেশন নিউরাল নেটওয়ার্ক (PINN) এর চেয়ে উন্নত পারফরম্যান্স প্রদান করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যার পটভূমি

উচ্চ-মাত্রিক আংশিক ডিফারেনশিয়াল সমীকরণ বৈজ্ঞানিক এবং প্রকৌশল প্রয়োগে ব্যাপকভাবে বিদ্যমান, যেমন শ্রোডিংগার আইজেনভ্যালু সমস্যা, তরল গতিবিদ্যা, তাপ পরিবহন, বৈদ্যুতিকচুম্বকত্ব এবং কোয়ান্টাম মেকানিক্স ইত্যাদি ক্ষেত্রে। ঐতিহ্যবাহী সংখ্যাগত পদ্ধতি (সসীম পার্থক্য, সসীম উপাদান, বর্ণালী পদ্ধতি) নিম্ন-মাত্রিক সমস্যায় ভালো কাজ করে, কিন্তু উচ্চ-মাত্রিক সমস্যায় গুরুতর মাত্রার অভিশাপ (Curse of Dimensionality, CoD) চ্যালেঞ্জের সম্মুখীন হয়।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

টেনসর পদ্ধতির সীমাবদ্ধতা:
- বিচ্ছিন্ন টেনসর বিয়োজন পদ্ধতি (CP বিয়োজন, Tucker বিয়োজন, টেনসর ট্রেন বিয়োজন) যদিও গণনামূলক জটিলতা হ্রাস করতে পারে, তবে সাধারণত নিয়মিত ডোমেনে সমান জালের প্রয়োজন
- অ-সমান জাল বা অনিয়মিত ডোমেনে প্রয়োগ করা কঠিন
নিউরাল নেটওয়ার্ক পদ্ধতির সীমাবদ্ধতা:
- PINN, DGM, DRM ইত্যাদি পদ্ধতি উচ্চ-মাত্রিক সমাকলন অনুমান করতে নমুনা পদ্ধতির উপর নির্ভর করে
- নমুনা পরিসংখ্যানগত ত্রুটি প্রবর্তন করে, যা নিউরাল নেটওয়ার্কের ক্ষমতা লুকিয়ে রাখতে পারে

গবেষণা প্রেরণা

এমন একটি পদ্ধতি বিকাশ করা যা অনিয়মিত ডোমেন পরিচালনা করতে পারে এবং উচ্চ-মাত্রিক সমাকলন দক্ষতার সাথে গণনা করতে পারে, টেনসর বিয়োজনের নিম্ন-র‍্যাঙ্ক কাঠামো সুবিধা এবং নিউরাল নেটওয়ার্কের ফাংশন অনুমান ক্ষমতা একত্রিত করে।

মূল অবদান

ফাংশনাল টেনসর ট্রেন নিউরাল নেটওয়ার্ক (FTTNN) প্রস্তাব: বিচ্ছিন্ন টেনসর ট্রেন বিয়োজনকে ক্রমাগত ডোমেনে প্রসারিত করে, অ-সমান জাল এবং অনিয়মিত ডোমেনে উচ্চ-মাত্রিক PDEs পরিচালনা করতে পারে
তাত্ত্বিক ভিত্তি প্রতিষ্ঠা:
- ফাংশনাল টেনসর ট্রেন র‍্যাঙ্ক (Functional Tensor Train Rank) সংজ্ঞায়িত করা
- ফাংশনাল টেনসর ট্রেন বিয়োজনের গাণিতিক প্রতিনিধিত্ব প্রদান করা
- FTTNN এর অনুমান বৈশিষ্ট্যের তাত্ত্বিক বিশ্লেষণ প্রদান করা
দক্ষ সমাকলন গণনা: টেনসর ট্রেন কাঠামো ব্যবহার করে উচ্চ-মাত্রিক সমাকলনকে এক-মাত্রিক সমাকলনে বিয়োজন করা, গাউস সমাকলন নিয়ম দ্বারা সঠিকভাবে গণনা করা, নমুনা ত্রুটি এড়ানো
উন্নত সংখ্যাগত কর্মক্ষমতা: একাধিক উচ্চ-মাত্রিক PDE সমস্যায় FTTNN এর PINN এবং অন্যান্য পদ্ধতির তুলনায় নির্ভুলতা সুবিধা যাচাই করা

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

নিম্নলিখিত ফর্মের উচ্চ-মাত্রিক PDE সীমানা মূল্য সমস্যা সমাধান করা:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

যেখানে Ω ⊂ Rᵈ একটি সীমাবদ্ধ সংযুক্ত বহুভুজ সীমানা ডোমেন, L একটি আংশিক ডিফারেনশিয়াল অপারেটর, B একটি সীমানা অপারেটর।

মূল তাত্ত্বিক কাঠামো

১. ফাংশনাল টেনসর ট্রেন র‍্যাঙ্ক সংজ্ঞা

সংজ্ঞা ২.৪: একটি টেনসর ফাংশন u: Ω ⊂ Rᵈ → R দেওয়া হলে, ফাংশনাল টেনসর ট্রেন র‍্যাঙ্ক সংজ্ঞায়িত করা হয় যেমন:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

যেখানে Su হল u এর নমুনা টেনসর সেট।

২. ফাংশনাল টেনসর ট্রেন বিয়োজন

উপপাদ্য ২.৬: যদি u এর FTT-rank হয় (r₀, r₁, ..., rₐ), তাহলে TT মূল ফাংশন uᵢ: Ωᵢ → R^{rᵢ₋₁×rᵢ} বিদ্যমান যেমন:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

মডেল স্থাপত্য

FTTNN কাঠামো

প্রতিটি TT মূল ফাংশন নিউরাল নেটওয়ার্ক দ্বারা প্যারামিটারাইজ করা হয়:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

যেখানে θ = {θ₁, ..., θₐ} সমস্ত সাব-নেটওয়ার্কের প্রশিক্ষণযোগ্য প্যারামিটার।

লস ফাংশন

ফিজিক্যাল ইনফরমেশন লস ফাংশন ব্যবহার করা হয়:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

প্রযুক্তিগত উদ্ভাবনী পয়েন্ট

১. উচ্চ-মাত্রিক সমাকলনের টেনসর বিয়োজন গণনা

দ্বিতীয় ক্রমের উপবৃত্তাকার অপারেটর Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ) এর জন্য, অবশিষ্ট লস বিয়োজন করা যায় যেমন:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

প্রতিটি পদ টেনসর ট্রেন ফরম্যাটে প্রকাশ করা যায়, এক-মাত্রিক সমাকলন দ্বারা গণনা করা যায়:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (uᵢ সম্পর্কিত পদ) dxᵢ

২. সীমানা শর্ত পরিচালনা

নেটওয়ার্ক স্থাপত্যের মাধ্যমে সরাসরি সীমানা শর্ত এম্বেড করা:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

পরীক্ষা সেটআপ

পরীক্ষা সমস্যা

ফাংশন অনুমান: বিশেষত্ব সহ উচ্চ-মাত্রিক ফাংশন
অনিয়মিত ডোমেন পয়সন সমীকরণ: L-আকৃতির ডোমেনে ৩-মাত্রিক সমস্যা
উচ্চ-মাত্রিক পয়সন সমীকরণ: নিয়মিত ডোমেনে d=3,5,7 মাত্রিক সমস্যা
উচ্চ-মাত্রিক হেলমহোল্টজ সমীকরণ: উচ্চ তরঙ্গ সংখ্যা সহ
শ্রোডিংগার আইজেনভ্যালু সমস্যা: d=5,10 মাত্রিক সমস্যা

মূল্যায়ন মেট্রিক্স

আপেক্ষিক ত্রুটি:

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

তুলনা পদ্ধতি

বিচ্ছিন্ন টেনসর ট্রেন বিয়োজন (TTD)
ফিজিক্যাল ইনফরমেশন নিউরাল নেটওয়ার্ক (PINN)
গভীর রিটজ পদ্ধতি (DRM)

বাস্তবায়ন বিবরণ

নেটওয়ার্ক কাঠামো: একক লুকানো স্তর সম্পূর্ণ সংযুক্ত নেটওয়ার্ক, সক্রিয়করণ ফাংশন sine
অপটিমাইজার: Adam (৫০০০ রাউন্ড) + L-BFGS (১০০০ রাউন্ড)
সমাকলন গণনা: গাউস-লিজেন্ড্রে সমাকলন নিয়ম
হার্ডওয়্যার: NVIDIA A100 GPU

পরীক্ষার ফলাফল

প্রধান ফলাফল

১. ফাংশন অনুমান (পরীক্ষা ১)

পদ্ধতি	মাত্রা d	র‍্যাঙ্ক r	প্যারামিটার সংখ্যা	আপেক্ষিক ত্রুটি
TTD	4	2	360	4.1×10⁻¹
FTTNN	4	2	4332	4.9×10⁻²
TTD	6	3	5400	2.2×10⁻¹
FTTNN	6	3	7242	3.6×10⁻³

২. উচ্চ-মাত্রিক পয়সন সমীকরণ (পরীক্ষা ৩)

মাত্রা d	FTTNN	PINN
3	2.6×10⁻⁵	5.5×10⁻⁵
5	2.5×10⁻⁴	2.0×10⁻³
7	1.3×10⁻⁴	8.0×10⁻²

३. উচ্চ-মাত্রিক হেলমহোল্টজ সমীকরণ (পরীক্ষা ৪.১)

মাত্রা d	FTTNN	PINN
3	8.0×10⁻⁵	4.0×10⁻⁵
5	1.3×10⁻⁴	1.5×10⁻²

মূল আবিষ্কার

মাত্রা সংবেদনশীলতা: মাত্রা বৃদ্ধির সাথে সাথে, FTTNN এর PINN এর তুলনায় সুবিধা আরও স্পষ্ট হয়ে ওঠে
অনিয়মিত ডোমেন অভিযোজনযোগ্যতা: FTTNN সফলভাবে L-আকৃতির ডোমেন ইত্যাদি অনিয়মিত জ্যামিতি পরিচালনা করে
উচ্চ তরঙ্গ সংখ্যা স্থিতিশীলতা: ক্রমবর্ধমান আরম্ভকরণ কৌশল দ্বারা k=25π এর উচ্চ দোলনশীল সমস্যা পরিচালনা করা
আইজেনভ্যালু নির্ভুলতা: শ্রোডিংগার আইজেনভ্যালু সমস্যায় DRM এর চেয়ে উন্নত

উপসংহার এবং আলোচনা

প্রধান উপসংহার

FTTNN সফলভাবে বিচ্ছিন্ন টেনসর ট্রেন বিয়োজনকে ক্রমাগত ফাংশন স্থানে প্রসারিত করেছে
ফাংশনাল টেনসর ট্রেন র‍্যাঙ্ক বিচ্ছিন্ন এবং ক্রমাগত প্রতিনিধিত্বের মধ্যে তাত্ত্বিক সংযোগ স্থাপন করেছে
টেনসর কাঠামো উচ্চ-মাত্রিক সমাকলনের দক্ষ সঠিক গণনা বাস্তবায়ন করেছে
সংখ্যাগত পরীক্ষা-নিরীক্ষা একাধিক ধরনের উচ্চ-মাত্রিক PDEs এ পদ্ধতির উন্নত কর্মক্ষমতা প্রমাণ করেছে

সীমাবদ্ধতা

টেনসর র‍্যাঙ্ক নির্বাচন: উপযুক্ত FTT-rank নির্ধারণের জন্য পূর্ব জ্ঞান বা স্ব-অভিযোজনশীল কৌশল প্রয়োজন
ফাংশন ফর্ম সীমাবদ্ধতা: উৎস ফাংশন f(x) এবং সহগ b(x) টেনসর ট্রেন প্রতিনিধিত্ব প্রয়োজন
আরম্ভকরণ সংবেদনশীলতা: উচ্চ তরঙ্গ সংখ্যা সমস্যা সাবধানে ডিজাইন করা আরম্ভকরণ কৌশল প্রয়োজন
তাত্ত্বিক বিশ্লেষণ: অনুমান ত্রুটি সীমার কঠোরতা উন্নতির অপেক্ষায় রয়েছে

ভবিষ্যত দিকনির্দেশনা

Fokker-Planck সমীকরণ: আরও জটিল স্টোকাস্টিক PDEs এ প্রসারিত করা
স্ব-অভিযোজনশীল র‍্যাঙ্ক নির্বাচন: FTT-rank গতিশীলভাবে সামঞ্জস্য করার অ্যালগরিদম বিকাশ করা
আরও সাধারণ অপারেটর: অরৈখিক এবং সময় সম্পর্কিত PDEs পরিচালনা করা
সমান্তরাল গণনা: টেনসর কাঠামোর প্রাকৃতিক সমান্তরালতা ব্যবহার করা

গভীর মূল্যায়ন

সুবিধা

কঠিন তাত্ত্বিক অবদান:
- ফাংশনাল টেনসর ট্রেন র‍্যাঙ্কের কঠোর সংজ্ঞা
- ক্রমাগত টেনসর বিয়োজনের সম্পূর্ণ তাত্ত্বিক কাঠামো
- অনুমান বৈশিষ্ট্যের গাণিতিক প্রমাণ
উল্লেখযোগ্য প্রযুক্তিগত উদ্ভাবন:
- উচ্চ-মাত্রিক সমাকলনের টেনসর বিয়োজন গণনা নমুনা ত্রুটি এড়ায়
- অনিয়মিত ডোমেন পরিচালনার নমনীয়তা
- টেনসর পদ্ধতির নিম্ন-র‍্যাঙ্ক সুবিধা বজায় রাখে
পর্যাপ্ত পরীক্ষা যাচাইকরণ:
- একাধিক ধরনের উচ্চ-মাত্রিক PDEs অন্তর্ভুক্ত
- পদ্ধতিগত ablation গবেষণা এবং তুলনা বিশ্লেষণ
- নিম্ন-মাত্রিক থেকে উচ্চ-মাত্রিক পর্যন্ত ক্রমবর্ধমান যাচাইকরণ
বিশিষ্ট ব্যবহারিক মূল্য:
- ঐতিহ্যবাহী টেনসর পদ্ধতির ডোমেন সীমাবদ্ধতা সমাধান করেছে
- উচ্চ-মাত্রিক বৈজ্ঞানিক গণনার জন্য নতুন সরঞ্জাম প্রদান করেছে

অপূর্ণতা

গণনামূলক জটিলতা বিশ্লেষণ অপর্যাপ্ত:
- PINN ইত্যাদি পদ্ধতির সাথে তাত্ত্বিক জটিলতা তুলনা অনুপস্থিত
- টেনসর বিয়োজনের গণনা ওভারহেড বিশ্লেষণ সীমিত
প্রয়োগের পরিধি সীমাবদ্ধতা:
- উৎস ফাংশনের টেনসর বিয়োজন প্রতিনিধিত্ব প্রয়োজন
- সাধারণ অরৈখিক PDEs এ সম্প্রসারণযোগ্যতা অপর্যাপ্তভাবে অন্বেষণ করা হয়েছে
প্যারামিটার সামঞ্জস্য নির্দেশনা অনুপস্থিত:
- FTT-rank নির্বাচনে পদ্ধতিগত নির্দেশনা অনুপস্থিত
- নেটওয়ার্ক স্থাপত্য ডিজাইনে অভিজ্ঞতামূলক শক্তি শক্তিশালী
সংগ্রহ বিশ্লেষণ:
- প্রশিক্ষণ প্রক্রিয়ার সংগ্রহ গ্যারান্টি অপর্যাপ্ত
- লস ফাংশন ল্যান্ডস্কেপের বিশ্লেষণ আরও গভীর হওয়া প্রয়োজন

প্রভাব মূল্যায়ন

একাডেমিক প্রভাব:
- টেনসর বিয়োজন এবং নিউরাল নেটওয়ার্কের সংমিশ্রণের জন্য নতুন প্যারাডাইম প্রদান করেছে
- আরও বেশি ফাংশন টেনসর বিয়োজন গবেষণা অনুপ্রাণিত করতে পারে
প্রয়োগ সম্ভাবনা:
- কোয়ান্টাম রসায়ন, উপকরণ বিজ্ঞান ইত্যাদি উচ্চ-মাত্রিক সমস্যায় গুরুত্বপূর্ণ প্রয়োগ মূল্য রয়েছে
- প্রকৌশলে জটিল জ্যামিতি PDE সমাধানের জন্য নতুন পছন্দ প্রদান করেছে
পদ্ধতি সর্বজনীনতা:
- কাঠামো ভালো সম্প্রসারণযোগ্যতা রয়েছে
- অন্যান্য ধরনের উচ্চ-মাত্রিক সংখ্যাগত সমস্যার জন্য অনুপ্রেরণা প্রদান করেছে

প্রযোজ্য পরিস্থিতি

উচ্চ-মাত্রিক নিয়মিত PDEs: মাত্রা d≥5 এর উপবৃত্তাকার, পরাবলিক ধরনের সমস্যা
অনিয়মিত ডোমেন সমস্যা: জটিল জ্যামিতি আকৃতির মধ্য-নিম্ন মাত্রিক PDEs
আইজেনভ্যালু গণনা: উচ্চ-মাত্রিক শ্রোডিংগার অপারেটরের বর্ণালী সমস্যা
প্যারামিটারাইজড PDEs: নিম্ন-র‍্যাঙ্ক কাঠামো সহ প্যারামিটার সম্পর্কিত সমস্যা

সামগ্রিক মূল্যায়ন: এটি উচ্চ-মাত্রিক PDE সংখ্যাগত সমাধান ক্ষেত্রে গুরুত্বপূর্ণ অবদান সহ একটি পেপার। টেনসর বিয়োজন এবং নিউরাল নেটওয়ার্কের সুবিধা চতুরভাবে একত্রিত করে, এটি তাত্ত্বিক গভীরতা এবং ব্যবহারিক মূল্য উভয়ই রয়েছে এমন FTTNN পদ্ধতি প্রস্তাব করেছে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এর উদ্ভাবনী এবং কার্যকারিতা এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অগ্রগতি করে তোলে, যা আরও উন্নয়ন এবং প্রয়োগের যোগ্য।