2025-11-13T12:04:15.378418

Functional tensor train neural network for solving high-dimensional PDEs

Feng, Ng, Tang et al.
Discrete tensor train decomposition is widely employed to mitigate the curse of dimensionality in solving high-dimensional PDEs through traditional methods. However, the direct application of the tensor train method typically requires uniform grids of regular domains, which limits its application on non-uniform grids or irregular domains. To address the limitation, we develop a functional tensor train neural network (FTTNN) for solving high-dimensional PDEs, which can represent PDE solutions on non-uniform grids or irregular domains. An essential ingredient of our approach is to represent the PDE solutions by the functional tensor train format whose TT-core functions are approximated by neural networks. To give the functional tensor train representation, we propose and study functional tensor train rank and employ it into a physics-informed loss function for training. Because of tensor train representation, the resulting high-dimensional integral in the loss function can be computed via one-dimensional integrals by Gauss quadrature rules. Numerical examples including high-dimensional PDEs on regular or irregular domains are presented to demonstrate that the performance of the proposed FTTNN is better than that of Physics Informed Neural Networks (PINN).
academic

Функциональная тензорная сеть для решения многомерных УЧП

Основная информация

  • ID статьи: 2510.13386
  • Название: Functional tensor train neural network for solving high-dimensional PDEs
  • Авторы: Yani Feng (Гонконгский университет), Michael K. Ng (Гонконгский баптистский университет), Kejun Tang (Университет Большого залива), Zhiwen Zhang (Гонконгский университет)
  • Классификация: math.NA cs.NA
  • Дата публикации: 15 октября 2025 г. (препринт arXiv)
  • Ссылка на статью: https://arxiv.org/abs/2510.13386

Аннотация

Дискретная декомпозиция тензорного поезда широко используется для смягчения проблемы проклятия размерности при решении многомерных уравнений в частных производных (УЧП) традиционными методами. Однако прямое применение методов тензорного поезда обычно требует равномерной сетки на регулярных областях, что ограничивает их применение на неравномерных сетках или нерегулярных областях. Для преодоления этого ограничения в работе разработана функциональная тензорная сеть (FTTNN) для решения многомерных УЧП, которая может представлять решения УЧП на неравномерных сетках или нерегулярных областях. Ядро метода заключается в представлении решения УЧП через функциональный формат тензорного поезда, где ядра тензорного поезда аппроксимируются нейронными сетями. Для обоснования функционального представления тензорного поезда предложено и изучено понятие функционального ранга тензорного поезда, применённое к обучению с физически информированной функцией потерь. Благодаря свойствам представления тензорного поезда, многомерные интегралы в функции потерь могут быть вычислены путём решения одномерных интегралов с использованием правил гауссова интегрирования. Численные эксперименты показывают, что предложенный метод FTTNN превосходит физически информированные нейронные сети (PINN) при решении многомерных УЧП на регулярных или нерегулярных областях.

Исследовательский контекст и мотивация

Постановка проблемы

Многомерные уравнения в частных производных широко встречаются в научных и инженерных приложениях, таких как задачи на собственные значения Шрёдингера, гидродинамика, теплопроводность, электромагнетизм и квантовая механика. Традиционные численные методы (метод конечных разностей, метод конечных элементов, спектральные методы) хорошо работают на низкомерных задачах, но сталкиваются с серьёзной проблемой проклятия размерности (Curse of Dimensionality, CoD) на многомерных задачах.

Ограничения существующих методов

  1. Ограничения тензорных методов:
    • Методы дискретной тензорной декомпозиции (CP-декомпозиция, Tucker-декомпозиция, декомпозиция тензорного поезда), хотя и снижают вычислительную сложность, обычно требуют равномерной сетки на регулярных областях
    • Сложно применяются к неравномерным сеткам или нерегулярным областям
  2. Ограничения методов на основе нейронных сетей:
    • Методы PINN, DGM, DRM и другие полагаются на методы выборки для оценки многомерных интегралов
    • Выборка вносит статистические ошибки, которые могут скрывать возможности нейронной сети

Исследовательская мотивация

Разработать метод, который одновременно может обрабатывать нерегулярные области и эффективно вычислять многомерные интегралы, объединяя преимущества низкоранговой структуры тензорной декомпозиции и способности нейронных сетей к функциональной аппроксимации.

Основные вклады

  1. Предложена функциональная тензорная сеть (FTTNN): расширение дискретной декомпозиции тензорного поезда на непрерывную область, способное обрабатывать многомерные УЧП на неравномерных сетках и нерегулярных областях
  2. Установлена теоретическая база:
    • Определение функционального ранга тензорного поезда (Functional Tensor Train Rank)
    • Математическое представление функциональной декомпозиции тензорного поезда
    • Теоретический анализ аппроксимационных свойств FTTNN
  3. Эффективное вычисление интегралов: использование структуры тензорного поезда для разложения многомерных интегралов на одномерные интегралы, точное вычисление через правила гауссова интегрирования, избежание ошибок выборки
  4. Превосходная численная производительность: верификация преимущества FTTNN по точности на множестве многомерных задач УЧП в сравнении с PINN и другими методами

Подробное описание метода

Определение задачи

Решение задачи Дирихле для многомерного УЧП следующего вида:

Lu(x) = f(x), ∀x ∈ Ω
Bu(x) = g(x), ∀x ∈ ∂Ω

где Ω ⊂ ℝᵈ — ограниченная связная область с полигональной границей, L — дифференциальный оператор в частных производных, B — граничный оператор.

Основная теоретическая база

1. Определение функционального ранга тензорного поезда

Определение 2.4: Для тензорной функции u: Ω ⊂ ℝᵈ → ℝ функциональный ранг тензорного поезда определяется как:

FTT-rank[u] := (r₀, r₁, ..., rₐ₋₁, rₐ)
rₖ = sup_{A∈S[u]} rank(Aₖ), k = 1, ..., d-1

где Su — множество дискретизированных тензоров функции u.

2. Функциональная декомпозиция тензорного поезда

Теорема 2.6: Если FTT-rank функции u равен (r₀, r₁, ..., rₐ), то существуют ядерные функции тензорного поезда uᵢ: Ωᵢ → ℝ^{rᵢ₋₁×rᵢ} такие, что:

u(x) = Σ_{α₀=1}^{r₀} ... Σ_{αₐ=1}^{rₐ} u₁^{(α₀,α₁)}(x₁) u₂^{(α₁,α₂)}(x₂) ... uₐ^{(αₐ₋₁,αₐ)}(xₐ)

Архитектура модели

Структура FTTNN

Каждое ядро тензорного поезда параметризуется нейронной сетью:

u(x; θ) = u₁(x₁; θ₁)u₂(x₂; θ₂)...uₐ(xₐ; θₐ)

где θ = {θ₁, ..., θₐ} — обучаемые параметры всех подсетей.

Функция потерь

Используется физически информированная функция потерь:

J(θ) = ∫_Ω (Lu(x; θ) - f(x))² dx + β ∫_{∂Ω} (Bu(x; θ) - g(x))² dx

Технические инновации

1. Вычисление многомерных интегралов через тензорную декомпозицию

Для второго порядка эллиптического оператора Lu(x; θ) = -c₁Δu(x; θ) + b(x)u(x; θ) остаток потерь может быть разложен как:

∫_Ω (Lu(x; θ) - f(x))² dx = I₁ + I₂ + I₃ + I₄ + I₅

Каждый член может быть представлен в формате тензорного поезда, вычислен через одномерные интегралы:

∫_Ω y₁yₐ dx = ∏ᵢ₌₁ᵈ ∫_{Ωᵢ} (связанные с uᵢ члены) dxᵢ

2. Обработка граничных условий

Граничные условия встраиваются непосредственно в архитектуру сети:

uᵢ(xᵢ; θᵢ) := (xᵢ - aᵢ)(bᵢ - xᵢ)ûᵢ(xᵢ; θᵢ)

Экспериментальная установка

Тестовые задачи

  1. Аппроксимация функций: многомерные функции с особенностями
  2. Уравнение Пуассона на нерегулярной области: трёхмерная задача на L-образной области
  3. Многомерное уравнение Пуассона: задачи размерности d=3,5,7 на регулярных областях
  4. Многомерное уравнение Гельмгольца: включая случаи с высокими волновыми числами
  5. Задача на собственные значения Шрёдингера: задачи размерности d=5,10

Метрики оценки

Относительная ошибка:

Relative error = ||u(x; θ) - u(x)||₂ / ||u(x)||₂

Методы сравнения

  • Дискретная декомпозиция тензорного поезда (TTD)
  • Физически информированные нейронные сети (PINN)
  • Глубокий метод Ритца (DRM)

Детали реализации

  • Архитектура сети: полносвязная сеть с одним скрытым слоем, функция активации — sine
  • Оптимизатор: Adam (5000 итераций) + L-BFGS (1000 итераций)
  • Вычисление интегралов: правило Гаусса-Лежандра
  • Оборудование: GPU NVIDIA A100

Результаты экспериментов

Основные результаты

1. Аппроксимация функций (Тест 1)

МетодРазмерность dРанг rКоличество параметровОтносительная ошибка
TTD423604.1×10⁻¹
FTTNN4243324.9×10⁻²
TTD6354002.2×10⁻¹
FTTNN6372423.6×10⁻³

2. Многомерное уравнение Пуассона (Тест 3)

Размерность dFTTNNPINN
32.6×10⁻⁵5.5×10⁻⁵
52.5×10⁻⁴2.0×10⁻³
71.3×10⁻⁴8.0×10⁻²

3. Многомерное уравнение Гельмгольца (Тест 4.1)

Размерность dFTTNNPINN
38.0×10⁻⁵4.0×10⁻⁵
51.3×10⁻⁴1.5×10⁻²

Ключевые находки

  1. Чувствительность к размерности: с увеличением размерности преимущество FTTNN над PINN становится более выраженным
  2. Адаптивность к нерегулярным областям: FTTNN успешно обрабатывает нерегулярные геометрии, такие как L-образная область
  3. Стабильность при высоких волновых числах: обработка высокоосциллирующих задач с k=25π через стратегию прогрессивной инициализации
  4. Точность собственных значений: превосходство над методом DRM при решении задач на собственные значения Шрёдингера

Связанные работы

Развитие тензорных методов

  • Теоретическая база дискретной декомпозиции тензорного поезда Oseledets и др.
  • Алгоритмы функционального тензорного поезда Gorodetsky и др.
  • Приложения в количественной оценке неопределённости и квантовой динамике

Решение УЧП нейронными сетями

  • PINN: пионерский метод физически информированных нейронных сетей
  • DGM: глубокий метод Галёркина
  • DRM: глубокий метод Ритца
  • Универсальная проблема ошибок выборки

Инновационное сравнение в данной работе

  1. vs традиционные тензорные методы: расширение на непрерывную область и нерегулярные геометрии
  2. vs методы на основе нейронных сетей: избежание ошибок выборки, точное вычисление интегралов
  3. vs существующие гибридные методы: более сильная выразительная способность и теоретические гарантии

Заключение и обсуждение

Основные выводы

  1. FTTNN успешно расширяет дискретную декомпозицию тензорного поезда на пространство непрерывных функций
  2. Функциональный ранг тензорного поезда устанавливает теоретическую связь между дискретным и непрерывным представлениями
  3. Структура тензора обеспечивает эффективное и точное вычисление многомерных интегралов
  4. Численные эксперименты подтверждают превосходную производительность метода на различных классах многомерных УЧП

Ограничения

  1. Выбор ранга тензора: требуется априорное знание или адаптивная стратегия для определения подходящего FTT-rank
  2. Ограничения функциональной формы: исходная функция f(x) и коэффициенты b(x) должны иметь представление в формате тензорного поезда
  3. Чувствительность к инициализации: высокоосциллирующие задачи требуют тщательно разработанной стратегии инициализации
  4. Теоретический анализ: границы ошибок аппроксимации требуют улучшения

Направления будущих исследований

  1. Уравнение Фоккера-Планка: расширение на более сложные стохастические УЧП
  2. Адаптивный выбор ранга: разработка алгоритмов динамической настройки FTT-rank
  3. Более общие операторы: обработка нелинейных и зависящих от времени УЧП
  4. Параллельные вычисления: использование естественного параллелизма структуры тензора

Глубокая оценка

Преимущества

  1. Прочный теоретический вклад:
    • Строгое определение функционального ранга тензорного поезда
    • Полная теоретическая база непрерывной тензорной декомпозиции
    • Математические доказательства аппроксимационных свойств
  2. Значительные технические инновации:
    • Вычисление многомерных интегралов через тензорную декомпозицию избегает ошибок выборки
    • Гибкая способность обработки нерегулярных областей
    • Сохранение низкоранговых преимуществ тензорных методов
  3. Достаточная экспериментальная верификация:
    • Охват различных типов многомерных УЧП
    • Систематические абляционные исследования и сравнительный анализ
    • Прогрессивная верификация от низких к высоким размерностям
  4. Выдающаяся практическая ценность:
    • Решение ограничений традиционных тензорных методов по областям
    • Предоставление нового инструмента для многомерных научных вычислений

Недостатки

  1. Недостаточный анализ вычислительной сложности:
    • Отсутствие теоретического сравнения сложности с методами PINN и др.
    • Ограниченный анализ вычислительных затрат тензорной декомпозиции
  2. Ограничения области применения:
    • Требуется представление исходной функции в формате тензорного поезда
    • Расширяемость на общие нелинейные УЧП недостаточно изучена
  3. Недостаток руководства по настройке параметров:
    • Отсутствие систематического руководства по выбору FTT-rank
    • Дизайн архитектуры сети носит эмпирический характер
  4. Анализ сходимости:
    • Недостаточные гарантии сходимости процесса обучения
    • Анализ ландшафта функции потерь требует углубления

Оценка влияния

  1. Академическое влияние:
    • Предоставляет новую парадигму для комбинирования тензорной декомпозиции и нейронных сетей
    • Может стимулировать дальнейшие исследования функциональной тензорной декомпозиции
  2. Перспективы применения:
    • Важная ценность применения в квантовой химии, материаловедении и других многомерных задачах
    • Предоставляет новый выбор для решения сложных геометрических УЧП в инженерии
  3. Универсальность метода:
    • Каркас обладает хорошей расширяемостью
    • Предоставляет вдохновение для других типов многомерных численных задач

Применимые сценарии

  1. Многомерные регулярные УЧП: эллиптические и параболические задачи размерности d≥5
  2. Задачи на нерегулярных областях: УЧП сложной геометрической формы в средних размерностях
  3. Вычисление собственных значений: спектральные задачи многомерного оператора Шрёдингера
  4. Параметризованные УЧП: задачи, зависящие от параметров, с низкоранговой структурой

Общая оценка: Это статья с важным вкладом в область численного решения многомерных УЧП. Путём умелого объединения преимуществ тензорной декомпозиции и нейронных сетей предложен метод FTTNN, обладающий как теоретической глубиной, так и практической ценностью. Несмотря на некоторые ограничения, его инновационность и эффективность делают его важным прогрессом в этой области, заслуживающим дальнейшего развития и применения.