Физико-информированное обучение идентификации высокопорядковой динамики графов для прогнозирования долгосрочной динамики сложных сетей

Основная информация

• ID статьи: 2510.09082
• Название: Physics-Informed High-order Graph Dynamics Identification Learning for Predicting Complex Networks Long-term Dynamics
• Авторы: Бичэн Ван, Цзюньпин Ван, Ибо Сюэ (Институт автоматизации Китайской академии наук)
• Классификация: cs.AI cs.CY cs.SI physics.soc-ph
• Дата публикации: Октябрь 2025 г. (препринт ArXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.09082

Аннотация

В статье предложен метод физико-информированного обучения идентификации высокопорядковой динамики графов (PhyHSL) для прогнозирования долгосрочной эволюции сложных сетей. Метод вводит динамическое обучение гиперграфам для захвата высокопорядковых непарных отношений в сети и объединяет теорию оператора Купмана с физико-информированными нейронными дифференциальными уравнениями для построения двухдвигательного модуля прогнозирования, обеспечивая точность прогнозирования и повышая интерпретируемость модели. Эффективность метода подтверждена экспериментами на открытых наборах данных и самостоятельно созданном наборе данных промышленной цепочки поставок.

Исследовательский контекст и мотивация

Основные проблемы

Прогнозирование динамики сложных сетей сталкивается с двумя основными вызовами:

1. Ограничения моделирования отношений: Существующие методы обычно используют простые графы для описания сетевых отношений, способные захватывать только парные отношения, тогда как сложные сети содержат богатые непарные структурные отношения (например, сотрудничество нескольких предприятий в цепочке поставок, структура дорожной сети в транспортных сетях).
2. Баланс между точностью и интерпретируемостью модели прогнозирования: Теоретические модели прогнозирования лишены точности, модели, управляемые данными, лишены интерпретируемости, и они склонны к накоплению ошибок при долгосрочном прогнозировании.

Важность исследования

Обучение динамике сложных сетей имеет решающее значение для понимания, моделирования и управления реальными сложными системами, охватывая множество областей, включая нейронные сети мозга, социальные сети, сети поставок и другие. Точное прогнозирование эволюции сети помогает анализировать внутреннюю устойчивость сети и предсказывать будущие состояния.

Ограничения существующих методов

• Ограничения GNN первого порядка: Традиционные графовые нейронные сети с трудом захватывают динамические непарные отношения
• Зависимость методов гиперграфов: Существующие методы гиперграфов в основном зависят от предопределённых структур и не могут адаптироваться к характеристикам эволюции динамических сетей
• Отсутствие физических ограничений: Чисто управляемые данными методы лишены физических механических ограничений, и результаты прогнозирования легко отклоняются от фактической траектории эволюции системы

Основные вклады

1. Модуль динамического обучения структуре гиперграфа: Преодолевает ограничение традиционных гиперграфов, зависящих от предопределённых структур, путём динамического создания адаптивных гиперрёбер через разложение матриц низкого ранга и свёртку гиперграфа, реализуя онлайн-моделирование непарных взаимодействий.
2. Двухдвигательный модуль прогнозирования физико-данных:
   • Вводит теорию оператора Купмана для преобразования нелинейных дифференциальных уравнений динамики в линейную систему решения
   • Использует физико-информированные нейронные ODE для обеспечения соответствия эволюции динамики физическим законам
   • Обеспечивает совместную оптимизацию через вариационную структуру вывода, повышая робастность модели
3. Полная структура высокопорядковой динамики сетей: Объединяет физические законы и моделирование структуры графов, управляемое данными, создавая парадигму совместной оптимизации для долгосрочного прогнозирования динамики сложных сетей.
4. Экспериментальная верификация: Проверяет точность прогнозирования и производительность обобщения метода на открытых наборах данных и самостоятельно созданном наборе данных цепочки поставок.

Подробное описание метода

Определение задачи

Учитывая историческую последовательность наблюдений сложной сети, прогнозировать будущую эволюцию динамики сети. Входные данные представляют собой последовательность признаков узлов и структуру сети, выходные данные — прогноз состояния узлов в будущий момент времени.

Архитектура модели

1. Кодировщик захвата доменных отношений

Построение временного графа, содержащего пространственные и временные рёбра:

• Пространственные рёбра: Взвешенные рёбра между объектами с одной и той же меткой времени
• Временные рёбра: Взвешенные рёбра между последовательными наблюдениями каждого объекта

Матрица смежности определяется как:

A(it, jt') = {
    w^t_ij,  если t' = t
    1,       если i = j, t' = t+1  
    0,       в противном случае
}

Свёртка первого порядка в пространстве: Объединение механизма внимания для адаптивного обучения информации соседства

s^(k)(it, jt') = A(it, jt') cos(W_query h^{t,(k)}_i, W_key h^{t',(k)}_j)
h^{t,(k+1)}_i = h^{t,(k)}_i + σ(∑_{jt'∈N_it} s^(k)(it, jt') W_value h^{t',(k)}_j)

Свёртка второго порядка в спектральной области: Использование полиномов Чебышёва для исследования информации семантики вне соседства

C^(k) = ∑^2_{m=0} T_m(L̃)C^{(k-1)}W^(k)_m

2. Динамическое обучение структуре гиперграфа (DHSL)

Динамическое создание гиперрёбер через разложение матриц низкого ранга:

Λ = UW_Λ

где U — наложение представлений состояния узлов, W — матрица обучаемых весов.

Процесс свёртки гиперграфа:

E = σ(W_E Λ^T U) + Λ^T U  (встраивание гиперрёбер)
F_i = ΛE = Λ(σ(W_E Λ^T U) + Λ^T U)  (обновление встраивания узлов)

3. Обучение динамике сети

Модуль, управляемый физикой:

• Создание начального состояния через вариационный вывод: q(z^0_i|X,A) = N(MLP_m(f_i), MLP_v(f_i))
• Использование решателя нейронного ODE для вычисления будущего состояния: (z^1_i, z^2_i, ..., z^{T+1}_i) = ODESolver(z^0_i, g, [t=0,...,T])

Модуль, управляемый данными: На основе теории оператора Купмана, отображающей нелинейную систему в линейное пространство:

K ∘ g(x_t) = g(F(x_t)) = g(x_{t+1})
(z̃^0_i, z̃^1_i, ..., z̃^{T+1}_i) = (f^0_i, Kf^0_i, Kf^1_i, ..., Kf^T_i)

Объединённое прогнозирование:

x̂^t_i = MLP(σ([z^t_i, z̃^t_i]))

Технические инновационные моменты

1. Динамическое создание гиперграфа: Без необходимости предопределённой структуры, адаптивное создание гиперрёбер через состояние узлов
2. Объединение физических ограничений и линеаризации: Оператор Купмана обеспечивает глобальное линейное представление, нейронные ODE обеспечивают физическую согласованность
3. Структура совместной оптимизации: Совместное обучение двухдвигательного модуля в рамках вариационного вывода

Экспериментальная установка

Наборы данных

Открытые наборы данных:

• Social (страницы Facebook): 3892 узла, 17239 рёбер
• Web (ссылки EPA): 4252 узла, 8896 рёбер
• WS (сеть Ватца-Строгаца): 5000 узлов, 10000 рёбер

Самостоятельно созданный набор данных цепочки поставок:

• Manufacture: 960 узлов, 25142 рёбер
• Electronic: 700 узлов, 16604 рёбер
• Finance: 1500 узлов, 61218 рёбер

Метрики оценки

Использование средней абсолютной ошибки (MAE):

MAE = (1/N) ∑^N_{i=1} ||x̂_i - x_i||

Методы сравнения

• Методы GNN: DCRNN, MTGODE, DiskNet
• Методы гиперграфов: HGC-RNN, MSHyper
• Методы PINN: PhyCRNet, PINNsFormer, PhysicsSolver

Детали реализации

• Фреймворк: PyTorch
• Оборудование: 2 GPU NVIDIA A100
• Повторение экспериментов 10 раз с усреднением результатов
• Оптимизация: вариационная структура вывода, минимизация потерь ELBO

Результаты экспериментов

Основные результаты

PhyHSL достигает оптимальных или близких к оптимальным результатов на всех 6 наборах данных:

Производительность на открытых наборах данных:

• Social: 0.201±0.007 (оптимально)
• Web: 0.178±0.014 (оптимально)
• WS: 0.127±0.007 (оптимально)

Производительность на наборах данных цепочки поставок:

• Manufacture: 0.112±0.014 (оптимально)
• Electronic: 0.247±0.013 (оптимально)
• Finance: 0.162±0.027 (близко к оптимальному)

Среднее улучшение примерно на 10% по сравнению с лучшим методом базовой линии, с более явным преимуществом на сложных сетях цепочки поставок.

Абляционные эксперименты

Исследование абляции на наборах данных Social и Manufacture показывает:

• Удаление модуля, управляемого физикой: снижение производительности (0.231 против 0.201)
• Удаление модуля Купмана: снижение производительности (0.233 против 0.201)
• Удаление модуля гиперграфа: более значительное влияние на сложные сети
• Одновременное удаление двухдвигательного модуля: значительное снижение производительности (0.268 против 0.201)

Анализ долгосрочного прогнозирования

• Влияние длины обучения: По мере увеличения длины обучения производительность прогнозирования улучшается и стабилизируется
• Влияние длины прогнозирования: При долгосрочном прогнозировании преимущество PhyHSL перед DiskNet более явно
• Вычислительная эффективность: Выше вычислительная эффективность по сравнению с методами, зависящими от Transformer

Экспериментальные находки

1. Двухдвигательные модули дополняют друг друга, оба необходимы
2. Модуль гиперграфа играет более выдающуюся роль в сложных сетях
3. Физические ограничения эффективно снижают накопление ошибок при долгосрочном прогнозировании
4. Оператор Купмана снижает количество обучаемых параметров и повышает вычислительную эффективность

Связанные работы

Прогнозирование динамики сетей

• Ранние методы основаны на GNN первого порядка, такие как NCDN, впервые объединивший нейронные ODE и GNN
• MTGODE абстрагирует многомерные временные ряды как динамические графы
• DiskNet основан на идентификации скелета сети в пространстве гиперболической геометрии с использованием группы ренормализации

Нейронные сети гиперграфов

• HGNN — первый метод пространственного обучения гиперграфам
• DHGNN — первый метод обработки динамики гиперрёбер
• Существующие методы в основном зависят от предопределённых структур или сходства узлов

Выводы и обсуждение

Основные выводы

1. PhyHSL эффективно объединяет физические ограничения и обучение высокопорядковой структуре, значительно повышая производительность долгосрочного прогнозирования динамики сложных сетей
2. Динамическое обучение гиперграфам успешно захватывает непарные отношения, двухдвигательный модуль обеспечивает точность и интерпретируемость
3. Демонстрирует хорошую практическую ценность в промышленных сценариях

Ограничения

1. Относительно высокая сложность модели, требующая баланса между производительностью и вычислительными затратами
2. Применимость к экстремально разреженным или сверхбольшим сетям требует дальнейшей проверки
3. Проектирование физических ограничений может потребовать знаний специалистов в области

Будущие направления

1. Исследование более сложного построения отношений гиперграфовой сети
2. Изучение методов онлайн-обучения для обновления структуры сети в реальном времени
3. Разработка технологии мониторинга и регулирования устойчивости сети в реальном времени

Глубокая оценка

Преимущества

1. Сильная методологическая инновативность: Впервые органически объединяет оператор Купмана, физико-информированные нейронные ODE и динамическое обучение гиперграфам
2. Чёткое определение проблемы: Точно определяет основные вызовы прогнозирования сложных сетей
3. Полный дизайн экспериментов: Охватывает открытые и самостоятельно созданные наборы данных, абляционные эксперименты достаточно полны
4. Разумная техническая маршрутизация: Объединение физических ограничений и управления данными имеет теоретическую основу

Недостатки

1. Недостаточный теоретический анализ: Отсутствуют теоретические гарантии сходимости и стабильности
2. Отсутствие анализа вычислительной сложности: Не предоставлен детальный анализ сложности
3. Чувствительность гиперпараметров: Недостаточно обсуждено влияние ключевых гиперпараметров
4. Недостаточная верификация интерпретируемости: Верификация эффективности физических ограничений недостаточна

Влияние

1. Академический вклад: Предоставляет новую техническую парадигму для прогнозирования динамики сложных сетей
2. Практическая ценность: Демонстрирует потенциал применения в промышленных сценариях, таких как цепочки поставок
3. Воспроизводимость: Предоставляет подробные детали реализации, облегчающие воспроизведение

Применимые сценарии

• Прогнозирование и управление рисками сетей цепочки поставок
• Моделирование распространения информации в социальных сетях
• Прогнозирование потока трафика в транспортных сетях
• Анализ динамики биологических сетей
• Анализ распространения рисков в финансовых сетях

Библиография

Статья цитирует важные работы в соответствующих областях, включая:

• Основные методы графовых нейронных сетей (Kipf et al., Veličković et al.)
• Теория нейронных ODE (Chen et al.)
• Теория оператора Купмана (Mezić, Strogatz)
• Нейронные сети гиперграфов (Feng et al., Jiang et al.)
• Физико-информированные нейронные сети (Raissi)

Общая оценка: В статье предложена структура прогнозирования динамики сложных сетей с сильной методологической инновативностью и высокой практической ценностью, с относительно полным дизайном методов и экспериментальной верификацией. Несмотря на недостатки в теоретическом анализе и анализе вычислительной сложности, её технические вклады и перспективы применения по-прежнему заслуживают признания.