К созданию фундаментальных моделей вывода, которые изучают ОДУ в контексте

Основная информация

• ID статьи: 2510.12650
• Название: Towards Foundation Inference Models that Learn ODEs In-Context
• Авторы: Maximilian Mauel, Manuel Hinz, Patrick Seifner, David Berghaus, Ramsés J. Sánchez
• Классификация: cs.LG (Машинное обучение)
• Дата публикации/конференция: AI in Science (AIS), 2025, Копенгаген, Дания
• Ссылка на статью: https://arxiv.org/abs/2510.12650

Аннотация

Обыкновенные дифференциальные уравнения (ОДУ) описывают детерминированную эволюцию динамических систем в непрерывном времени. Точное моделирование систем ОДУ на основе данных является центральной проблемой в естественных науках, но остаётся сложным при разреженных или зашумленных наблюдениях. В данной работе представляется FIM-ODE (Foundation Inference Model for ODEs) — предварительно обученная нейронная модель, предназначенная для нулевого выстрела (то есть контекстного) оценивания ОДУ из разреженных и зашумленных наблюдений. Модель обучается на синтетических данных с использованием гибких нейронных операторов для надёжного вывода ОДУ, работающего даже с повреждёнными данными. Экспериментальная проверка показывает, что FIM-ODE обеспечивает точные оценки, производительность которых сравнима с современными методами на основе нейронных сетей, и качественно сравнивает их оценки векторных полей.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, которую решает данное исследование, — это задача идентификации системы ОДУ: оценивание ОДУ (то есть векторного поля), которое лучше всего описывает систему, исключительно на основе наблюдений временных рядов. Это имеет широкое применение в естественных науках, от законов движения Ньютона до динамики популяций в биологических системах и конвекции атмосферы в метеорологии.

Важность проблемы

1. Широкая применимость: ОДУ являются фундаментальным инструментом моделирования в физике, биологии, метеорологии и других областях
2. Прогностическая способность: точные модели ОДУ способны характеризовать скрытые явления (такие как неподвижные точки или предельные циклы) и предсказывать будущие состояния
3. Научное понимание: модели ОДУ помогают понять внутренние механизмы и динамические характеристики систем

Ограничения существующих методов

1. Традиционные методы: непараметрические методы или методы, основанные на символической регрессии, плохо работают с разреженными и зашумленными данными
2. Ограничения ODEFormer: хотя это новейший метод нейросимволической регрессии, он может обрабатывать только одну траекторию и может создавать неразумные сложные паттерны при предсказании глобального векторного поля

Исследовательская мотивация

Авторы, опираясь на фреймворк Foundation Inference Models (FIMs), который показал хорошие результаты при выводе непрерывных цепей Маркова, стохастических дифференциальных уравнений и точечных процессов, предлагают специализированную модель FIM-ODE для вывода ОДУ.

Основные вклады

1. Предложение модели FIM-ODE: первая предварительно обученная модель вывода ОДУ на основе фреймворка Foundation Inference Models
2. Архитектура нейронного оператора: использование нейронного оператора DeepONet для гибкой оценки векторного поля
3. Способность обработки множественных траекторий: возможность одновременной обработки нескольких траекторий одной системы для повышения точности вывода
4. Превосходная производительность: превышение ODEFormer на синтетических наборах данных с R² точностью 0.90 против 0.65 (задача реконструкции) и 0.26 против 0.19 (задача обобщения)
5. Более разумное глобальное предсказание: по сравнению с ODEFormer обеспечивает более простые и разумные предсказания векторного поля в областях, удалённых от точек наблюдения

Подробное описание методов

Определение задачи

Дано множество наблюдений временных рядов $\mathcal{D} = \{y_k\}_{k=1}^K$, где каждая последовательность $y_k = [(t_{k1}, y_{k1}), \ldots, (t_{kL}, y_{kL})]$. Цель — оценить векторное поле $\hat{f}$, которое может описать систему ОДУ, генерирующую эти наблюдения:

$\frac{dx(t)}{dt} = f(t, x(t))$

Архитектура модели

1. Генерация синтетических данных

• Выборка каждого компонента векторного поля из многомерного полиномиального распределения (максимум 3-й степени)
• Поддержка систем ОДУ размерностью до 3
• Моделирование системы на нерегулярной сетке с добавлением шума для генерации обучающих данных

2. Архитектура нейронного оператора (DeepONet)

FIM-ODE использует архитектуру нейронного оператора DeepONet, состоящую из трёх основных компонентов:

Ветвевая сеть (Branch Network):

• Использование кодировщика Transformer
• Кодирование данных наблюдений $\mathcal{D}$ в $K(L-1)$ представлений размерности $E$: $\mathcal{D} \in \mathbb{R}^{E \times K(L-1)}$
• Сохранение почти независимого кодирования всех наблюдений

Магистральная сеть (Trunk Network):

• Линейное отображение, кодирующее позицию $x \in \mathbb{R}^D$ в $h(x) \in \mathbb{R}^E$

Сеть комбинирования (Combination Network):

• Последовательность слоёв остаточного внимания, аналогичная декодировщику Transformer
• Использование $\mathcal{D}$ в качестве ключей и значений, $h(x)$ в качестве запроса
• Финальная линейная проекция для получения оценки векторного поля $\hat{f}(x)$

3. Целевая функция обучения

Использование целевой функции контролируемого обучения: $L(x, \mathcal{D}, f) = \|\hat{f}(x) - f(x)\|^2$

Согласование предсказанного и истинного векторного поля на точках выборки $x$, близких к наблюдаемым значениям.

Технические инновации

1. Способность контекстного обучения: обработка новых систем ОДУ без дополнительного обучения или тонкой настройки
2. Слияние множественных траекторий: одновременная обработка нескольких траекторий с эффективным извлечением и комбинированием всей доступной информации
3. Гибкая аппроксимация функций: нейронные операторы более гибки при работе с разреженными и зашумленными данными по сравнению с символической регрессией
4. Баланс локального и глобального: обеспечение сложных предсказаний вблизи точек наблюдения и простых разумных предсказаний в удалённых областях

Экспериментальная установка

Набор данных

• Обучающие данные: 600 тысяч синтетических уравнений ОДУ, модель с примерно 20 миллионами параметров
• Тестовые данные: 4000 полиномиальных векторных полей ОДУ (максимум 3-й степени, максимум 3 измерения)
• Установка траекторий: каждое ОДУ генерирует 9 траекторий, начальные состояния выбираются из $N(0,1)$
• Установка наблюдений: 200 точек наблюдения на каждую траекторию, регулярная сетка, временной интервал $\Delta\tau = 0.05$

Метрики оценки

Использование R² точности: процент оценок с R² баллом больше 0.9

Методы сравнения

ODEFormer: предварительно обученный метод нейросимволической регрессии, обученный на 50 миллионах уравнений с 86 миллионами параметров

Экспериментальные задачи

1. Задача реконструкции: измерение производительности реконструкции на контекстных траекториях
2. Задача обобщения: измерение производительности реконструкции на зарезервированных траекториях

Результаты экспериментов

Основные результаты

Ключевые находки:

• FIM-ODE значительно превосходит ODEFormer в обеих задачах
• Задача обобщения более сложна, чем задача реконструкции, что соответствует интуиции
• Несмотря на то, что ODEFormer обучается на более широком распределении и имеет больше параметров, FIM-ODE показывает лучшие результаты

Анализ контекста множественных траекторий

На рисунке 1 показана оценка векторного поля FIM-ODE при различном количестве контекстных траекторий:

• Одна траектория: неточные оценки в позициях, удалённых от наблюдений
• Множественные траектории: с увеличением количества траекторий FIM-ODE способна исправлять эти оценки, эффективно охватывая большее пространство

Сравнение локального и глобального предсказания

На рисунке 2 сравниваются оценки векторного поля FIM-ODE и ODEFormer:

• FIM-ODE:
  • Локально: предсказывает сложные паттерны в точках наблюдения для реконструкции траекторий
  • Глобально: предсказывает более простые паттерны при удалении от точек наблюдения
• ODEFormer: предсказывает более сложные векторные поля, что приводит к сложным глобальным паттернам без поддержки одной простой траектории

Анализ структурных различий

Различия между двумя моделями вытекают из различных параметризаций векторного поля:

• ODEFormer: ограничен (рациональными) полиномиальными символическими уравнениями, которые при разреженных или зашумленных наблюдениях могут не по умолчанию переходить к простым выражениям
• FIM-ODE: нейронный оператор более гибко обрабатывает эти ситуации

Связанные работы

Традиционные методы вывода ОДУ

1. Непараметрические методы: такие как гауссовские процессы и т.д.
2. Методы символической регрессии: традиционная символическая регрессия, основанная на генетических алгоритмах или других методах оптимизации

Фреймворк Foundation Inference Models

• FIM-CTMC: вывод непрерывных цепей Маркова
• FIM-SDE: вывод стохастических дифференциальных уравнений
• FIM-PP: вывод точечных процессов
• FIM-ODE данной работы является расширением этого фреймворка на задачу вывода ОДУ

Нейросимволическая регрессия

ODEFormer: предварительно обученный нейронный метод преобразования наблюдений временных рядов в символические уравнения

Выводы и обсуждение

Основные выводы

1. FIM-ODE успешно расширяет фреймворк Foundation Inference Models на задачу вывода ОДУ
2. На синтетическом наборе данных FIM-ODE значительно превосходит существующий современный метод ODEFormer
3. Гибкость нейронного оператора позволяет FIM-ODE обеспечивать более разумные предсказания глобального векторного поля
4. Способность обработки множественных траекторий является важным преимуществом FIM-ODE перед ODEFormer

Ограничения

1. Ограничения распределения данных: в настоящее время проверено только на полиномиальных векторных полях, реальные системы могут быть более сложными
2. Ограничение размерности: текущие эксперименты ограничены системами размерностью 3
3. Ограниченный диапазон оценки: требуется проверка на более широком диапазоне систем ОДУ
4. Вычислительная эффективность: статья не обсуждает подробно вычислительную сложность и скорость вывода

Направления будущих исследований

1. Оценка ODEBench: сравнение методов на эталонном наборе данных, содержащем 63 вручную отобранных ОДУ
2. Обнаружение скрытой динамики: исследование использования предварительно обученной FIM-ODE для обнаружения скрытой динамики
3. Расширение приложений:
   • Нейронная динамика популяций
   • Динамика химических реакций
   • Эволюция содержания на естественном языке

Глубокая оценка

Преимущества

1. Методологическая инновативность: первое применение фреймворка FIM к выводу ОДУ с разумным проектированием архитектуры
2. Технические преимущества:
   • Способность обработки множественных траекторий
   • Гибкая архитектура нейронного оператора
   • Способность контекстного обучения
3. Полнота экспериментов:
   • Прямое сравнение с сильным базовым методом
   • Многоаспектный анализ (реконструкция vs обобщение, локальное vs глобальное)
   • Визуализационный анализ улучшает понимание
4. Убедительность результатов: значительное превосходство над методом сравнения по всем метрикам

Недостатки

1. Ограниченный диапазон экспериментов:
   • Проверка только на синтетических полиномиальных данных
   • Отсутствие проверки на реальных данных
   • Ограниченная размерность и сложность
2. Недостаточное сравнение:
   • Сравнение только с ODEFormer, отсутствие сравнения с другими традиционными методами
   • Отсутствие сравнения вычислительной эффективности
3. Отсутствие теоретического анализа:
   • Отсутствие теоретических гарантий сходимости или способности обобщения
   • Отсутствие анализа теоретических преимуществ метода
4. Недостаточность технических деталей:
   • Краткое описание деталей обучения
   • Отсутствие объяснения выбора гиперпараметров

Влияние

1. Академический вклад:
   • Расширение области применения фреймворка FIM
   • Предоставление нового нейросетевого метода для вывода ОДУ
2. Практическая ценность:
   • Способность нулевого выстрела имеет потенциал практического применения
   • Обработка множественных траекторий более практична в реальных сценариях
3. Воспроизводимость:
   • Опирается на существующую архитектуру FIM-SDE, технологический маршрут ясен
   • Но отсутствуют подробные детали реализации

Применимые сценарии

1. Научные вычисления: моделирование динамических систем в физике, биологии, химии и других областях
2. Инженерные приложения: системы управления, обработка сигналов и другие сценарии, требующие идентификации систем
3. Сценарии с разреженными данными: особенно подходит для ситуаций с ограниченными или зашумленными данными наблюдений
4. Данные множественных траекторий: явное преимущество при наличии нескольких траекторий наблюдения одной системы

Библиография

Данная работа в основном ссылается на следующие ключевые работы:

• d'Ascoli et al. (2024): оригинальная статья ODEFormer
• Seifner et al. (2025a): фреймворк FIM-SDE
• Lu et al. (2021): нейронный оператор DeepONet
• Berghaus et al. (2024): базовая работа фреймворка FIM

Общая оценка: Это технически обоснованная статья, которая успешно расширяет фреймворк Foundation Inference Models на задачу вывода ОДУ. Хотя диапазон экспериментов ограничен, в установленных условиях демонстрируются явные преимущества. Данная работа предоставляет ценный новый метод для задачи идентификации систем в научных вычислениях и имеет хорошие перспективы развития.