2025-11-22T21:49:17.013774

Towards Foundation Inference Models that Learn ODEs In-Context

Mauel, Hinz, Seifner et al.

Ordinary differential equations (ODEs) describe dynamical systems evolving deterministically in continuous time. Accurate data-driven modeling of systems as ODEs, a central problem across the natural sciences, remains challenging, especially if the data is sparse or noisy. We introduce FIM-ODE (Foundation Inference Model for ODEs), a pretrained neural model designed to estimate ODEs zero-shot (i.e., in context) from sparse and noisy observations. Trained on synthetic data, the model utilizes a flexible neural operator for robust ODE inference, even from corrupted data. We empirically verify that FIM-ODE provides accurate estimates, on par with a neural state-of-the-art method, and qualitatively compare the structure of their estimated vector fields.

academic

文脈内学習によるODE基礎推論モデルの構築に向けて

基本情報

論文ID: 2510.12650
タイトル: Towards Foundation Inference Models that Learn ODEs In-Context
著者: Maximilian Mauel, Manuel Hinz, Patrick Seifner, David Berghaus, Ramsés J. Sánchez
分類: cs.LG（機械学習）
発表時期/会議: AI in Science (AIS), 2025, Copenhagen, Denmark
論文リンク: https://arxiv.org/abs/2510.12650

概要

常微分方程（ODE）は連続時間における決定論的進化を記述する動力学系です。データ駆動型アプローチからODEシステムを正確にモデル化することは自然科学における中心的課題ですが、データが疎であるか雑音を含む場合には依然として課題があります。本論文ではFIM-ODE（Foundation Inference Model for ODEs）を紹介します。これは疎で雑音を含む観測からODEをゼロショット（すなわち文脈内）で推定するために設計された事前学習済みニューラルモデルです。本モデルは合成データで学習され、柔軟なニューラル作用素を利用して堅牢なODE推論を実現し、破損したデータ上でも機能します。実験検証により、FIM-ODEは正確な推定を提供し、ニューラルネットワークの最先端手法と同等の性能を達成し、推定ベクトル場の構造を定性的に比較しました。

研究背景と動機

問題定義

本研究が解決する中核的問題はODE系統識別問題です：時系列観測のみからシステムを最もよく記述するODE（すなわちベクトル場）を推定することです。これは物理学のニュートン運動法則から生物系の個体群動態、気象学の大気対流まで、自然科学における広範な応用を持ちます。

問題の重要性

広範な応用性：ODEは物理学、生物学、気象学など複数の分野における基礎的モデリングツール
予測能力：正確なODEモデルは潜在現象（不動点や極限環など）を特徴づけ、将来の状態を予測できる
科学的理解：ODEモデルはシステムの内在的メカニズムと動力学特性の理解を支援する

既存手法の限界

従来的手法：非パラメトリック手法または記号回帰に基づく手法は、疎で雑音を含むデータの処理において性能が低い
ODEFormerの制限：ニューラル記号回帰の最新手法であるが、単一軌跡のみを処理でき、全体的ベクトル場予測において不合理に複雑なパターンを生成する可能性がある

研究動機

著者はFoundation Inference Models (FIMs)フレームワークに基づいており、このフレームワークは連続時間マルコフ連鎖、確率微分方程式、点過程推論において良好な効果を示しており、ODE推論に特化したFIM-ODEモデルを提案しています。

核心的貢献

FIM-ODEモデルの提案：Foundation Inference Modelsフレームワークに基づく初のODE推論事前学習モデル
ニューラル作用素アーキテクチャ：DeepONetニューラル作用素を採用した柔軟なベクトル場推定
複数軌跡処理能力：同一システムの複数軌跡を同時に処理でき、推論精度を向上させる
優れた性能：合成データセット上でODEFormerを上回り、R²精度はそれぞれ0.90対0.65（再構成タスク）および0.26対0.19（汎化タスク）
より合理的な全体予測：ODEFormerと比較して、観測点から遠い領域でより単純で合理的なベクトル場予測を提供

方法の詳細

タスク定義

時系列観測の集合 $\mathcal{D} = \{y_k\}_{k=1}^K$ が与えられ、各系列 $y_k = [(t_{k1}, y_{k1}), \ldots, (t_{kL}, y_{kL})]$ に対して、これらの観測を生成するODEシステムを記述できるベクトル場 $\hat{f}$ を推定することが目標です：

$\frac{dx(t)}{dt} = f(t, x(t))$

モデルアーキテクチャ

1. 合成データ生成

多変量多項式分布からベクトル場の各成分をサンプリング（最高3次）
最大3次元のODEシステムをサポート
不規則グリッド上でシステムをシミュレートし、雑音を追加して学習データを生成

2. ニューラル作用素アーキテクチャ（DeepONet）

FIM-ODEはDeepONetニューラル作用素アーキテクチャを採用し、3つの主要コンポーネントを含みます：

ブランチネットワーク（分岐ネットワーク）：

Transformerエンコーダを使用
観測データ $\mathcal{D}$ を $K(L-1)$ 個の $E$ 次元表現 $\mathcal{D} \in \mathbb{R}^{E \times K(L-1)}$ にエンコード
ほぼすべての観測の独立したエンコーディングを保持

トランクネットワーク（主幹ネットワーク）：

線形マッピング、位置 $x \in \mathbb{R}^D$ を $h(x) \in \mathbb{R}^E$ にエンコード

組み合わせネットワーク（結合ネットワーク）：

残差注意層のシーケンス、Transformerデコーダに類似
$\mathcal{D}$ をキーと値として、 $h(x)$ をクエリとして使用
最終線形投影によりベクトル場推定 $\hat{f}(x)$ を取得

3. 学習目標

教師あり学習目標を採用： $L(x, \mathcal{D}, f) = \|\hat{f}(x) - f(x)\|^2$

観測値に近いサンプリング点 $x$ 上で予測と真のベクトル場をマッチング。

技術的革新点

文脈学習能力：さらなる学習またはファインチューニングなしに新しいODEシステムを処理
複数軌跡の融合：複数軌跡を同時に処理でき、利用可能なすべての情報を効果的に抽出・結合
柔軟な関数近似：ニューラル作用素は記号回帰と比較して、疎で雑音を含むデータの処理においてより柔軟
局所-全体のバランス：観測点付近では複雑な予測を提供し、観測から遠い領域では単純で合理的な予測を提供

実験設定

データセット

学習データ：60万個の合成ODE方程式、約2000万パラメータのモデル
テストデータ：4000個の多項式ベクトル場ODE（最高3次、最大3次元）
軌跡設定：各ODEが9条の軌跡を生成、初期状態は $N(0,1)$ からサンプリング
観測設定：各軌跡200個の観測点、規則的グリッド、時間間隔 $\Delta\tau = 0.05$

評価指標

R²精度を使用：R²スコアが0.9を超える割合

比較手法

ODEFormer：事前学習済みニューラル記号回帰手法、5000万方程式で学習、8600万パラメータを持つ

実験タスク

再構成タスク：文脈軌跡上の再構成性能を測定
汎化タスク：保留軌跡上の再構成性能を測定

実験結果

主要結果

モデル	再構成タスク	汎化タスク
ODEFormer	0.65	0.19
FIM-ODE	0.90	0.26

主要な発見：

FIM-ODEは両方のタスクでODEFormerを大幅に上回る
汎化タスクは再構成タスクより課題が多く、これは直感的である
ODEFormerがより広い分布で学習され、パラメータが多いにもかかわらず、FIM-ODEはより優れた性能を示す

複数軌跡文脈分析

図1はFIM-ODEが異なる数の文脈軌跡下でのベクトル場推定を示します：

単一軌跡：観測から遠い位置での推定が不正確
複数軌跡：軌跡数の増加に伴い、FIM-ODEはこれらの推定を修正でき、より大きな空間を効果的にカバー

局所と全体の予測比較

図2はFIM-ODEとODEFormerのベクトル場推定を比較します：

FIM-ODE：
- 局所：観測点での複雑なパターン予測により軌跡を再構成
- 全体：観測点から遠い場合、より単純な予測
ODEFormer：より複雑なベクトル場を予測し、全体的なパターン予測が複雑で、単一の単純な軌跡の支持がない

構造差異分析

2つのモデルの差異は異なるベクトル場パラメータ化に由来します：

ODEFormer：（有理）多項式記号方程式に制限され、疎または雑音を含む観測下では単純な表現にデフォルトしない可能性がある
FIM-ODE：ニューラル作用素はこれらの状況をより柔軟に処理できる

結論と議論

主要な結論

FIM-ODEはFoundation Inference Modelsフレームワークを成功裏にODE推論問題に拡張
合成データセット上で、FIM-ODEは既存の最先端手法ODEFormerを大幅に上回る
ニューラル作用素の柔軟性により、FIM-ODEはより合理的な全体ベクトル場予測を提供
複数軌跡処理能力はODEFormerに対するFIM-ODEの重要な利点

限界

データ分布の制限：現在は多項式ベクトル場でのみ検証、実際のシステムはより複雑な可能性
次元の制限：現在の実験は3次元システムに限定
評価範囲：より広範なODEシステム上での検証が必要
計算効率：論文は計算複雑度と推論速度について詳細に議論していない

今後の方向性

ODEBench評価：63個の手工選択ODE含むベンチマークデータセット上での手法比較
潜在動力学発見：事前学習済みFIM-ODEを使用した潜在動力学発見の探索
応用拡張：
- ニューラル個体群動力学
- 化学反応動力学
- 自然言語コンテンツ進化

深層評価

利点

手法の革新性：FIMフレームワークをODE推論に初めて適用、アーキテクチャ設計が合理的
技術的利点：
- 複数軌跡処理能力
- 柔軟なニューラル作用素アーキテクチャ
- 文脈学習能力
実験の充実性：
- 強力なベースラインとの直接比較
- 複数の視点からの分析（再構成対汎化、局所対全体）
- 可視化分析が理解を強化
結果の説得力：すべての指標で比較手法を大幅に上回る

不足

実験範囲の限定：
- 合成多項式データでのみ検証
- 実世界データの検証が欠落
- 次元と複雑度が限定的
比較の不十分さ：
- ODEFormerとのみ比較、他の従来的手法との比較が欠落
- 計算効率の比較なし
理論分析の欠落：
- 収束性または汎化能力の理論的保証が欠落
- 手法の理論的利点の分析なし
技術詳細の不足：
- 学習詳細の説明が簡潔
- ハイパーパラメータ選択の説明が欠落

影響力

学術的貢献：
- FIMフレームワークの応用範囲を拡張
- ODE推論に新しいニューラルネットワーク手法を提供
実用的価値：
- ゼロショット推論能力は実際の応用可能性を持つ
- 複数軌跡処理は実際のシナリオでより実用的
再現性：
- 既存のFIM-SDEアーキテクチャに基づき、技術ルートが明確
- ただし詳細な実装詳細が欠落

適用シーン

科学計算：物理学、生物学、化学など分野の動力学系モデリング
工学応用：制御システム、信号処理など系統識別が必要なシーン
データ疎シーン：特に観測データが限定的または雑音を含む場合に適切
複数軌跡データ：同一システムに複数の観測軌跡がある場合に利点が明白

参考文献

本論文は主に以下の主要な研究を参照しています：

d'Ascoli et al. (2024): ODEFormerの原論文
Seifner et al. (2025a): FIM-SDEフレームワーク
Lu et al. (2021): DeepONetニューラル作用素
Berghaus et al. (2024): FIMフレームワークの基礎研究

総合評価：これは技術的に堅実な論文であり、Foundation Inference Modelsフレームワークを成功裏にODE推論問題に拡張しています。実験範囲は限定的ですが、設定された条件下では明らかな利点を示しています。本研究は科学計算における系統識別問題に価値のある新しい手法を提供し、良好な発展見通しを持っています。