Auf dem Weg zu Foundation Inference Models, die ODEs im Kontext lernen

Grundlegende Informationen

• Paper-ID: 2510.12650
• Titel: Towards Foundation Inference Models that Learn ODEs In-Context
• Autoren: Maximilian Mauel, Manuel Hinz, Patrick Seifner, David Berghaus, Ramsés J. Sánchez
• Klassifizierung: cs.LG (Maschinelles Lernen)
• Veröffentlichungszeit/Konferenz: AI in Science (AIS), 2025, Kopenhagen, Dänemark
• Paper-Link: https://arxiv.org/abs/2510.12650

Zusammenfassung

Gewöhnliche Differentialgleichungen (ODEs) beschreiben dynamische Systeme mit deterministischer Entwicklung in kontinuierlicher Zeit. Die datengesteuerte Modellierung von ODE-Systemen aus Beobachtungen ist ein Kernproblem der Naturwissenschaften, bleibt aber bei spärlichen oder verrauschten Daten eine Herausforderung. Dieser Artikel stellt FIM-ODE (Foundation Inference Model for ODEs) vor, ein vortrainiertes neuronales Modell, das darauf abzielt, ODEs aus spärlichen und verrauschten Beobachtungen nullschussweise (d. h. im Kontext) zu schätzen. Das Modell wird auf synthetischen Daten trainiert und nutzt flexible neuronale Operatoren für robuste ODE-Inferenz, die auch bei beschädigten Daten funktioniert. Experimentelle Validierungen zeigen, dass FIM-ODE genaue Schätzungen liefert, mit einer Leistung, die mit modernen neuronalen Netzwerkmethoden vergleichbar ist, und bietet qualitative Vergleiche ihrer Schätzungen von Vektorfeldern.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem dieser Forschung ist das ODE-Systemidentifikationsproblem: Schätzung der ODE (d. h. des Vektorfeldes), die das System am besten aus Zeitreihenbeobachtungen beschreibt. Dies hat breite Anwendungen in den Naturwissenschaften, von Newtons Bewegungsgesetzen über Populationsdynamik in biologischen Systemen bis zur atmosphärischen Konvektion in der Meteorologie.

Bedeutung des Problems

1. Breite Anwendbarkeit: ODEs sind grundlegende Modellierungswerkzeuge in Physik, Biologie, Meteorologie und vielen anderen Bereichen
2. Vorhersagefähigkeit: Genaue ODE-Modelle können zugrunde liegende Phänomene (wie Fixpunkte oder Grenzzyklen) charakterisieren und zukünftige Zustände vorhersagen
3. Wissenschaftliches Verständnis: ODE-Modelle helfen, die inneren Mechanismen und dynamischen Eigenschaften von Systemen zu verstehen

Einschränkungen bestehender Methoden

1. Traditionelle Methoden: Nichtparametrische Methoden oder auf symbolischer Regression basierende Methoden schneiden bei spärlichen, verrauschten Daten schlecht ab
2. ODEFormer-Einschränkungen: Obwohl es die neueste Methode der neuronalen symbolischen Regression ist, kann es nur einzelne Trajektorien verarbeiten und kann bei der globalen Vektorfeldvorhersage zu unrealistischen komplexen Mustern führen

Forschungsmotivation

Die Autoren basieren auf dem Framework der Foundation Inference Models (FIMs), das bereits gute Ergebnisse bei der Inferenz von kontinuierlichen Markov-Ketten, stochastischen Differentialgleichungen und Punktprozessen gezeigt hat, und schlagen das spezialisierte FIM-ODE-Modell für die ODE-Inferenz vor.

Kernbeiträge

1. Vorstellung des FIM-ODE-Modells: Erstes vortrainiertes ODE-Inferenzmodell basierend auf dem Foundation Inference Models Framework
2. Neuronale Operatorarchitektur: Einsatz des DeepONet-Neuronaloperators für flexible Vektorfeldschätzung
3. Mehrtrajectory-Verarbeitungsfähigkeit: Kann mehrere Trajektorien desselben Systems gleichzeitig verarbeiten und verbessert die Inferenzgenauigkeit
4. Überlegene Leistung: Übertrifft ODEFormer auf synthetischen Datensätzen mit R²-Genauigkeit von 0,90 vs. 0,65 (Rekonstruktionsaufgabe) und 0,26 vs. 0,19 (Verallgemeinerungsaufgabe)
5. Rationalere globale Vorhersage: Bietet im Vergleich zu ODEFormer einfachere und rationalere Vektorfeldvorhersagen in Bereichen weit entfernt von Beobachtungspunkten

Methodische Details

Aufgabendefinition

Gegeben eine Menge von Zeitreihenbeobachtungen $\mathcal{D} = \{y_k\}_{k=1}^K$, wobei jede Sequenz $y_k = [(t_{k1}, y_{k1}), \ldots, (t_{kL}, y_{kL})]$, besteht das Ziel darin, das Vektorfeld $\hat{f}$ zu schätzen, das das ODE-System beschreiben kann, das diese Beobachtungen erzeugt:

$\frac{dx(t)}{dt} = f(t, x(t))$

Modellarchitektur

1. Synthetische Datengenerierung

• Stichprobenentnahme jeder Komponente des Vektorfeldes aus multivariaten Polynomverteilungen (maximal 3. Grad)
• Unterstützung für ODE-Systeme bis zu 3 Dimensionen
• Simulation des Systems auf unregelmäßigen Gittern und Hinzufügen von Rauschen zur Generierung von Trainingsdaten

2. Neuronale Operatorarchitektur (DeepONet)

FIM-ODE nutzt die DeepONet-Neuronaloperatorarchitektur mit drei Hauptkomponenten:

Branch Network (Verzweigungsnetzwerk):

• Verwendet Transformer-Encoder
• Kodiert Beobachtungsdaten $\mathcal{D}$ in $K(L-1)$ $E$-dimensionale Darstellungen $\mathcal{D} \in \mathbb{R}^{E \times K(L-1)}$
• Behält unabhängige Kodierungen für fast alle Beobachtungen bei

Trunk Network (Stammnetzwerk):

• Lineare Abbildung, die Position $x \in \mathbb{R}^D$ in $h(x) \in \mathbb{R}^E$ kodiert

Combination Network (Kombinationsnetzwerk):

• Sequenz von Residual-Attention-Schichten, ähnlich einem Transformer-Decoder
• Verwendet $\mathcal{D}$ als Schlüssel und Wert, $h(x)$ als Abfrage
• Endgültige lineare Projektion zur Vektorfeldschätzung $\hat{f}(x)$

3. Trainingsziel

Nutzt ein überwachtes Lernziel: $L(x, \mathcal{D}, f) = \|\hat{f}(x) - f(x)\|^2$

Passt vorhergesagte und echte Vektorfelder an Stichprobenpunkten $x$ in der Nähe von Beobachtungswerten an.

Technische Innovationen

1. Kontextlernfähigkeit: Kann neue ODE-Systeme ohne weiteres Training oder Feinabstimmung verarbeiten
2. Mehrtrajectory-Fusion: Kann mehrere Trajektorien gleichzeitig verarbeiten und alle verfügbaren Informationen effektiv extrahieren und kombinieren
3. Flexible Funktionsapproximation: Neuronale Operatoren sind bei der Verarbeitung spärlicher, verrauschter Daten flexibler als symbolische Regression
4. Lokal-globales Gleichgewicht: Bietet komplexe Vorhersagen in der Nähe von Beobachtungspunkten und einfache, rationale Vorhersagen in Bereichen weit entfernt von Beobachtungen

Experimentelle Einrichtung

Datensätze

• Trainingsdaten: 600.000 synthetische ODE-Gleichungen, Modell mit etwa 20 Millionen Parametern
• Testdaten: 4.000 polynomiale Vektorfeldgleichungen (maximal 3. Grad, maximal 3 Dimensionen)
• Trajektorieneinstellung: Jede ODE erzeugt 9 Trajektorien, Anfangszustände aus $N(0,1)$ entnommen
• Beobachtungseinstellung: 200 Beobachtungspunkte pro Trajektorie, reguläres Gitter, Zeitintervall $\Delta\tau = 0,05$

Bewertungsmetriken

Verwendung der R²-Genauigkeit: Prozentsatz der Scores mit R² größer als 0,9

Vergleichsmethoden

ODEFormer: Vortrainierte neuronale symbolische Regressionsmethode, auf 50 Millionen Gleichungen trainiert, mit 86 Millionen Parametern

Experimentelle Aufgaben

1. Rekonstruktionsaufgabe: Messung der Rekonstruktionsleistung auf Kontexttrajektorien
2. Verallgemeinerungsaufgabe: Messung der Rekonstruktionsleistung auf zurückgehaltenen Trajektorien

Experimentelle Ergebnisse

Hauptergebnisse

Schlüsselfunde:

• FIM-ODE übertrifft ODEFormer bei beiden Aufgaben erheblich
• Die Verallgemeinerungsaufgabe ist schwieriger als die Rekonstruktionsaufgabe, was intuitiv ist
• Trotz des Trainings von ODEFormer auf einer breiteren Verteilung und mit mehr Parametern zeigt FIM-ODE eine bessere Leistung

Mehrtrajectory-Kontextanalyse

Abbildung 1 zeigt die Vektorfeldschätzung von FIM-ODE mit unterschiedlichen Anzahlen von Kontexttrajektorien:

• Einzelne Trajektorie: Ungenaue Schätzung an Positionen weit entfernt von Beobachtungen
• Mehrere Trajektorien: Mit zunehmender Trajektorienzahl kann FIM-ODE diese Schätzungen korrigieren und einen größeren Raum effektiv abdecken

Vergleich lokaler und globaler Vorhersagen

Abbildung 2 vergleicht die Vektorfeldschätzungen von FIM-ODE und ODEFormer:

• FIM-ODE:
  • Lokal: Vorhersage komplexer Muster an Beobachtungspunkten zur Trajektorienrekonstruktion
  • Global: Einfachere Vorhersagen weit entfernt von Beobachtungspunkten
• ODEFormer: Vorhersage komplexerer Vektorfelder, was zu komplexen globalen Mustern führt, die von einer einzelnen einfachen Trajektorie nicht unterstützt werden

Strukturdifferenzanalyse

Die Unterschiede zwischen den beiden Modellen stammen aus unterschiedlichen Vektorfeldparametrisierungen:

• ODEFormer: Beschränkt auf (rationale) polynomiale symbolische Gleichungen, die bei spärlichen oder verrauschten Beobachtungen möglicherweise nicht standardmäßig zu einfachen Ausdrücken führen
• FIM-ODE: Neuronale Operatoren können diese Situationen flexibler handhaben

Verwandte Arbeiten

Traditionelle ODE-Inferenzmethoden

1. Nichtparametrische Methoden: Wie Gaußsche Prozesse usw.
2. Symbolische Regressionsmethoden: Traditionelle symbolische Regression basierend auf genetischen Algorithmen oder anderen Optimierungsmethoden

Foundation Inference Models Framework

• FIM-CTMC: Inferenz kontinuierlicher Markov-Ketten
• FIM-SDE: Inferenz stochastischer Differentialgleichungen
• FIM-PP: Inferenz von Punktprozessen
• Das FIM-ODE dieses Papiers ist eine Erweiterung des Frameworks auf die ODE-Inferenz

Neuronale symbolische Regression

ODEFormer: Vortrainierte neuronale Methode zur Umwandlung von Zeitreihenbeobachtungen in symbolische Gleichungen

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. FIM-ODE erweitert erfolgreich das Foundation Inference Models Framework auf das ODE-Inferenzproblem
2. Auf synthetischen Datensätzen übertrifft FIM-ODE erheblich die bestehende modernste Methode ODEFormer
3. Die Flexibilität von Neuronaloperatoren ermöglicht es FIM-ODE, rationalere globale Vektorfeldvorhersagen zu treffen
4. Die Mehrtrajectory-Verarbeitungsfähigkeit ist ein wichtiger Vorteil von FIM-ODE gegenüber ODEFormer

Einschränkungen

1. Datenverteilungsbeschränkungen: Derzeit nur auf polynomialen Vektorfeldern validiert, echte Systeme können komplexer sein
2. Dimensionsbeschränkungen: Aktuelle Experimente beschränken sich auf 3-dimensionale Systeme
3. Bewertungsumfang: Validierung auf einem breiteren Spektrum von ODE-Systemen erforderlich
4. Rechnerische Effizienz: Das Papier diskutiert Rechenkomplexität und Inferenzgeschwindigkeit nicht ausführlich

Zukünftige Richtungen

1. ODEBench-Bewertung: Vergleich von Methoden auf einem Benchmark-Datensatz mit 63 handverlesenen ODEs
2. Entdeckung latenter Dynamik: Erforschung der Verwendung des vortrainierten FIM-ODE zur Entdeckung latenter Dynamik
3. Anwendungserweiterungen:
   • Neuronale Populationsdynamik
   • Chemische Reaktionsdynamik
   • Entwicklung natürlichsprachlicher Inhalte

Tiefgreifende Bewertung

Stärken

1. Methodische Innovation: Erste Anwendung des FIM-Frameworks auf die ODE-Inferenz, rationales Architekturdesign
2. Technische Vorteile:
   • Mehrtrajectory-Verarbeitungsfähigkeit
   • Flexible Neuronaloperatorarchitektur
   • Kontextlernfähigkeit
3. Experimentelle Vollständigkeit:
   • Direkter Vergleich mit starken Baselines
   • Mehrwinklige Analyse (Rekonstruktion vs. Verallgemeinerung, lokal vs. global)
   • Visualisierungsanalyse verbessert das Verständnis
4. Überzeugungskraft der Ergebnisse: Signifikant bessere Leistung als Vergleichsmethoden bei allen Metriken

Mängel

1. Begrenzte experimentelle Reichweite:
   • Validierung nur auf synthetischen Polynomialdaten
   • Fehlende Validierung auf realen Daten
   • Begrenzte Dimensionalität und Komplexität
2. Unzureichender Vergleich:
   • Nur Vergleich mit ODEFormer, fehlende Vergleiche mit anderen traditionellen Methoden
   • Keine Vergleiche der Rechnerischen Effizienz
3. Fehlende theoretische Analyse:
   • Fehlende theoretische Garantien für Konvergenz oder Verallgemeinerungsfähigkeit
   • Keine Analyse der theoretischen Vorteile der Methode
4. Unzureichende technische Details:
   • Kurze Beschreibung von Trainingsdetails
   • Fehlende Erklärung der Hyperparameterwahl

Auswirkungen

1. Akademische Beiträge:
   • Erweiterung des FIM-Frameworks auf neue Anwendungsbereiche
   • Neue neuronale Netzwerkmethode für die ODE-Inferenz
2. Praktischer Wert:
   • Nullschuss-Inferenzfähigkeit hat praktisches Anwendungspotenzial
   • Mehrtrajectory-Verarbeitung ist in realen Szenarien praktischer
3. Reproduzierbarkeit:
   • Basierend auf bestehender FIM-SDE-Architektur, klare technische Route
   • Aber fehlende detaillierte Implementierungsdetails

Anwendungsszenarien

1. Wissenschaftliche Berechnung: Modellierung dynamischer Systeme in Physik, Biologie, Chemie und anderen Bereichen
2. Ingenieuranwendungen: Kontrollsysteme, Signalverarbeitung und andere Szenarien, die Systemidentifikation erfordern
3. Spärliche Datenszenarios: Besonders geeignet für Situationen mit begrenzten oder verrauschten Beobachtungsdaten
4. Mehrtrajectory-Daten: Deutliche Vorteile, wenn mehrere Beobachtungstrajektorien desselben Systems vorhanden sind

Literaturverzeichnis

Dieses Papier bezieht sich hauptsächlich auf die folgenden Schlüsselarbeiten:

• d'Ascoli et al. (2024): Originalarbeit zu ODEFormer
• Seifner et al. (2025a): FIM-SDE Framework
• Lu et al. (2021): DeepONet Neuronaloperator
• Berghaus et al. (2024): Grundlagenarbeit des FIM-Frameworks

Gesamtbewertung: Dies ist ein technisch solides Papier, das das Foundation Inference Models Framework erfolgreich auf das ODE-Inferenzproblem erweitert. Obwohl die experimentelle Reichweite begrenzt ist, zeigt es unter den gegebenen Bedingungen deutliche Vorteile. Diese Arbeit bietet eine wertvolle neue Methode für das Systemidentifikationsproblem in der wissenschaftlichen Berechnung und hat gute Entwicklungsperspektiven.