2025-11-24T21:37:17.430058

One Life to Learn: Inferring Symbolic World Models for Stochastic Environments from Unguided Exploration

Khan, Prasad, Stengel-Eskin et al.
Symbolic world modeling requires inferring and representing an environment's transitional dynamics as an executable program. Prior work has focused on largely deterministic environments with abundant interaction data, simple mechanics, and human guidance. We address a more realistic and challenging setting, learning in a complex, stochastic environment where the agent has only "one life" to explore a hostile environment without human guidance. We introduce OneLife, a framework that models world dynamics through conditionally-activated programmatic laws within a probabilistic programming framework. Each law operates through a precondition-effect structure, activating in relevant world states. This creates a dynamic computation graph that routes inference and optimization only through relevant laws, avoiding scaling challenges when all laws contribute to predictions about a complex, hierarchical state, and enabling the learning of stochastic dynamics even with sparse rule activation. To evaluate our approach under these demanding constraints, we introduce a new evaluation protocol that measures (a) state ranking, the ability to distinguish plausible future states from implausible ones, and (b) state fidelity, the ability to generate future states that closely resemble reality. We develop and evaluate our framework on Crafter-OO, our reimplementation of the Crafter environment that exposes a structured, object-oriented symbolic state and a pure transition function that operates on that state alone. OneLife can successfully learn key environment dynamics from minimal, unguided interaction, outperforming a strong baseline on 16 out of 23 scenarios tested. We also test OneLife's planning ability, with simulated rollouts successfully identifying superior strategies. Our work establishes a foundation for autonomously constructing programmatic world models of unknown, complex environments.
academic

Ein Leben zum Lernen: Inferenz symbolischer Weltmodelle für stochastische Umgebungen aus ungeleiteter Exploration

Grundlegende Informationen

  • Paper-ID: 2510.12088
  • Titel: One Life to Learn: Inferring Symbolic World Models for Stochastic Environments from Unguided Exploration
  • Autoren: Zaid Khan, Archiki Prasad, Elias Stengel-Eskin, Jaemin Cho, Mohit Bansal (UNC Chapel Hill)
  • Klassifizierung: cs.AI, cs.CL, cs.LG
  • Veröffentlichungsdatum: 14. Oktober 2025
  • Paper-Link: https://arxiv.org/abs/2510.12088

Zusammenfassung

Die symbolische Weltmodellierung erfordert die Inferenz und Darstellung der Übergangsdynamik einer Umgebung als ausführbare Programme. Frühere Arbeiten konzentrierten sich hauptsächlich auf deterministische Umgebungen mit reichhaltigen Interaktionsdaten, einfachen Mechanismen und menschlicher Anleitung. Dieses Paper adressiert eine realistischere und anspruchsvollere Einstellung: das Lernen in komplexen stochastischen Umgebungen, wobei der Agent nur "ein Leben" hat, um eine feindselige Umgebung ohne menschliche Anleitung zu erkunden. Das Paper präsentiert das OneLife-Framework, das Weltdynamiken durch bedingt aktivierte programmatische Regeln in einem probabilistischen Programmierwerkzeug modelliert. Jede Regel funktioniert durch eine Prämisse-Effekt-Struktur und wird in relevanten Weltzuständen aktiviert. Dies erzeugt einen dynamischen Berechnungsgraph, der das Schlussfolgern und die Optimierung nur durch relevante Regeln leitet, vermeidet Skalierungsprobleme, wenn alle Regeln komplexe hierarchische Zustände vorhersagen müssen, und ermöglicht das Erlernen stochastischer Dynamiken selbst bei spärlicher Regelaktivierung.

Forschungshintergrund und Motivation

Problemdefinition

Traditionelle Methoden der symbolischen Weltmodellierung sehen sich folgenden Schlüsselherausforderungen gegenüber:

  1. Datenbegrenzung: In der realen Welt können Agenten oft nur begrenzte Interaktionen durchführen, besonders in gefährlichen Umgebungen
  2. Stochastizitätsbehandlung: Echte Umgebungen weisen irreduzible Stochastizität auf, wie das unvorhersehbare Verhalten von NPCs
  3. Fehlende externe Anleitung: Mangel an umgebungsspezifischen Belohnungen oder von Menschen bereitgestellten Zielen
  4. Komplexitätsskalierung: Bestehende Methoden haben Schwierigkeiten zu skalieren, wenn die Umgebung zahlreiche Interaktionsmechanismen enthält

Forschungsbedeutung

Die symbolische Weltmodellierung ist für künstliche Intelligenz entscheidend, da sie:

  • Ein funktionales Verständnis der zugrunde liegenden Dynamik einer Umgebung bietet
  • Die Vorhersage von Handlungsergebnissen ohne tatsächliche Interaktion unterstützt
  • Interpretierbare, bearbeitbare und verifizierbare Darstellungen konstruiert

Einschränkungen bestehender Methoden

Frühere Forschung ging hauptsächlich davon aus:

  • Eine begrenzte Anzahl entdeckbarer Mechanismen mit niedriger Stochastizität
  • Zugang zu großen Mengen an Interaktionsdaten
  • Von Menschen bereitgestellte umgebungsspezifische Anleitung (Ziele/Belohnungen)

Diese Annahmen gelten oft nicht in komplexen offenen Welten (wie MineCraft, RuneScape).

Forschungsmotivation

Die zentrale Forschungsfrage dieses Papers lautet: Wie kann ein Agent die Regeln komplexer, gefährlicher stochastischer Welten mit begrenztem Interaktionsbudget und ohne umgebungsspezifische menschliche Anleitung reverse-engineeren?

Kernbeiträge

  1. OneLife-Framework: Präsentation eines probabilistischen symbolischen Weltmodells, das aus stochastischen feindseligen Umgebungen mit minimalen Interaktionen lernen kann, ohne Zugriff auf von Menschen definierte Belohnungen
  2. Crafter-OO-Umgebung: Neuimplementierung der Crafter-Umgebung mit strukturiertem objektorientiertem symbolischem Zustand und reinen Übergangsfunktionen
  3. Evaluierungsprotokoll: Einführung einer neuen Weltmodellierungs-Evaluierungssuite mit über 30 ausführbaren Szenarien und Metriken für Zustandstreue/Zustandsranking
  4. Leistungsverbesserung: Überlegenheit gegenüber starken Baselines in 16/23 Testszenarien und Demonstration von Planungsfähigkeiten

Methodische Details

Aufgabendefinition

Gegeben die reine Übergangsfunktion T: S × A → Δ(S), wobei:

  • S: Zustandsraum
  • A: Aktionsraum
  • Δ(S): Wahrscheinlichkeitsverteilung über dem Zustandsraum

Das Ziel besteht darin, aus einer einzelnen ungeleiteten Explorationstrajectorie ein symbolisches Weltmodell zu lernen, das die Wahrscheinlichkeitsverteilung von Zustandsübergängen vorhersagen kann.

Modellarchitektur

1. Weltmodelldarstellung

OneLife modelliert die Umgebung als Mischung programmatischer Regeln:

p(s'|s,a;θ) = ∏_{o∈O} p(o|s,a;θ)

wobei die Wahrscheinlichkeit für jede beobachtbare Größe o:

p(o=v|s,a;θ) ∝ ∏_{i∈I_o(s,a)} φ_i(o=v|s,a)^{θ_i}

2. Regelstruktur

Jede Regel L_i wird durch ein Prämisse-Effekt-Paar (c_i, e_i) definiert:

  • Prämisse c_i(s,a) → {true, false}: Bestimmt, ob die Regel anwendbar ist
  • Effekt e_i(s,a) → s': Vorhersage durch Modifikation einer Zustandskopie

3. Dynamischer Berechnungsgraph

Für einen gegebenen Übergang wird nur die Menge der Regeln aktiviert, die die Prämisse erfüllen: I(s,a) = {i | c_i(s,a) is true}, was einen spärlichen Parameteraktualisierungsmechanismus erzeugt.

Kernkomponenten

1. Explorationsstrategie

Verwendung einer von großen Sprachmodellen gesteuerten Explorationsstrategie:

  • Ziel: Entdeckung möglichst vieler zugrunde liegender Mechanismen
  • Strategie: Exploration als Reverse-Engineering-Aufgabe
  • Vorteil: Gegenüber zufälliger Strategie Verbesserung der Überlebensdauer von 100 auf 400 Schritte

2. Regelsynthesizer

Verwendung eines allgemeinen Ansatzes statt handwerklich gestalteter Synthesizer:

  • Vorschlag großer Mengen einfacher atomarer Regeln zur Erklärung jedes beobachteten Übergangs
  • Atomare Regeln: Beschreiben minimale Zustandsattributänderungen
  • Unterstützung feingranularer Kreditvergabe

3. Parameterinferenz

Gradientenbasierter Optimierungsalgorithmus:

  • Maximierung der Log-Likelihood beobachteter Übergänge
  • Aktualisierung nur der Regelgewichte, die beobachtete Variablen beeinflussen
  • Verwendung von L-BFGS zur Optimierung

Technische Innovationen

  1. Bedingte Aktivierungsmechanismus: Selektive Aktivierung von Regeln durch Prämissenstruktur, um Störungen durch irrelevante Regeln zu vermeiden
  2. Spärliche Parameteraktualisierung: Gradientenaktualisierung nur für aktivierte Regeln, die Zustandsänderungen vorhersagen, ermöglicht präzise Kreditvergabe
  3. Atomare Regelzerlegung: Zerlegung komplexer Ereignisse in mehrere einfache Regeln zur Verbesserung der Lerngenauigkeit
  4. Probabilistisches Programmierwerkzeug: Unterstützung der Modellierung und des Schlussfolgerns stochastischer Dynamiken

Experimentelle Einrichtung

Datensatz

Crafter-OO-Umgebung:

  • Neuimplementierung basierend auf der Crafter-Umgebung
  • Offenlegung strukturierter objektorientierter Zustandsdarstellung
  • Enthält signifikante Stochastizität und vielfältige Mechanismen
  • Unterstützt programmatische Zustandsmodifikation

Bewertungsmetriken

Zustandsranking-Metriken

  • Rank@1: Ob der echte nächste Zustand mit der höchsten Wahrscheinlichkeit rangiert
  • Mean Reciprocal Rank (MRR): Durchschnittlicher Kehrwert des Rangs des echten Zustands

Zustandstreue-Metriken

  • Raw Edit Distance: Anzahl der JSON-Patch-Operationen zwischen vorhergesagtem und echtem Zustand
  • Normalized Edit Distance: Rohbearbeitungsdistanz geteilt durch Gesamtelemente in der Zustandsdarstellung

Vergleichsmethoden

  • Random World Model: Gleichmäßige Wahrscheinlichkeitszuweisung für alle Kandidatenzustände
  • PoE-World: State-of-the-art symbolisches Weltmodell mit fairer Vergleichbarkeit unter Verwendung der Explorationsstrategie und des Regelsynthesizers dieses Papers

Implementierungsdetails

  • Evaluierungsszenarien: 40+ Szenarien, die alle Kernspielermechaniken abdecken
  • Störzustandsgenerierung: 8 Varianten erzeugen illegale Zustandsübergänge
  • Optimierungsalgorithmus: L-BFGS
  • Explorationsbudget: Einzelne Trajektorie, durchschnittlich 400 Schritte

Experimentelle Ergebnisse

Hauptergebnisse

MethodeRank@1MRRRaw Edit Dist.Norm. Edit Dist.
Random8,5%0,322121,5380,809
PoE-World10,8%0,35110,6340,071
OneLife18,7%0,4798,7640,058

OneLife zeigt signifikante Überlegenheit gegenüber Baselines in der Diskriminierungsgenauigkeit:

  • Rank@1-Verbesserung um 7,9 Prozentpunkte
  • MRR-Verbesserung um 0,128
  • Überlegenheit gegenüber PoE-World-Baseline in 16/23 Szenarien

Feingranulare Bewertung

Die Leistungsanalyse nach Spielmechaniken zeigt OneLifes Überlegenheit in den meisten Mechaniken:

  • Ressourcensammlung: Holz-, Stein-, Kohlesammelaufgaben
  • Werkzeugherstellung: Herstellung verschiedener Spitzhacken und Schwerter
  • Kampfsystem: Kämpfe gegen Zombies und Skelette
  • Weltmanipulation: Gegenstandsplatzierung und Umweltmodifikation

Planungsfähigkeitsverifizierung

Verifizierung der Planungsfähigkeit durch Vorwärtssimulation in 3 Szenarien:

SzenarioPlanungsbeschreibungDurchschn. SchritteUmgebungspräferenzOneLife-Präferenz
Zombie-KriegerSchwert herstellen dann kämpfen vs. sofort kämpfen33 vs 17✓Schwert herstellen✓Schwert herstellen
SteinabbauerSpitzhacke herstellen dann abbauen vs. direkt abbauen31 vs 13✓Spitzhacke herstellen✓Spitzhacke herstellen
SchwertschmiedWerkbank wiederverwenden vs. jedes Mal neu bauen5 vs 10✓Wiederverwenden✓Wiederverwenden

Das von OneLife gelernte Weltmodell identifiziert in allen Szenarien korrekt die effizientere Strategie.

Ablationsstudien

Vergleich verschiedener Inferenzmethoden:

  • OneLife (vollständig): 18,7% Rank@1, 0,479 MRR
  • Ohne Parameterinferenz: 13,0% Rank@1, 0,429 MRR
  • PoE-World-Inferenz: 10,8% Rank@1, 0,351 MRR

Die Ergebnisse zeigen, dass der Inferenzalgorithmus von OneLife für die Leistungsverbesserung entscheidend ist.

Verwandte Arbeiten

Symbolische Weltmodelle

  • Monolithische Programmansätze: Tang et al. (2024), Dainese et al. (2024) verwenden LLM zur Synthese einzelner Programme
  • Kombinatorische Ansätze: Piriyakulkij et al. (2025) präsentiert Mixture-of-Experts-Modelle
  • Formale Planungsdarstellungen: Konstruktion von PDDL und ähnlichen symbolischen Planungsdarstellungen

Programmatische Entscheidungsfindungsdarstellungen

  • Programmatische Strategien: Bieten bessere Interpretierbarkeit und Verallgemeinerungsfähigkeit
  • Programmatische Belohnungen: Generierung von Belohnungsfunktionen aus Anweisungen in natürlicher Sprache
  • Fähigkeitsbibliotheken: Konstruktion zusammensetzbarer zeitlich erweiterter Fähigkeiten

Weltmodellierung bei offener Exploration

  • Implizite Weltmodelle: Exploration durch intrinsische Motivation
  • Automatische wissenschaftliche Entdeckung: Autonome Hypothesengenerierung und Experimentieren
  • Schnelle Induktionsbewertung: Bewertung der Fähigkeit von Agenten, schnell Weltmodelle in neuen Umgebungen zu induzieren

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. OneLife löst erfolgreich die Herausforderung, symbolische Weltmodelle aus begrenzten ungeleiteten Interaktionen in komplexen stochastischen Umgebungen zu lernen
  2. Der bedingt aktivierte programmatische Regelsmechanismus und die spärliche Parameteraktualisierung sind Schlüsselinnovationen
  3. Das gelernte Weltmodell unterstützt effektive Planung und Entscheidungsfindung

Einschränkungen

  1. Explorationsbottleneck: Die von LLM gesteuerte Explorationsstrategie hat immer noch Schwierigkeiten, komplexe Technologiebäume vollständig zu entdecken
  2. Gedächtnisprobleme: Der Explorations-Agent vergisst leicht zuvor gelernte Informationen
  3. Umgebungsspezifität: Die aktuelle Implementierung ist hauptsächlich auf die Crafter-OO-Umgebung ausgerichtet
  4. Rechenkomplexität: Erheblicher Rechenaufwand für Regelsynthese und Parameterinferenz

Zukünftige Richtungen

  1. Verbesserte Explorationsstrategie: Entwicklung effektiverer ungeleiteter Explorationsmethoden
  2. Erweiterung auf andere Umgebungen: Verifizierung der Verallgemeinerungsfähigkeit des Frameworks in verschiedenen komplexen Umgebungen
  3. Online-Lernen: Unterstützung kontinuierlichen Lernens und Anpassung
  4. Multimodale Integration: Kombination visueller und textlicher Informationen für Weltmodellierung

Tiefgreifende Bewertung

Stärken

  1. Problemwichtigkeit: Adressierung der Kernherausforderung der symbolischen Weltmodellierung – Lernen in komplexen stochastischen Umgebungen mit begrenzten Daten
  2. Technische Innovation: Der bedingte Aktivierungsmechanismus und die spärliche Aktualisierungsstrategie zeigen signifikante Innovativität
  3. Umfassende Experimente: Vollständiges Evaluierungsprotokoll und mehrdimensionale experimentelle Verifizierung
  4. Praktischer Wert: Demonstration praktischer Planungsanwendungen
  5. Umgebungsbeitrag: Crafter-OO bietet eine wertvolle Testplattform für symbolische Weltmodellierung

Mängel

  1. Explorations-Abhängigkeit: Weiterhin abhängig von relativ starken LLM für Exploration, was die Allgemeingültigkeit der Methode einschränken könnte
  2. Evaluierungsumfang: Hauptsächlich Verifizierung auf einem einzelnen Umgebungstyp, Verallgemeinerungsfähigkeit bleibt zu überprüfen
  3. Theoretische Analyse: Mangel an theoretischen Garantien für Konvergenz und Stichprobenkomplexität
  4. Recheneffizienz: Unzureichende Analyse des Rechenaufwands des Regelsyntheseprozesses

Auswirkungen

  1. Akademischer Beitrag: Bereitstellung eines neuen Forschungsparadigmas für das Feld der symbolischen Weltmodellierung
  2. Praktische Perspektiven: Potenzielle Anwendungswerte in Spiele-KI, Robotik und anderen Bereichen
  3. Open-Source-Wert: Crafter-OO-Umgebung und Evaluierungs-Framework können von der Community genutzt werden
  4. Methodische Inspiration: Konzepte der bedingten Aktivierung und spärlichen Aktualisierung können auf andere Lernaufgaben angewendet werden

Anwendungsszenarien

  1. Spiele-KI: Regellernen und Strategieplanung in komplexen Strategiespiele
  2. Robotik: Dynamikmodellierung und Aufgabenplanung in unbekannten Umgebungen
  3. Wissenschaftliche Entdeckung: Automatisierte wissenschaftliche Hypothesengenerierung und Verifizierung
  4. Bildungsanwendungen: Lernendmodellierung in intelligenten Lehrsystemen

Referenzen

Das Paper zitiert wichtige Arbeiten aus mehreren Bereichen wie symbolische Weltmodellierung, Programmsynthese und verstärktes Lernen und bietet eine umfassende Literaturgrundlage für verwandte Forschung. Wichtige Referenzen umfassen die Crafter-Umgebung, die PoE-World-Methode sowie verschiedene Arbeiten zum Lernen programmatischer Darstellungen.

Gesamtbewertung: Dies ist ein hochqualitatives Forschungspapier, das einen signifikanten Beitrag zu dem wichtigen, aber anspruchsvollen Bereich der symbolischen Weltmodellierung leistet. Das OneLife-Framework löst praktische Probleme durch geschickte technische Gestaltung, die experimentelle Verifizierung ist umfassend, und es hat wichtige akademische und praktische Potenziale. Trotz einiger Einschränkungen weist es klare Richtungen für zukünftige Forschung auf.