Diff-XYZ: Ein Benchmark zur Bewertung des Diff-Verständnisses

Grundinformationen

• Paper-ID: 2510.12487
• Titel: Diff-XYZ: A Benchmark for Evaluating Diff Understanding
• Autoren: Evgeniy Glukhov, Michele Conti, Egor Bogomolov, Yaroslav Golubev, Alexander Bezzubov (JetBrains Research)
• Klassifizierung: cs.SE (Softwaretechnik), cs.LG (Maschinelles Lernen)
• Konferenz: 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Deep Learning for Code in the Agentic Era
• Paper-Link: https://arxiv.org/abs/2510.12487

Zusammenfassung

Dieses Paper präsentiert den Diff-XYZ-Benchmark zur Bewertung der Fähigkeit großer Sprachmodelle, Code-Differenzen (Diffs) zu verstehen. Der Benchmark umfasst drei überwachte Lernaufgaben: apply (alter Code + Diff → neuer Code), anti-apply (neuer Code - Diff → alter Code) und Diff-Generierung (neuer Code - alter Code → Diff). Die Benchmark-Daten stammen aus echten Commits in CommitPackFT und enthalten 1000 Tripel-Instanzen ⟨alter Code, neuer Code, Diff⟩. Die Forschung zeigt, dass verschiedene Diff-Formate je nach Anwendungsfall und Modellgröße gewählt werden sollten und bietet damit eine wichtige Grundlage für die Entwicklung zukünftiger Code-Bearbeitungsmodelle.

Forschungshintergrund und Motivation

Kernprobleme

Moderne Code-Bearbeitungsagenten benötigen zuverlässige Verarbeitung von Code-Differenzen bei großflächigen Repository-Bearbeitungen und Refaktorierungen, aber bestehende Bewertungsmethoden weisen folgende Probleme auf:

1. Mangelnde systematische Formatforschung: Obwohl mehrere Diff-Darstellungsformate existieren (unified diff, search-replace, etc.), fehlt eine systematische Vergleichsstudie der Formate
2. Bewertungskomplexität: Bestehende End-to-End-Benchmarks (wie SWE-bench) vermischen mehrere Faktoren (Retrieval, Tool-Nutzung, etc.), was es schwierig macht, die Auswirkungen des Diff-Formats zu isolieren
3. Vielfältige Fehlermuster: Patches können aufgrund von Syntaxfehlern, Kontextabweichungen oder logischen Fehlern fehlschlagen und erfordern eine feinkörnigere Analyse

Forschungsbedeutung

• Praktischer Wert: Die Verarbeitung von Code-Diffs ist eine Kernfähigkeit für automatisierte Code-Bearbeitung, Bug-Fixes und CI-Build-Reparaturen
• Theoretische Bedeutung: Das Verständnis, wie LLMs strukturierte Bearbeitungsinformationen verarbeiten, ist wichtig für die Verbesserung von Code-Generierungsmodellen
• Ingenieurwert: Bietet datengestützte Anleitung zur Auswahl geeigneter Diff-Formate

Kernbeiträge

1. Einführung des Diff-XYZ-Benchmarks: Ein leichtgewichtiges, reproduzierbares Evaluierungsframework mit drei komplementären Aufgaben
2. Systematischer Formatvergleich: Erstmalige kontrollierte Vergleichsstudie mehrerer Diff-Darstellungsformate
3. Leistungs-Baselines: Detaillierte Leistungs-Baselines für proprietäre und Open-Source-Modelle bei Diff-Verständnisaufgaben
4. Formatwahlrichtlinien: Entdeckung der Beziehungen zwischen Modellgröße, Aufgabentyp und optimaler Formatwahl
5. Offener Datensatz: Veröffentlichung eines hochwertigen Evaluierungsdatensatzes auf HuggingFace Hub

Methodische Details

Aufgabendefinition

Basierend auf der Gleichung Diff = neuer Code - alter Code werden drei Aufgaben definiert:

X. Apply-Aufgabe (Anwendungsaufgabe)

• Eingabe: Alter Code + Diff
• Ausgabe: Neuer Code
• Ziel: Prüfung der Formateinhaltung und zeichenweisen Genauigkeit

Y. Anti-Apply-Aufgabe (Rückwärts-Anwendungsaufgabe)

• Eingabe: Neuer Code + Diff
• Ausgabe: Alter Code
• Ziel: Untersuchung der Formatumkehrbarkeit und Verlustfreiheit

Z. Diff-Generierungsaufgabe (Differenzgenerierungsaufgabe)

• Eingabe: Alter Code + Neuer Code
• Ausgabe: Diff
• Ziel: Prüfung der zuverlässigen Diff-Synthese-Fähigkeit

Datensatzkonstruktion

Datenquelle: Echte Open-Source-Commits aus dem CommitPackFT-Datensatz

Filterungsstrategie:

• Nur Commits mit Änderungen in einer Datei
• Ausschluss von Binärdateien, generiertem Code und Vendor-Verzeichnissen
• Dateizeilenbeschränkung: 40-1000 Zeilen
• Ausschluss von reinen Whitespace-Änderungen

Geschichtete Stichprobenentnahme:

• Sprachverteilung: Python, JavaScript, Java, Kotlin, Rust je 200 Samples
• Bearbeitungskomplexität: Geschichtet nach Anzahl der Änderungsblöcke und Änderungsgröße
  • Kleine Bearbeitungen: ≤7 Zeilen Änderung (40%)
  • Mittlere Bearbeitungen: 8-24 Zeilen Änderung (40%)
  • Große Bearbeitungen: >24 Zeilen Änderung (20%)
• Änderungstypen: 81,5% enthalten Hinzufügungen und Löschungen, 16,3% nur Hinzufügungen, 2,2% nur Löschungen

Evaluierungsmetriken

Apply- und Anti-Apply-Aufgaben:

• Stripped Exact Match (EM): Exakte Übereinstimmungsrate nach Entfernung von Leerzeilen
• Stripped Intersection over Union (IoU): Zeilenebenen-Schnittmenge über Vereinigung

Diff-Generierungsaufgabe:

• Parsing Rate: Anteil der analysierbaren Diffs
• Applying Rate: Anteil der erfolgreich anwendbaren Diffs
• EM/IoU nach Anwendung: Exakte Übereinstimmungsrate und IoU nach Diff-Anwendung
• F1+ / F1-: F1-Score für hinzugefügte und gelöschte Zeilen

Technische Innovationen

1. Komplementäres Aufgabendesign: Drei Aufgaben bewerten Diff-Verständnis umfassend aus verschiedenen Blickwinkeln
2. Kontrollierte Variablenexperimente: Präzise Messung der Formatauswirkungen durch Fixierung von Kontextänderungsformaten
3. Datengesteuert durch echte Daten: Basierend auf echten Commits statt synthetischen Daten für ökologische Validität
4. Mehrdimensionale Bewertung: Kombination von syntaktischer Korrektheit, Anwendungserfolgsrate und semantischer Korrektheit

Experimentelle Einrichtung

Vergleichsformate

1. udiff: Standard-Unified-Diff-Format
2. udiff-h: Gelockerte Unified-Diff-Block-Header
3. udiff-l: Unified-Diff mit expliziten Markierungen (ADD/DEL/CON)
4. search-replace: Suchersetzungs-Format

Getestete Modelle

Proprietäre Modelle:

• GPT-4o, GPT-4o-mini
• GPT-4.1, GPT-4.1-mini, GPT-4.1-nano
• Claude 4 Sonnet
• Gemini 2.5 Flash

Open-Source-Modelle:

• Qwen2.5-Coder-Serie (0,5B-32B)

Prompt-Strategien

• ohne Format: Generischer Assistent-Prompt
• mit Format: System-Prompt mit Formatbeschreibung

Experimentelle Ergebnisse

Hauptergebnisse

Leistung proprietärer Modelle:

• Claude 4 Sonnet zeigt beste Leistung bei Apply-Aufgabe (EM: 0,95-0,96)
• GPT-4.1 zeigt starke Leistung bei allen Aufgaben, ist aber prompt-empfindlich
• Kleinere proprietäre Modelle (wie GPT-4.1-nano) zeigen signifikante Leistungsabfälle bei komplexen Aufgaben

Open-Source-Modell-Skalierungsgesetze:

• Leistung verbessert sich deutlich mit Modellgröße
• Qwen2.5-Coder-32B nähert sich GPT-4o-Niveau bei Apply/Anti-Apply an
• Zeigt aber noch signifikante Lücke bei Diff-Generierung

Formatvergleichsergebnisse

Schlüsselfunde:

1. Aufgabenabhängigkeit:
   • Apply/Anti-Apply: udiff-Format zeigt beste Leistung
   • Diff-Generierung: search-replace ist für große Modelle überlegen
2. Modellgrößeneffekt:
   • Große Modelle: search-replace zeigt hervorragende Leistung bei Generierungsaufgaben
   • Kleine Modelle: udiff-l (explizite Markierungen) zeigt beste Ergebnisse
3. Formatcharakteristika-Analyse:
   • search-replace-Vorteile: Vermeidung globaler Einschränkungen, lokale Bearbeitungen sind unabhängig
   • udiff-h-Nachteile: Entfernung von Zeilennummern-Gerüsten führt zu strukturellem Chaos
   • udiff-l-Vorteile: Explizite Markierungen reduzieren Markierungskonflikte

Ablationsstudien-Ergebnisse

Prompt-Auswirkungen:

• Diff-Generierungsaufgabe ist hochgradig empfindlich gegenüber Formatbeschreibung
• GPT-4.1 neigt ohne Formatbeschreibung dazu, V4A-Format auszugeben
• Apply-Aufgabe ist relativ robust gegenüber Prompt-Änderungen

Sprachenunterschiede:

• Relativ konsistente Leistung über fünf Programmiersprachen
• Leicht bessere Leistung bei Python und JavaScript

Verwandte Arbeiten

Code-Generierungs-Benchmarks

• HumanEval/MBPP: Funktionsebenen-Code-Generierung
• BigCodeBench: Komplexe Bibliotheks-Aufruf-Aufgaben
• Einschränkungen: Konzentrieren sich hauptsächlich auf Generierung von Grund auf, nicht auf Bearbeitungsdarstellungen

Bearbeitungs- und Problemlösungs-Benchmarks

• SWE-bench: Echte GitHub-Problemlösung
• CodeEditorBench: Anweisungsfolge-Bearbeitung
• Einschränkungen: End-to-End-Bewertung erschwert die Isolierung von Formatauswirkungen

Positionierung dieses Papers

• Komplementarität: Konzentriert sich auf isolierte Untersuchung von Bearbeitungsdarstellungen
• Leichtgewichtigkeit: Keine Repository-Einrichtung oder Ausführungsumgebung erforderlich
• Kontrollierbarkeit: Fixierte Aufgabenkontexte, variierende Darstellungsformate

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Formatwahl ist entscheidend: Verschiedene Formate zeigen signifikante Leistungsunterschiede bei verschiedenen Aufgaben und Modellgrößen
2. Aufgabenspezifität: Generierungs- und Anwendungsaufgaben erfordern unterschiedliche optimale Formate
3. Größenabhängigkeit: Optimale Strategien unterscheiden sich zwischen kleinen und großen Modellen
4. Realistische Lücke: Open-Source-Modelle haben noch großes Verbesserungspotenzial bei Diff-Generierung

Einschränkungen

1. Vereinfachte Aufgaben: Benchmark-Aufgaben sind vereinfachte Stellvertreter für nachgelagerte Anwendungen
2. Bewertungsumfang: Berücksichtigt nur Greedy-Dekodierung, nicht Reasoning oder Tool-Nutzung
3. Formatabdeckung: Umfasst keine AST-Ebenen- oder strukturierten Patch-Formate
4. Nachgelagerte Verbindung: Fehlende quantitative Verbindung zwischen Benchmark-Leistung und tatsächlicher Anwendungseffektivität

Zukünftige Richtungen

1. Formatenerweiterung: Erkundung von Baumstrukturen und AST-Ebenen-Bearbeitungsdarstellungen
2. Nachgelagerte Verbindung: Etablierung von Verbindungen zwischen Benchmark-Leistung und tatsächlichen Anwendungseffekten
3. Reasoning-Fähigkeit: Bewertung von Multi-Step-Reasoning und Tool-Nutzungsszenarien
4. Fehlerwiederherstellung: Untersuchung der Verarbeitung von teilweisen oder beschädigten Diffs

Tiefgreifende Bewertung

Stärken

1. Klare Problemdefinition: Präzise Identifikation dieser Kernfähigkeit des Diff-Verständnisses, die oft übersehen wird
2. Strenge experimentelle Gestaltung: Wissenschaftlich zuverlässige Methode des kontrollierten Formatvergleichs
3. Hohe Datenqualität: Basierend auf echten Commits mit geschichteter Stichprobenentnahme für Repräsentativität
4. Wertvolle Erkenntnisse: Formatwahlrichtlinien haben direkten praktischen Wert
5. Starke Reproduzierbarkeit: Detaillierte experimentelle Einrichtung und offener Datensatz

Mängel

1. Begrenzte theoretische Tiefe: Theoretische Analyse der Formatdifferenzmechanismen ist nicht ausreichend tiefgreifend
2. Eindimensionale Bewertung: Konzentriert sich hauptsächlich auf Korrektheit, fehlt Effizienz- und Lesbarkeitsüberlegungen
3. Unvollständige Modellabdeckung: Open-Source-Modelle konzentrieren sich hauptsächlich auf Qwen-Serie
4. Begrenzte Anwendungsszenarien: Berücksichtigt keine interaktive Bearbeitung und inkrementelle Update-Szenarien

Auswirkungen

1. Akademischer Wert: Füllt wichtige Lücke in der Code-Bearbeitungs-Evaluierung, könnte nachfolgende Forschung katalysieren
2. Ingenieurwert: Bietet Datenstützung für industrielle Formatwahl bei Code-Bearbeitung
3. Community-Beitrag: Offener Benchmark und Datensatz werden der gesamten Forschungsgemeinschaft zugute kommen
4. Standardisierungspotenzial: Könnte zum Standard-Benchmark für Code-Bearbeitungs-Fähigkeitsbewertung werden

Anwendungsszenarien

1. Modellentwicklung: Fähigkeitsbewertung und Verbesserung von Code-Bearbeitungsmodellen
2. Formatdesign: Effektivitätsvalidierung neuer Diff-Formate
3. Tool-Auswahl: Formatstrategie-Auswahl für Code-Bearbeitungswerkzeuge
4. Forschungsgrundlage: Grundlegende Fähigkeitstests für komplexe Code-Bearbeitungsaufgaben

Literaturverzeichnis

Das Paper zitiert 31 verwandte Arbeiten, hauptsächlich einschließlich:

• Code-Generierungs-Benchmarks: HumanEval, MBPP, BigCodeBench, etc.
• Bearbeitungs-Evaluierung: SWE-bench, CodeEditorBench, etc.
• Modell-Technische Berichte: GPT-4o, Claude, Qwen2.5-Coder, etc.
• Werkzeuge und Formate: Aider, GNU diffutils, etc.

Gesamtbewertung: Dies ist ein hochqualitatives systematisches Forschungspapier, das ein wichtiges Problem im Code-Bearbeitungsbereich präzise identifiziert und löst. Obwohl es in theoretischer Tiefe etwas zu wünschen übrig lässt, sind sein praktischer Wert und seine methodologischen Beiträge erheblich und von großer Bedeutung für die Förderung der Entwicklung von Code-Bearbeitungstechnologien.