Hochleistungs-Trainings­daten­identifikation mit nachweisbaren statistischen Garantien

Grundinformationen

• Paper-ID: 2510.09717
• Titel: High-Power Training Data Identification with Provable Statistical Guarantees
• Autoren: Zhenlong Liu, Hao Zeng, Weiran Huang, Hongxin Wei
• Klassifikation: cs.LG cs.AI
• Veröffentlichungszeitpunkt/Konferenz: Preprint (Oktober 2025)
• Paper-Link: https://arxiv.org/abs/2510.09717

Zusammenfassung

Die Identifikation von Trainingsdaten in großskaligen Modellen ist für Urheberrechtsstreitigkeiten, Datenschutzprüfungen und die Gewährleistung fairer Bewertungen von entscheidender Bedeutung. Herkömmliche Methoden behandeln dies als einfache binäre Klassifikationsaufgabe ohne statistische Garantien. Neuere Ansätze haben zwar Mechanismen zur Kontrolle der False Discovery Rate (FDR) entwickelt, doch ihre Garantien beruhen auf leicht zu verletzenden starken Annahmen. Dieses Papier präsentiert die Provably Trainable Data Identification (PTDI)-Methode, ein Verfahren zur strikten Kontrolle der FDR. Die Methode berechnet p-Werte für jeden Datenpunkt unter Verwendung eines bekannten, ungesehenen Datensatzes und konstruiert dann einen konservativen Schätzer des Anteils der Testmengendaten, um diese p-Werte zu skalieren. Abschließend wird die endgültige Trainingsmenge durch Identifikation aller Punkte mit skalierten p-Werten unterhalb eines datenabhängigen Schwellwerts ausgewählt. Der gesamte Prozess erreicht nachweisbare strikte FDR-Kontrolle und zeigt deutlich verbesserte statistische Aussagekraft.

Forschungshintergrund und Motivation

Bedeutung des Problems

Mit der weit verbreiteten Bereitstellung von Machine-Learning-Modellen wird die Identifikation von Trainingsdaten zunehmend kritisch, was sich hauptsächlich in folgenden Aspekten manifestiert:

1. Urheberrechtsstreitigkeiten: Wie im Fall Strike 3 gegen Meta mit 2.396 urheberrechtlich geschützten Filmen und potenziellen gesetzlichen Schadensersatzzahlungen von über 350 Millionen Dollar
2. Datenschutz: Einhaltung von Datenschutzbestimmungen wie GDPR und CCPA
3. Datenverschmutzung: Gewährleistung der Fairness von Bewertungs-Benchmarks und Verhinderung von Trainingsdatenlecks

Einschränkungen bestehender Methoden

1. Herkömmliche Methoden: Behandeln die Erkennung von Trainingsdaten als einfache binäre Klassifikationsaufgabe ohne theoretische Garantien
2. Neuere Methoden: Wie die von Hu et al. (2025) vorgeschlagene Knockoff-Statistik-Methode, die zwar FDR kontrolliert, aber folgende Probleme aufweist:
   • Erfordert Zugriff auf Modellgradienten, nicht in Black-Box-Einstellungen verfügbar
   • Schwierig, effektive Knockoffs zu konstruieren, leicht zu verletzende symmetrische Verteilungsannahmen
   • Kann zu ungültiger FDR-Kontrolle führen

Forschungsmotivation

Dieses Papier zielt darauf ab, eine verteilungsunabhängige Methode zu entwickeln, die strikte FDR-Kontrolle sowohl in White-Box- als auch Black-Box-Einstellungen bietet und gleichzeitig höhere statistische Aussagekraft aufweist.

Kernbeiträge

1. PTDI-Methode: Ein neuartiges und universelles Verfahren, das verteilungsunabhängige endliche Stichproben-FDR-Kontrolle erreicht und mit bestehenden Erkennungsmethoden kombiniert werden kann
2. Theoretische Garantien: Bietet strikte theoretische Beweise (Theorem 1), die sicherstellen, dass PTDI die False Discovery Rate strikt kontrolliert
3. Umfangreiche experimentelle Validierung: Validierung der Methode über mehrere Modelle (LLM und VLM), Aufgaben (Vortraining und Feinabstimmung) und Datensätze
4. Praktikabilität: Modellunabhängige Methode, anwendbar auf Black-Box- und White-Box-Einstellungen, benötigt nur ungesehene Daten als Kalibrierungssatz

Methodische Details

Aufgabendefinition

Gegeben ein Zielmodell θ, ein Kalibrierungssatz D_cal (Größe n) und ein Testsatz D_test = {X_{n+j}}^m_, besteht das Ziel darin, eine Indexuntermenge S ⊆ {1,...,m} auszuwählen, sodass die False Discovery Rate auf einem benutzerdefinierten Niveau α ∈ (0,1) kontrolliert wird:

$\text{FDR} = E\left[\frac{\sum_{j=1}^m \mathbf{1}\{M_{n+j} = 0, j \in S\}}{\max(|S|, 1)}\right] \leq \alpha$

Kernalgorithmus: PTDI

Schritt 1: Konstruktion von Conformal p-Werten

Berechnung des p-Werts für jeden Testpunkt: $p_j = \frac{1 + \sum_{i=1}^n \mathbf{1}\{T_i \leq T_{n+j}\}}{n+1}$

wobei T(X;θ) ein Erkennungsscore ist (z.B. Perplexität), wobei niedrigere Scores eine höhere Wahrscheinlichkeit für Trainingsmitgliedschaft andeuten.

Schritt 2: Schätzung des Datennutzungsanteils

Verwendung des Subtraktionsschätzers π̂_sub zur Schätzung des Anteils der Trainingsdaten im Testsatz π_test: $\hat{\pi}_{sub} = 1 - \frac{\frac{1}{m+1}(1 + \sum_{j=1}^m \mathbf{1}\{T(X_{n+j}) \in R\})}{\frac{1}{n}\sum_{i=1}^n \mathbf{1}\{T(X_i) \in R\}}$

wobei R = (τ,+∞) ein spärlicher Mitgliedschaftsbereich ist, der durch einen Quantilschwellwert η konstruiert wird.

Schritt 3: Skalierung der p-Werte

Berechnung der skalierten p-Werte: $\tilde{p}_j = (1-\hat{\pi}_{test})p_j$

Schritt 4: Benjamini-Hochberg-Verfahren

Anwendung des BH-Verfahrens zur Auswahl der endgültigen Menge: $S = \{j | \tilde{p}_j \leq \frac{k^*}{m}\alpha\}$ wobei $k^* = \max\{k | \tilde{p}_{(k)} \leq \frac{k}{m}\alpha\}$

Technische Innovationen

1. Konservativer Schätzer-Design: Der Subtraktionsschätzer stellt sicher, dass E(1-π_test)/(1-π̂_sub) ≤ 1, wodurch die FDR-Kontrolle gewährleistet bleibt
2. p-Wert-Skalierungstechnik: Überwindung der Konservativität des Standard-BH-Verfahrens durch p-Wert-Skalierung, was die statistische Aussagekraft deutlich verbessert
3. Verteilungsunabhängige Garantien: Nicht abhängig von spezifischen Verteilungsannahmen, mit breiter Anwendbarkeit

Experimentelle Einrichtung

Datensätze

• LLM-Vortraining: WikiMIA, ArxivTection
• LLM-Feinabstimmung: XSum, BBC Real Time
• Vision-Language-Modelle: VL-MIA/Flickr, VL-MIA/DALL-E

Modelle

• LLM: GPT-2, GPT-Neo, GPT-NeoX-20B, LLaMA-7B, Pythia (1.4B und 6.9B)
• VLM: LLaVA-1.5, MiniGPT-4

Erkennungsscores

• LLM: Perplexität, Zlib-Komprimierungsverhältnis, MIN-K%, korrigierte Entropie (M-Entropy)
• VLM: MaxRényi-K%

Bewertungsmetriken

• FDR: Empirische Schätzung der False Discovery Rate
• Power: Statistische Aussagekraft, Anteil der korrekt identifizierten echten Mitglieder

Experimentelle Ergebnisse

Hauptergebnisse

Effektivität der FDR-Kontrolle

Die PTDI-Methode kontrolliert die FDR in allen experimentellen Einstellungen strikt unterhalb des Zielniveaus:

• Pythia-1.4B auf WikiMIA, Ziel-FDR=5%: PTDI erreicht 4,94% vs. KTD 13,11%
• Alle Modell- und Datensatzkombinationen zeigen tatsächliche FDR unterhalb des Zielniveaus

Verbesserung der statistischen Aussagekraft

Die p-Wert-Skalierung verbessert die statistische Aussagekraft deutlich:

• GPT-NeoX-20B auf WikiMIA, Ziel-FDR=0,5, MIN-K%-Score: Aussagekraft von 0,44 auf 0,75 verbessert
• Bei verschiedenen Ziel-FDR-Niveaus ist die Skalierungsmethode der Vanilla-Methode durchweg überlegen

Ablationsstudien

Einfluss der Kalibrierungssatzgröße

• Vergrößerung des Kalibrierungssatzes (ρ = n/m von 0,1 bis 1,0) reduziert die Varianz von FDP und Aussagekraft
• Alle ρ-Werte ermöglichen effektive FDR-Kontrolle

Robustheit des Hyperparameters η

• Im Bereich η ∈ {0,01, 0,05, 0,1, 0,5} kontrolliert die Methode robust die FDR
• Standardeinstellung η = 0,05

Robustheit gegenüber π_test-Variationen

• Bei verschiedenen Datennutzungsanteilen (π_test = 0,3, 0,5, 0,7) bleibt die FDR-Kontrolle erhalten

Vergleich mit KTD-Methode

• PTDI kontrolliert die FDR in allen Testeinstellungen strikt
• KTD verliert die Kontrolle auf WikiMIA und XSum bei einigen α-Werten
• Wenn die FDR-Kontrolle effektiv ist, ist PTDI auf GPT-2 aussagekräftiger

Angepasster Momentschätzer

Ein verzerrungskorrigierter Momentschätzer π̂_mom wird vorgeschlagen, der bei Verfügbarkeit von bestätigten Mitgliedsdaten die Aussagekraft weiter verbessert und gleichzeitig die FDR-Kontrolle beibehält.

Verwandte Arbeiten

Trainings­daten­erkennung in großskaligen Modellen

• Datenverschmutzungsforschung: Verhinderung von Benchmark-Datenlecks in Trainingsmengen
• Heuristische Erkennungsscores: Perplexität, MIN-k% und andere Methoden ohne theoretische Garantien
• Statistisch strikte Methoden: Methoden von Dekoninck et al. und Oren et al. gelten nur für Datensatz-Level-Annahmen

Membership Inference Attacks

• Datenschutzperspektive: MIA zielt darauf ab, festzustellen, ob spezifische Datenpunkte zum Training verwendet wurden
• Binäre Klassifikationsmethoden: Fokus auf durchschnittliche Klassifikationsgenauigkeit
• Hypothesentestrahmen: Methoden wie Attack-P priorisieren TPR bei niedriger FPR

FDR-Kontrolle

• Benjamini-Hochberg-Verfahren: Standard-FDR-Kontrollinstrument
• Conformal p-Werte: Methode von Jin & Candès erfordert starke i.i.d-Annahmen
• Knockoff-Statistik: Methode von Hu et al. erfordert hochwertige Knockoff-Generierung

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Die PTDI-Methode erreicht strikte FDR-Kontrolle mit verteilungsunabhängigen endlichen Stichprobengarantien
2. Die p-Wert-Skalierungstechnik verbessert die statistische Aussagekraft deutlich und behält theoretische Strenge bei
3. Die Methode hat breite Anwendbarkeit und kann mit bestehenden Erkennungsmethoden kombiniert werden

Einschränkungen

1. Kalibrierungssatz-Anforderung: Benötigt einen ungesehenen Datensatz-Kalibrierungssatz mit ähnlicher Verteilung wie der Testsatz
2. Heterogene Daten-Herausforderung: Für hochgradig heterogene Testdaten ist die Konstruktion eines repräsentativen Kalibrierungssatzes schwierig
3. Verteilungsmismatch: Signifikanter Verteilungsmismatch zwischen Kalibrierungs- und Testdaten kann die FDR-Garantien ungültig machen

Zukünftige Richtungen

1. Entwicklung robusterer Schätzmethoden für Datennutzungsanteile
2. Untersuchung der FDR-Kontrolle unter Verteilungsmismatch-Bedingungen
3. Erweiterung auf komplexere Erkennungsszenarien

Tiefgreifende Bewertung

Stärken

1. Theoretische Strenge: Bietet vollständige mathematische Beweise und endliche Stichprobengarantien
2. Hohe Praktikabilität: Methode ist einfach zu implementieren und kann mit bestehenden Werkzeugen kombiniert werden
3. Umfangreiche Experimente: Breite Bewertung über mehrere Modelle, Aufgaben und Datensätze
4. Innovativität: p-Wert-Skalierungstechnik löst elegant das Konservativitätsproblem des BH-Verfahrens

Mängel

1. Annahmebeschränkungen: Abhängig von der Annahme, einen geeigneten Kalibrierungssatz erhalten zu können
2. Rechenkomplexität: Erfordert Berechnung von Erkennungsscores für eine große Anzahl von Kandidatendatenpunkten
3. Parameterauswahl: Obwohl robust gegenüber η, erfordert die optimale Auswahl noch empirische Anleitung

Auswirkungen

1. Akademischer Beitrag: Bietet das erste strikte statistische Rahmenwerk für die Trainings­daten­identifikation
2. Praktischer Wert: Direkter Anwendungswert in Urheberrechtsstreitigkeiten und Datenschutzprüfungen
3. Reproduzierbarkeit: Klare Algorithmusbeschreibung, leicht zu reproduzieren und zu erweitern

Anwendungsszenarien

1. Urheberrechtsschutz: Identifikation von urheberrechtlich geschützten Inhalten, die beim Modelltraining verwendet wurden
2. Datenschutzprüfung: Überprüfung, ob persönliche Daten beim Modelltraining verwendet wurden
3. Benchmark-Bewertung: Erkennung und Entfernung von Verschmutzungsproben in Bewertungsdatensätzen
4. Modellprüfung: Überprüfung der Modellkonformität in Regulierungsumgebungen

Referenzen

Das Papier zitiert mehrere wichtige Arbeiten, darunter:

• Benjamini & Hochberg (1995): Klassisches BH-Verfahren zur FDR-Kontrolle
• Shi et al. (2024): WikiMIA-Datensatz und MIN-K%-Erkennungsmethode
• Hu et al. (2025): Trainings­daten­erkennung basierend auf Knockoff-Statistik
• Jin & Candès (2023): Conformal p-Werte in Auswahlproblemen

Zusammenfassung: Dies ist ein Papier mit wichtigem theoretischem und praktischem Wert im Bereich der Trainings­daten­identifikation. Die PTDI-Methode bietet nicht nur strikte statistische Garantien, sondern zeigt auch hervorragende Leistung in praktischen Anwendungen. Diese Arbeit bietet wichtige Werkzeuge zur Lösung aktueller Probleme der Transparenz und Rechenschaftspflicht von KI-Modellen.