Ein verhältnisbasierter Shapley-Wert für kollaboratives maschinelles Lernen - Erweiterte Version

Grundlegende Informationen

• Papier-ID: 2510.13261
• Titel: A Ratio-Based Shapley Value for Collaborative Machine Learning - Extended Version
• Autoren: Björn Filter, Ralf Möller, Özgür Lütfü Özçep (Universität Hamburg, Deutschland)
• Klassifizierung: cs.GT (Spieltheorie), cs.AI (Künstliche Intelligenz)
• Veröffentlichungsdatum: 15. Oktober 2025
• Papier-Link: https://arxiv.org/abs/2510.13261v1

Zusammenfassung

Kollaboratives maschinelles Lernen ermöglicht es mehreren Dateneigentümern, Modelle gemeinsam zu trainieren, um die Vorhersageleistung zu verbessern. Die Sicherstellung von Anreizkompatibilität und beitragsbasierter fairer Belohnungsverteilung bleibt jedoch eine Schlüsselherausforderung. Frühere Arbeiten von Sim et al. verteilten Modellbelohnungen (nicht-monetär und frei replizierbar) basierend auf dem Shapley-Wert jeder Partei, wobei der Beitrag durch Informationsgewinn gemessen wurde. Dieses Papier führt einen verhältnisbasierten Shapley-Wert ein, der die standardmäßige additive Formel durch relative Beitragsmessungen ersetzt. Obwohl das Gesamtbelohnungsrahmenwerk (einschließlich Anreiz-Definitionen und Modellbelohnungseinstellungen) mit Sim et al. konsistent bleibt, unterscheidet sich die zugrunde liegende Wertfunktion grundlegend. Diese alternative Bewertung führt zu unterschiedlichen Modellbelohnungsverteilungen und bietet neue Perspektiven zur Analyse von Anreizeigenschaften.

Forschungshintergrund und Motivation

Problemdefinition

Das Kernproblem beim kollaborativen maschinellen Lernen ist die faire Verteilung von Modellbelohnungen zwischen mehreren Dateneigentümern unter Gewährleistung von:

1. Anreizkompatibilität: Teilnehmer haben einen Anreiz, Daten beizutragen
2. Fairness: Belohnungen sind proportional zu tatsächlichen Beiträgen
3. Machbarkeit: Belohnungsverteilung ist technisch umsetzbar

Bedeutung des Problems

Mit zunehmender Abhängigkeit von KI-Systemen von Multi-Agent-Zusammenarbeit ist die Sicherstellung fairer und anreizgerechter Kooperationsmechanismen sowohl für technische Zuverlässigkeit als auch ethische Machbarkeit entscheidend. Dies betrifft komplexe Herausforderungen in der KI-Sicherheit wie KI-Ausrichtung und kooperative KI.

Einschränkungen bestehender Ansätze

Traditionelle kooperative Spieltheorie geht davon aus, dass Belohnungen unteilbar und nicht replizierbar sind, aber beim kollaborativen Lernen:

• Belohnungen sind trainierte Modelle oder Datensätze, die unbegrenzt replizierbar sind
• Additive Grenzleistungen können die kontextuelle Bedeutung der Daten eines Teilnehmers möglicherweise nicht widerspiegeln
• Beispiel: Die Verbesserung der Modellgenauigkeit von 10% auf 20% könnte bedeutungsvoller sein als die Verbesserung von 90% auf 92%, aber additive Methoden würden letztere stärker belohnen

Forschungsmotivation

Dieses Papier schlägt vor, additive Gewinne durch multiplikative (verhältnisbasierte) Beiträge zu ersetzen, um die relative Auswirkung jedes Teilnehmers auf die Modellleistung zu erfassen, besonders geeignet für:

• Szenarien mit heterogener Datenqualität
• Situationen mit redundanten Beiträgen
• Modellaufbau in frühen Phasen

Kernbeiträge

1. Einführung eines verhältnisbasierten Shapley-Werts: Ersetzt absolute Grenzleistungen durch relative Verbesserungsmessungen
2. Beibehaltung theoretischer Garantien: Beweist, dass die neue Methode dieselben Anreiz- und Fairness-Axiome wie der additive Shapley-Wert erfüllt
3. Mathematische Grundlagen: Bietet einen prinzipiengestützten Alternativvorschlag zum additiven Shapley-Rahmenwerk
4. Offenlegung von Nicht-Eindeutigkeit: Zeigt, dass das aktuelle Axiom-Rahmenwerk den Shapley-Wert nicht eindeutig bestimmt, sondern mehrere kompatible Mechanismen zulässt

Methodische Details

Aufgabendefinition

Betrachten Sie eine kollaborative Lerneinstellung mit N Teilnehmern, wobei jeder Teilnehmer i ∈ N einen privaten Datensatz besitzt und entscheiden muss, ob dieser zur gemeinsamen Koalition für das Modelltraining beigetragen wird. Modelliert als kooperatives Spiel in charakteristischer Form:

• Teilnehmermenge: N
• Wertfunktion: v : 2^N → R≥0, wobei v(∅) = 0
• Monotonität: ∀C' ⊆ C ⊆ N, v(C') ≤ v(C)

Kernmethodische Innovationen

1. Definition der relativen Grenzleistung

Für Teilnehmer i ∈ N und Koalition C ⊆ N \ {i} ist die relative Grenzleistung definiert als:

Δ^rel_{i,C} := {
    v_{C∪{i}}/v_C - 1, wenn v_C ≠ 0
    0, sonst
}

2. Verhältnisbasierter Shapley-Wert

Der verhältnisbasierte Shapley-Wert für Teilnehmer i ist:

φ^rel_i := (1/n!) ∑_{π∈Π_N} Δ^rel_{i,S_{π,i}}

wobei Π_N die Menge aller Permutationen von N ist und S_{π,i} die Koalition von Teilnehmern vor i in Permutation π ist.

3. ρ-Skalierter Belohnungsmechanismus

Um schwache Effizienz (R3) zu erfüllen, wird ρ-Skalierung angewendet:

r_i = (φ^rel_i/φ*_C)^ρ × v_C

wobei φ*C = max{i∈C} φ^rel_i Normalisierung sichert und ρ ∈ 0,1 die Belohnungsgröße kontrolliert und zwischen Fairness und Maximierung des sozialen Wohlstands abwägt.

Theoretische Garantien

Anreiz-Axiome (R1-R5)

• R1 Nicht-Negativität: Jeder Teilnehmer erhält nicht-negative Belohnung
• R2 Machbarkeit: Belohnungen überschreiten nicht den Koalitionswert
• R3 Schwache Effizienz: Mindestens ein Teilnehmer erhält den gesamten Koalitionswert
• R4 Individuelle Rationalität: Belohnung ist mindestens gleich dem Wert des Alleinhandelns
• R5 Fairness: Erfüllt Fairness-Axiome F1-F4

Fairness-Axiome (F1-F4)

• F1 Nutzlosigkeit: Teilnehmer ohne Beitrag erhalten Null-Belohnung
• F2 Symmetrie: Teilnehmer mit identischen Beiträgen erhalten gleiche Belohnungen
• F3 Strikte Positivität: Teilnehmer mit größeren Beiträgen erhalten mehr Belohnung
• F4 Strikte Monotonität: Belohnung nimmt zu, wenn Beitrag zunimmt

Experimentelle Einrichtung

Synthetisches Experimentdesign

Erstellen Sie 7 Agenten {1,...,7} mit Einstellungen:

• Einzelne Werte: v_i = √i
• Koalitionswerte: v_C = √(∑_{i∈C} i)

Vergleichsmethoden

Vergleichen Sie verhältnisbasierte Belohnungen R_i mit additiven Shapley-Belohnungen A_i von Sim et al.:

R_i = (φ^rel_i/φ^{rel,*})^ρ × v_C
A_i = (φ^add_i/φ^{add,*})^ρ × v_C

Experimentelle Ergebnisse

Hauptergebnisse

1. Unterschiede in der Belohnungsverteilung: Obwohl beide Methoden in Extremfällen (ρ=0 oder ρ=1) annähernd konvergieren, unterscheiden sich die Belohnungskurven im mittleren Bereich erheblich
2. Fairere Behandlung von niedrig bewerteten Teilnehmern: Die verhältnisbasierte Methode zeigt einen langsameren Rückgang der Belohnungen für niedrig bewertete Teilnehmer (blaue und orangefarbene Linien), da sie in schwächeren Koalitionen einen überproportional hohen relativen Wert bieten
3. Moderation für Hochleistungsbeitragsteller: Obwohl Hochleistungsbeitragsteller weiterhin erheblich höhere Belohnungen erhalten, sind ihre Belohnungen in der verhältnisbasierten Methode etwas geringer, da relative Beiträge nicht so signifikant sind wie absolute Beiträge

Vorteilhafte Szenarien

1. Heterogene Datenqualität: Kleine Mengen hochqualitativer Daten können schwache Modelle erheblich verbessern
2. Redundante Beiträge: Situationen, in denen additive Grenzgewinne aufgrund überlappender Informationen kleiner werden
3. Modellaufbau in frühen Phasen: Szenarien mit kleinen absoluten Gewinnen, aber großen relativen Verbesserungen

Verwandte Arbeiten

Grundlagen der kooperativen Spieltheorie

• Shapley-Wert 7: Klassische Methode basierend auf erwarteten additiven Grenzleistungen
• Traditionelle Annahmen, dass Belohnungen unteilbar und nicht replizierbar sind 11,10

Kollaboratives maschinelles Lernen

• Sim et al. 9: Erste Anwendung des Shapley-Werts auf replizierbare Modellbelohnungen
• Datenbewertung im föderalen Lernen 11
• Robuste Datenbewertungsrahmenwerke wie Banzhaf 10

Relative Vorteile dieses Papiers

Bietet einen prinzipiengestützten Alternativvorschlag für Szenarien mit proportionaler Fairness und kontextueller Bedeutung von Beiträgen, während die gleichen theoretischen Garantien beibehalten werden.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Theoretische Äquivalenz: Der verhältnisbasierte Shapley-Wert erfüllt alle gleichen Anreiz- und Fairness-Axiome wie die additive Version
2. Praktische Unterschiede: Führt zu signifikant unterschiedlichem Verhalten bei der Belohnungsverteilung, besonders bei der Betonung relativer Beiträge
3. Nicht-Eindeutigkeitserkenntnis: Das aktuelle Axiom-Rahmenwerk bestimmt den Shapley-Wert nicht eindeutig und lässt mehrere kompatible Mechanismen zu

Einschränkungen

1. Rechenkomplexität: Steht vor den gleichen exponentiellen Rechenproblemen wie der ursprüngliche Shapley-Wert
2. Parameterempfindlichkeit: Die Wahl des ρ-Parameters beeinflusst individuelle Rationalität und Stabilität
3. Anwendungsszenario-Beschränkungen: Besser geeignet für Szenarien, in denen relative Verbesserungen wichtiger sind als absolute Gewinne

Zukünftige Richtungen

1. Vollständige Charakterisierung: Formalisierte Darstellungssätze sind erforderlich, die alle Funktionen beschreiben, die anreizgestützte Axiome erfüllen
2. Axiom-Erweiterung: Möglicherweise sind neue Axiome erforderlich, um zwischen additiver und proportionaler Fairness zu unterscheiden
3. Hybridansätze: Erkundung von Mischbelohnungsschemata, die zwischen additiven und verhältnisbasierten Werten interpolieren
4. Empirische Bewertung: Untersuchung des empirischen Verhaltens auf echten kollaborativen Lern-Datensätzen

Tiefgreifende Bewertung

Stärken

1. Theoretische Strenge: Bietet vollständige mathematische Beweise, die sicherstellen, dass alle Schlüsseleigenschaften erfüllt sind
2. Konzeptionelle Innovation: Der Übergang von additiver zu multiplikativer Logik bietet neue Fairness-Perspektiven
3. Praktischer Wert: Besonders geeignet für kollaborative Lernszenarien mit heterogenen oder redundanten Daten
4. Rahmenwerk-Kompatibilität: Vollständig kompatibel mit bestehenden ρ-Skalierungsmechanismen und Analysetools

Mängel

1. Begrenzte Experimente: Nur synthetische Experimente, fehlende Validierung mit echten Datensätzen
2. Rechnereffizienz: Keine Diskussion von Optimierungen oder Näherungsalgorithmen
3. Parameterleitung: Fehlende praktische Anleitung zur ρ-Parameterauswahl
4. Anwendungsfälle: Benötigt mehr Fallstudien aus spezifischen Anwendungsbereichen

Auswirkungen

1. Theoretischer Beitrag: Offenbart einen größeren Designraum für Belohnungsmechanismen beim kollaborativen Lernen
2. Praktische Anleitung: Bietet Grundlagen für Methodenauswahl in verschiedenen Anwendungsszenarien
3. Forschungsinspiration: Eröffnet wichtige Fragen zur Vollständigkeit und Eindeutigkeit von Fairness-Axiomen

Anwendbare Szenarien

1. Medizinische KI-Zusammenarbeit: Institutionen mit signifikanten Unterschieden in der Datenqualität
2. Föderales Lernen: Heterogene Gerätefähigkeiten und Datenverteilungen
3. Dokumentendigitalisierung: Bewertung der relativen Bedeutung historischer Dokumente
4. Sensornetzwerke: Umgebungen mit gleichzeitiger Datenredundanz und Komplementarität

Referenzen

Hauptreferenzen umfassen:

• Shapley, L.S. (1953): A value for n-person games - Ursprüngliche Definition des Shapley-Werts
• Sim, R.H.L. et al. (2020): Collaborative machine learning with incentive-aware model rewards - Grundlage dieser Arbeit
• Chalkiadakis, G. et al. (2011): Computational aspects of cooperative game theory - Rechnerische Aspekte der kooperativen Spieltheorie
• Weitere verwandte Literatur zu KI-Sicherheit, kooperativer KI und Datenbewertung

Zusammenfassung: Dieses Papier bietet einen mathematisch strengen Alternativvorschlag zum Shapley-Wert, besonders geeignet für kollaborative Lernszenarien, die relative statt absolute Unterschiede betonen. Obwohl der theoretische Beitrag erheblich ist, sind mehr empirische Validierungen und praktische Anwendungsfälle erforderlich, um seinen praktischen Wert vollständig nachzuweisen.