Une Valeur de Shapley Basée sur le Ratio pour l'Apprentissage Automatique Collaboratif - Version Étendue

Informations Fondamentales

• ID de l'article: 2510.13261
• Titre: A Ratio-Based Shapley Value for Collaborative Machine Learning - Extended Version
• Auteurs: Björn Filter, Ralf Möller, Özgür Lütfü Özçep (Université de Hambourg, Allemagne)
• Classification: cs.GT (Théorie des Jeux), cs.AI (Intelligence Artificielle)
• Date de publication: 15 octobre 2025
• Lien de l'article: https://arxiv.org/abs/2510.13261v1

Résumé

L'apprentissage automatique collaboratif permet à plusieurs propriétaires de données de former conjointement des modèles pour améliorer les performances prédictives. Cependant, assurer la compatibilité incitative et une distribution équitable des récompenses basée sur la contribution reste un défi clé. Les travaux antérieurs de Sim et al. distribuent les récompenses du modèle (non monétaires et librement reproductibles) en fonction de la valeur de Shapley basée sur la contribution de données de chaque partie, mesurée par le gain d'information. Cet article introduit une valeur de Shapley basée sur le ratio, remplaçant la formule additive standard par une mesure de contribution relative. Bien que le cadre global des récompenses (y compris les définitions incitatives et la configuration des récompenses du modèle) reste cohérent avec Sim et al., la fonction de valeur sous-jacente est fondamentalement différente. Cette évaluation alternative conduit à une distribution différente des récompenses du modèle et fournit une nouvelle perspective pour analyser les propriétés incitatives.

Contexte de Recherche et Motivation

Définition du Problème

Le problème central de l'apprentissage automatique collaboratif est de savoir comment distribuer équitablement les récompenses du modèle entre plusieurs propriétaires de données, en garantissant:

1. Compatibilité incitative: Les participants sont motivés à contribuer des données
2. Équité: Les récompenses sont proportionnelles aux contributions réelles
3. Faisabilité: La distribution des récompenses est techniquement réalisable

Importance du Problème

Avec les systèmes d'IA dépendant de plus en plus de la collaboration multi-agents, assurer des mécanismes de coopération équitables et compatibles avec les incitations est crucial pour la fiabilité technique et la viabilité éthique. Cela implique des défis complexes tels que l'alignement de l'IA et l'IA collaborative en matière de sécurité de l'IA.

Limitations des Approches Existantes

La théorie classique des jeux coopératifs suppose que les récompenses sont indivisibles et non reproductibles, mais dans l'apprentissage collaboratif:

• Les récompenses sont des modèles entraînés ou des ensembles de données, reproductibles à l'infini
• Les contributions marginales additives peuvent ne pas refléter l'importance contextuelle des données des participants
• Par exemple: améliorer la précision d'un modèle faible de 10% à 20% peut être plus significatif que d'améliorer un modèle fort de 90% à 92%, mais les méthodes additives récompensent davantage cette dernière

Motivation de la Recherche

Cet article propose de remplacer les gains additifs par des contributions multiplicatives (basées sur le ratio), capturant l'impact relatif de chaque participant sur les performances du modèle, particulièrement adapté à:

• Les scénarios avec qualité de données hétérogène
• Les situations avec contributions redondantes
• La construction de modèles en phase précoce

Contributions Principales

1. Proposition d'une valeur de Shapley basée sur le ratio: Remplaçant les contributions marginales absolues par des mesures d'amélioration relative
2. Maintien des garanties théoriques: Preuve que la nouvelle méthode satisfait les mêmes axiomes incitatifs et d'équité que la valeur de Shapley additive
3. Fourniture de fondations mathématiques: Fournit une alternative principielle au cadre de Shapley additif
4. Révélation de la non-unicité: Montre que le cadre axiomatique actuel n'établit pas de manière unique la valeur de Shapley, permettant l'existence de multiples mécanismes compatibles

Détails de la Méthode

Définition de la Tâche

Considérez un paramètre d'apprentissage collaboratif avec N participants, où chaque participant i ∈ N possède un ensemble de données privé et doit décider de le contribuer à une coalition conjointe pour l'entraînement du modèle. Modélisé comme un jeu coopératif sous forme caractéristique:

• Ensemble de participants: N
• Fonction de valeur: v : 2^N → R≥0, où v(∅) = 0
• Monotonie: ∀C' ⊆ C ⊆ N, v(C') ≤ v(C)

Innovations Techniques Principales

1. Définition de la Contribution Marginale Relative

Pour un participant i ∈ N et une coalition C ⊆ N \ {i}, la contribution marginale relative est définie comme:

Δ^rel_{i,C} := {
    v_{C∪{i}}/v_C - 1, si v_C ≠ 0
    0, sinon
}

2. Valeur de Shapley Basée sur le Ratio

La valeur de Shapley basée sur le ratio pour le participant i est:

φ^rel_i := (1/n!) ∑_{π∈Π_N} Δ^rel_{i,S_{π,i}}

où Π_N est l'ensemble de toutes les permutations de N, et S_{π,i} est la coalition des participants précédant i dans la permutation π.

3. Mécanisme de Récompense Échelonné par ρ

Pour satisfaire l'efficacité faible (R3), appliquez l'échelonnage ρ:

r_i = (φ^rel_i/φ*_C)^ρ × v_C

où φ*C = max{i∈C} φ^rel_i assure la normalisation, et ρ ∈ 0,1 contrôle l'ampleur des récompenses, établissant un équilibre entre l'équité et la maximisation du bien-être social.

Garanties Théoriques

Axiomes Incitatifs (R1-R5)

• R1 Non-négativité: Chaque participant reçoit une récompense non-négative
• R2 Faisabilité: Les récompenses ne dépassent pas la valeur de la coalition
• R3 Efficacité faible: Au moins un participant reçoit la valeur complète de la coalition
• R4 Rationalité individuelle: Les récompenses sont au moins égales à la valeur de l'action solitaire
• R5 Équité: Satisfait les axiomes d'équité F1-F4

Axiomes d'Équité (F1-F4)

• F1 Inutilité: Les contributeurs nuls reçoivent une récompense nulle
• F2 Symétrie: Les contributeurs identiques reçoivent des récompenses égales
• F3 Expectativité stricte: Les contributeurs plus importants reçoivent plus de récompenses
• F4 Monotonie stricte: Les récompenses augmentent lorsque les contributions augmentent

Configuration Expérimentale

Conception d'Expériences Synthétiques

Création de 7 agents {1,...,7}, avec configuration:

• Valeur individuelle: v_i = √i
• Valeur de coalition: v_C = √(∑_{i∈C} i)

Méthodes Comparatives

Comparaison des récompenses basées sur le ratio R_i avec les récompenses de Shapley additives A_i de Sim et al.:

R_i = (φ^rel_i/φ^{rel,*})^ρ × v_C
A_i = (φ^add_i/φ^{add,*})^ρ × v_C

Résultats Expérimentaux

Découvertes Principales

1. Différences de distribution des récompenses: Bien que les deux méthodes convergent approximativement dans les cas extrêmes (ρ=0 ou ρ=1), les courbes de récompense diffèrent considérablement dans la région intermédiaire
2. Plus équitable pour les participants de faible rang: La méthode basée sur le ratio montre une diminution plus lente des récompenses pour les participants de faible rang (lignes bleues et orange), car ils fournissent une valeur relative disproportionnément élevée dans les coalitions plus faibles
3. Modération pour les contributeurs élevés: Bien que les contributeurs élevés reçoivent toujours des récompenses considérablement plus importantes, la méthode basée sur le ratio leur attribue des récompenses légèrement inférieures, car les contributions relatives ne sont pas aussi significatives que les contributions absolues

Scénarios d'Avantage

1. Qualité de données hétérogène: Une petite quantité de données de haute qualité peut améliorer considérablement un modèle faible
2. Contributions redondantes: Situations où les gains marginaux additifs diminuent en raison d'informations chevauchantes
3. Modélisation en phase précoce: Scénarios où les gains absolus sont petits mais les améliorations relatives sont importantes

Travaux Connexes

Fondations de la Théorie des Jeux Coopératifs

• Valeur de Shapley 7: Approche classique basée sur les contributions marginales additives attendues
• Hypothèses traditionnelles que les récompenses sont indivisibles et non reproductibles 11,10

Apprentissage Automatique Collaboratif

• Sim et al. 9: Première application de la valeur de Shapley aux récompenses de modèles reproductibles
• Évaluation des données dans l'apprentissage fédéré 11
• Cadres d'évaluation de données robustes comme Banzhaf 10

Avantages Relatifs de Cet Article

Fournit une alternative principielle dans les scénarios d'équité proportionnelle et où les contributions contextuelles sont plus importantes, tout en maintenant les mêmes garanties théoriques.

Conclusions et Discussion

Conclusions Principales

1. Équivalence théorique: La valeur de Shapley basée sur le ratio satisfait tous les mêmes axiomes incitatifs et d'équité que la version additive
2. Différence pratique: Produit un comportement significativement différent dans la distribution des récompenses, en particulier en mettant l'accent sur les contributions relatives
3. Découverte de non-unicité: Le cadre axiomatique actuel n'établit pas de manière unique la valeur de Shapley, permettant l'existence de multiples mécanismes compatibles

Limitations

1. Complexité computationnelle: Fait face aux mêmes défis de calcul exponentiel que la valeur de Shapley originale
2. Sensibilité aux paramètres: Le choix du paramètre ρ affecte la rationalité individuelle et la stabilité
3. Restriction des scénarios d'application: Plus adapté aux scénarios où l'amélioration relative est plus importante que les gains absolus

Directions Futures

1. Caractérisation complète: Nécessité de théorèmes de représentation formels décrivant toutes les fonctions satisfaisant les axiomes incitatifs
2. Extension des axiomes: Possibilité de nouveaux axiomes pour distinguer l'équité additive et proportionnelle
3. Schémas hybrides: Exploration de schémas de récompense hybrides interpolant entre les valeurs additives et basées sur le ratio
4. Évaluation empirique: Étude du comportement empirique sur des ensembles de données d'apprentissage collaboratif réels

Évaluation Approfondie

Points Forts

1. Rigueur théorique: Fournit des preuves mathématiques complètes assurant que toutes les propriétés clés sont satisfaites
2. Innovativité conceptuelle: Le passage du raisonnement additif au raisonnement multiplicatif offre une nouvelle perspective sur l'équité
3. Valeur pratique: Particulièrement adapté aux scénarios d'apprentissage collaboratif avec données hétérogènes ou redondantes
4. Compatibilité du cadre: Entièrement compatible avec le mécanisme d'échelonnage ρ existant et les outils d'analyse

Insuffisances

1. Limitation expérimentale: Fournit uniquement des expériences synthétiques, manque de validation sur des ensembles de données réels
2. Efficacité computationnelle: Ne discute pas des optimisations de calcul ou des algorithmes d'approximation
3. Orientation des paramètres: Manque de guidance pratique pour le choix du paramètre ρ
4. Études de cas d'application: Nécessite plus d'études de cas dans des domaines d'application spécifiques

Impact

1. Contribution théorique: Révèle un espace plus large pour la conception de mécanismes de récompense en apprentissage collaboratif
2. Guidance pratique: Fournit une base pour le choix des méthodes selon différents scénarios d'application
3. Inspiration pour la recherche: Ouvre des questions importantes sur l'exhaustivité et l'unicité des axiomes d'équité

Scénarios d'Application

1. IA Médicale Collaborative: Différences significatives de qualité de données entre institutions
2. Apprentissage Fédéré: Hétérogénéité des capacités des appareils et distribution des données
3. Numérisation de Documents: Évaluation de l'importance relative de la valeur des documents historiques
4. Réseaux de Capteurs: Environnements où la redondance et la complémentarité des données coexistent

Références

Les références principales incluent:

• Shapley, L.S. (1953): A value for n-person games - Définition originale de la valeur de Shapley
• Sim, R.H.L. et al. (2020): Collaborative machine learning with incentive-aware model rewards - Travail fondamental étendu par cet article
• Chalkiadakis, G. et al. (2011): Computational aspects of cooperative game theory - Aspects computationnels de la théorie des jeux coopératifs
• Autres littératures connexes sur la sécurité de l'IA, l'IA collaborative et l'évaluation des données

Résumé: Cet article fournit une alternative à la valeur de Shapley mathématiquement rigoureuse, particulièrement adaptée aux scénarios d'apprentissage automatique collaboratif valorisant les contributions relatives plutôt que les différences absolues. Bien que la contribution théorique soit significative, une validation empirique plus approfondie et des cas d'application réels sont nécessaires pour démontrer pleinement sa valeur pratique.