Un Valor de Shapley Basado en Ratios para Aprendizaje Automático Colaborativo - Versión Extendida

Información Básica

• ID del Artículo: 2510.13261
• Título: A Ratio-Based Shapley Value for Collaborative Machine Learning - Extended Version
• Autores: Björn Filter, Ralf Möller, Özgür Lütfü Özçep (Universidad de Hamburgo, Alemania)
• Clasificación: cs.GT (Teoría de Juegos), cs.AI (Inteligencia Artificial)
• Fecha de Publicación: 15 de octubre de 2025
• Enlace del Artículo: https://arxiv.org/abs/2510.13261v1

Resumen

El aprendizaje automático colaborativo permite que múltiples propietarios de datos entrenen conjuntamente modelos para mejorar el rendimiento predictivo. Sin embargo, garantizar la compatibilidad de incentivos y la distribución equitativa de recompensas basada en contribuciones sigue siendo un desafío crítico. Trabajos previos de Sim et al. asignan recompensas de modelos (no monetarias y libremente replicables) basadas en el valor de Shapley de la contribución de datos de cada participante, medida mediante ganancia de información. Este artículo introduce un valor de Shapley basado en ratios, reemplazando la fórmula aditiva estándar con una métrica de contribución relativa. Aunque el marco general de recompensas (incluyendo definiciones de incentivos y configuración de recompensas de modelos) se mantiene consistente con Sim et al., la función de valor subyacente es fundamentalmente diferente. Esta valuación alternativa resulta en distribuciones de recompensas de modelos distintas y proporciona nuevas perspectivas para analizar propiedades de incentivos.

Antecedentes de Investigación y Motivación

Definición del Problema

El problema central en el aprendizaje automático colaborativo es cómo distribuir equitativamente las recompensas de modelos entre múltiples propietarios de datos, asegurando:

1. Compatibilidad de Incentivos: Los participantes tienen motivación para contribuir datos
2. Equidad: Las recompensas son proporcionales a las contribuciones reales
3. Viabilidad: La distribución de recompensas es técnicamente implementable

Importancia del Problema

Con sistemas de IA cada vez más dependientes de la colaboración multiagente, garantizar mecanismos de cooperación equitativos y compatibles con incentivos es crítico tanto para la confiabilidad técnica como para la viabilidad ética. Esto implica desafíos complejos como alineación de IA y IA colaborativa en seguridad de IA.

Limitaciones de Métodos Existentes

La teoría de juegos cooperativos tradicional asume que las recompensas son indivisibles e irreplicables, pero en aprendizaje colaborativo:

• Las recompensas son modelos entrenados o conjuntos de datos, infinitamente replicables
• Las contribuciones marginales aditivas pueden no reflejar la importancia contextual de los datos de los participantes
• Por ejemplo: mejorar la precisión de un modelo débil del 10% al 20% puede ser más significativo que mejorar un modelo fuerte del 90% al 92%, pero los métodos aditivos recompensarían más al segundo

Motivación de la Investigación

Este artículo propone reemplazar contribuciones aditivas con contribuciones multiplicativas (basadas en ratios), capturando el impacto relativo de cada participante en el rendimiento del modelo, particularmente adecuado para:

• Escenarios con calidad de datos heterogénea
• Situaciones con contribuciones redundantes
• Construcción de modelos en etapas tempranas

Contribuciones Principales

1. Propone un Valor de Shapley Basado en Ratios: Reemplaza contribuciones marginales absolutas con medidas de mejora relativa
2. Mantiene Garantías Teóricas: Demuestra que el nuevo método satisface los mismos axiomas de incentivos y equidad que el valor de Shapley aditivo
3. Proporciona Fundamentos Matemáticos: Ofrece una alternativa principiada al marco de Shapley aditivo
4. Revela No Unicidad: Demuestra que el marco axiomático actual no determina únicamente el valor de Shapley, permitiendo múltiples mecanismos compatibles

Detalle de la Metodología

Definición de la Tarea

Considere un entorno de aprendizaje colaborativo con N participantes, donde cada participante i ∈ N posee un conjunto de datos privado y debe decidir si contribuirlo a una coalición conjunta para entrenamiento de modelos. Se modela como un juego cooperativo en forma característica:

• Conjunto de Participantes: N
• Función de Valor: v : 2^N → R≥0, donde v(∅) = 0
• Monotonía: ∀C' ⊆ C ⊆ N, v(C') ≤ v(C)

Innovaciones Técnicas Principales

1. Definición de Contribución Marginal Relativa

Para un participante i ∈ N y una coalición C ⊆ N \ {i}, la contribución marginal relativa se define como:

Δ^rel_{i,C} := {
    v_{C∪{i}}/v_C - 1, if v_C ≠ 0
    0, else
}

2. Valor de Shapley Basado en Ratios

El valor de Shapley basado en ratios para el participante i es:

φ^rel_i := (1/n!) ∑_{π∈Π_N} Δ^rel_{i,S_{π,i}}

donde Π_N es el conjunto de todas las permutaciones de N, y S_{π,i} es la coalición de participantes anteriores a i en la permutación π.

3. Mecanismo de Recompensa con Escalado ρ

Para satisfacer eficiencia débil (R3), se aplica escalado ρ:

r_i = (φ^rel_i/φ*_C)^ρ × v_C

donde φ*C = max{i∈C} φ^rel_i asegura normalización, y ρ ∈ 0,1 controla la magnitud de recompensas, equilibrando entre equidad y maximización del bienestar social.

Garantías Teóricas

Axiomas de Incentivos (R1-R5)

• R1 No Negatividad: Cada participante recibe recompensa no negativa
• R2 Viabilidad: Las recompensas no exceden el valor de la coalición
• R3 Eficiencia Débil: Al menos un participante recibe el valor completo de la coalición
• R4 Racionalidad Individual: Las recompensas son al menos iguales al valor de actuar solo
• R5 Equidad: Satisface los axiomas de equidad F1-F4

Axiomas de Equidad (F1-F4)

• F1 Inutilidad: Los participantes sin contribución reciben recompensa cero
• F2 Simetría: Los participantes con contribuciones idénticas reciben recompensas iguales
• F3 Expectativa Estricta: Los participantes con mayor contribución reciben más recompensa
• F4 Monotonía Estricta: Las recompensas aumentan cuando aumenta la contribución

Configuración Experimental

Diseño de Experimentos Sintéticos

Se crean 7 agentes {1,...,7}, configurados con:

• Valor individual: v_i = √i
• Valor de coalición: v_C = √(∑_{i∈C} i)

Métodos de Comparación

Se comparan recompensas basadas en ratios R_i con recompensas de Shapley aditivo de Sim et al. A_i:

R_i = (φ^rel_i/φ^{rel,*})^ρ × v_C
A_i = (φ^add_i/φ^{add,*})^ρ × v_C

Resultados Experimentales

Hallazgos Principales

1. Diferencias en Distribución de Recompensas: Aunque ambos métodos convergen aproximadamente en casos extremos (ρ=0 o ρ=1), las curvas de recompensas difieren significativamente en regiones intermedias
2. Mayor Equidad para Participantes de Bajo Rango: El método basado en ratios muestra una disminución más lenta de recompensas para participantes de bajo rango (líneas azul y naranja), ya que proporcionan un valor relativo desproporcionadamente alto en coaliciones más débiles
3. Moderación para Contribuyentes Altos: Aunque los contribuyentes altos aún reciben recompensas significativamente mayores, en el método basado en ratios sus recompensas son ligeramente menores, ya que las contribuciones relativas no son tan prominentes como las absolutas

Escenarios de Ventaja

1. Calidad de Datos Heterogénea: Pequeñas cantidades de datos de alta calidad mejoran significativamente modelos débiles
2. Contribuciones Redundantes: Casos donde la ganancia marginal aditiva disminuye por información superpuesta
3. Modelado en Etapas Tempranas: Escenarios donde la ganancia absoluta es pequeña pero la mejora relativa es grande

Trabajo Relacionado

Fundamentos de Teoría de Juegos Cooperativos

• Valor de Shapley 7: Método clásico basado en contribuciones marginales aditivas esperadas
• Suposiciones tradicionales de recompensas indivisibles e irreplicables 11,10

Aprendizaje Automático Colaborativo

• Sim et al. 9: Primera aplicación del valor de Shapley a recompensas de modelos replicables
• Estimación de datos en aprendizaje federado 11
• Marcos de estimación de datos robustos como Banzhaf de datos 10

Ventaja Relativa de Este Artículo

Proporciona una alternativa principiada en escenarios donde la equidad proporcional y la contribución contextual son más importantes, manteniendo simultáneamente las mismas garantías teóricas.

Conclusiones y Discusión

Conclusiones Principales

1. Equivalencia Teórica: El valor de Shapley basado en ratios satisface todos los mismos axiomas de incentivos y equidad que la versión aditiva
2. Diferencia Práctica: Produce comportamientos significativamente diferentes en la distribución de recompensas, particularmente en énfasis en contribuciones relativas
3. Hallazgo de No Unicidad: El marco axiomático actual no determina únicamente el valor de Shapley, permitiendo múltiples mecanismos compatibles

Limitaciones

1. Complejidad Computacional: Enfrenta los mismos desafíos de computación exponencial que el valor de Shapley original
2. Sensibilidad Paramétrica: La elección del parámetro ρ afecta la racionalidad individual y la estabilidad
3. Restricción de Escenarios de Aplicación: Más adecuado para escenarios donde la mejora relativa es más importante que la ganancia absoluta

Direcciones Futuras

1. Caracterización Completa: Se necesita un teorema de representación formal que describa todas las funciones que satisfacen axiomas sensibles a incentivos
2. Extensión de Axiomas: Posiblemente se requieran nuevos axiomas para distinguir entre equidad aditiva y proporcional
3. Esquemas Híbridos: Explorar esquemas de recompensa híbrida que interpolen entre valores aditivos y basados en ratios
4. Evaluación Empírica: Investigación del comportamiento empírico en conjuntos de datos reales de aprendizaje colaborativo

Evaluación Profunda

Fortalezas

1. Rigor Teórico: Proporciona pruebas matemáticas completas asegurando que todas las propiedades clave se satisfacen
2. Innovación Conceptual: El cambio del razonamiento aditivo al multiplicativo proporciona nuevas perspectivas sobre equidad
3. Valor Práctico: Particularmente adecuado para escenarios de aprendizaje colaborativo con datos heterogéneos o redundantes
4. Compatibilidad de Marco: Completamente compatible con mecanismos de escalado ρ existentes y herramientas de análisis

Insuficiencias

1. Limitación Experimental: Solo proporciona experimentos sintéticos, carece de validación en conjuntos de datos reales
2. Eficiencia Computacional: No discute optimizaciones computacionales o algoritmos de aproximación
3. Orientación Paramétrica: Carece de orientación práctica para la selección del parámetro ρ
4. Casos de Aplicación: Necesita más estudios de casos en dominios de aplicación específicos

Impacto

1. Contribución Teórica: Revela un espacio más amplio para el diseño de mecanismos de recompensa en aprendizaje colaborativo
2. Orientación Práctica: Proporciona base para la selección de métodos en diferentes escenarios de aplicación
3. Inspiración para Investigación: Abre preguntas importantes sobre completitud y unicidad de axiomas de equidad

Escenarios de Aplicabilidad

1. IA Médica Colaborativa: Diferencias significativas en calidad de datos entre instituciones
2. Aprendizaje Federado: Heterogeneidad en capacidades de dispositivos y distribución de datos
3. Digitalización de Documentos: Evaluación de importancia relativa de literatura histórica
4. Redes de Sensores: Entornos donde coexisten redundancia y complementariedad de datos

Referencias

Las referencias principales incluyen:

• Shapley, L.S. (1953): A value for n-person games - Definición original del valor de Shapley
• Sim, R.H.L. et al. (2020): Collaborative machine learning with incentive-aware model rewards - Trabajo base extendido por este artículo
• Chalkiadakis, G. et al. (2011): Computational aspects of cooperative game theory - Aspectos computacionales de teoría de juegos cooperativos
• Otra literatura relacionada en seguridad de IA, IA colaborativa y estimación de datos

Resumen: Este artículo proporciona una alternativa al valor de Shapley matemáticamente rigurosa, particularmente adecuada para escenarios de aprendizaje automático colaborativo donde se valorizan las contribuciones relativas sobre diferencias absolutas. Aunque la contribución teórica es significativa, se requiere más validación empírica y casos de aplicación práctica para demostrar plenamente su valor práctico.