A Ratio-Based Shapley Value for Collaborative Machine Learning - Extended Version

基本信息

• 论文ID: 2510.13261
• 标题: A Ratio-Based Shapley Value for Collaborative Machine Learning - Extended Version
• 作者: Björn Filter, Ralf Möller, Özgür Lütfü Özçep (University of Hamburg, Germany)
• 分类: cs.GT (Game Theory), cs.AI (Artificial Intelligence)
• 发表时间: 2025年10月15日
• 论文链接: https://arxiv.org/abs/2510.13261v1

摘要

协作机器学习使多个数据拥有者能够联合训练模型以提高预测性能。然而，确保激励兼容性和基于贡献的公平奖励分配仍然是一个关键挑战。Sim等人的先前工作通过基于每个参与方数据贡献的Shapley值来分配模型奖励（非货币且可自由复制），该贡献通过信息增益来衡量。本文引入了一种基于比率的Shapley值，用相对贡献度量替代标准的加法公式。虽然整体奖励框架（包括激励定义和模型奖励设置）与Sim等人保持一致，但底层价值函数根本不同。这种替代估值导致不同的模型奖励分配，并提供了分析激励属性的新视角。

研究背景与动机

问题定义

协作机器学习中的核心问题是如何在多个数据拥有者之间公平地分配模型奖励，确保：

1. 激励兼容性：参与者有动机贡献数据
2. 公平性：奖励与实际贡献成比例
3. 可行性：奖励分配在技术上可实现

问题重要性

随着AI系统越来越依赖多智能体协作，确保公平和激励兼容的合作机制对于技术可靠性和伦理可行性都至关重要。这涉及AI安全中的AI对齐和协作AI等复杂挑战。

现有方法的局限性

传统的合作博弈论假设奖励是不可分割且不可复制的，但在协作学习中：

• 奖励是训练好的模型或数据集，可无限复制
• 加法边际贡献可能无法反映参与者数据的上下文重要性
• 例如：将弱模型准确率从10%提升到20%比将强模型从90%提升到92%可能更有意义，但加法方法会更多奖励后者

研究动机

本文提出用乘法（基于比率）贡献替代加法增益，捕获每个参与者对模型性能的相对影响，特别适用于：

• 数据质量异构的场景
• 存在冗余贡献的情况
• 早期阶段的模型构建

核心贡献

1. 提出了基于比率的Shapley值：用相对改进度量替代绝对边际贡献
2. 保持理论保证：证明新方法满足与加法Shapley值相同的激励和公平性公理
3. 提供数学基础：为加法Shapley框架提供了有原则的替代方案
4. 揭示非唯一性：表明当前公理框架允许多种兼容机制，而非唯一确定Shapley值

方法详解

任务定义

考虑N个参与者的协作学习设置，每个参与者i ∈ N拥有私有数据集，需要决定是否将其贡献给联合联盟进行模型训练。建模为特征形式的合作博弈：

• 参与者集合：N
• 价值函数：v : 2^N → R≥0，其中v(∅) = 0
• 单调性：∀C' ⊆ C ⊆ N, v(C') ≤ v(C)

核心技术创新

1. 比率边际贡献定义

对于参与者i ∈ N和联盟C ⊆ N \ {i}，相对边际贡献定义为：

Δ^rel_{i,C} := {
    v_{C∪{i}}/v_C - 1, if v_C ≠ 0
    0, else
}

2. 基于比率的Shapley值

参与者i的基于比率的Shapley值为：

φ^rel_i := (1/n!) ∑_{π∈Π_N} Δ^rel_{i,S_{π,i}}

其中Π_N是N的所有排列集合，S_{π,i}是排列π中i之前的参与者联盟。

3. ρ-缩放奖励机制

为满足弱效率性（R3），应用ρ-缩放：

r_i = (φ^rel_i/φ*_C)^ρ × v_C

其中φ*C = max{i∈C} φ^rel_i确保标准化，ρ ∈ 0,1控制奖励大小，在公平性和社会福利最大化之间进行权衡。

理论保证

激励公理（R1-R5）

• R1 非负性：每个参与者获得非负奖励
• R2 可行性：奖励不超过联盟价值
• R3 弱效率性：至少一个参与者获得联盟全部价值
• R4 个体理性：奖励至少等于单独行动的价值
• R5 公平性：满足公平性公理F1-F4

公平性公理（F1-F4）

• F1 无用性：无贡献者获得零奖励
• F2 对称性：相同贡献者获得相等奖励
• F3 严格期望性：更大贡献者获得更多奖励
• F4 严格单调性：贡献增加时奖励增加

实验设置

合成实验设计

创建7个智能体{1,...,7}，设置：

• 单独价值：v_i = √i
• 联盟价值：v_C = √(∑_{i∈C} i)

对比方法

将基于比率的奖励R_i与Sim等人的加法Shapley奖励A_i进行比较：

R_i = (φ^rel_i/φ^{rel,*})^ρ × v_C
A_i = (φ^add_i/φ^{add,*})^ρ × v_C

实验结果

主要发现

1. 奖励分布差异：虽然两种方法在极端情况下（ρ=0或ρ=1）近似收敛，但在中间区域奖励曲线显著不同
2. 对低排名参与者更公平：基于比率的方法对低排名参与者（蓝色和橙色线）的奖励下降更缓慢，因为他们在较弱联盟中提供不成比例的高相对价值
3. 对高贡献者的调节：虽然高贡献者仍获得显著更大奖励，但基于比率的方法中他们的奖励略小，因为相对贡献不如绝对贡献那么显著

优势场景

1. 异构数据质量：少量高质量数据可显著改善弱模型
2. 冗余贡献：边际加法增益因重叠信息变小的情况
3. 早期阶段建模：绝对增益小但相对改进大的场景

相关工作

合作博弈论基础

• Shapley值7：基于期望边际加法贡献的经典方法
• 传统假设奖励不可分割且不可复制11,10

协作机器学习

• Sim等人9：首次将Shapley值应用于可复制模型奖励
• 联邦学习中的数据估值11
• 数据Banzhaf等鲁棒数据估值框架10

本文相对优势

提供了在比例公平性和上下文贡献更重要的场景下的有原则替代方案，同时保持相同的理论保证。

结论与讨论

主要结论

1. 理论等价性：基于比率的Shapley值满足与加法版本相同的所有激励和公平性公理
2. 实践差异性：在奖励分配上产生显著不同的行为，特别是对相对贡献的重视
3. 非唯一性发现：当前公理框架不唯一确定Shapley值，允许多种兼容机制存在

局限性

1. 计算复杂性：与原始Shapley值面临相同的指数级计算挑战
2. 参数敏感性：ρ参数的选择影响个体理性和稳定性
3. 应用场景限制：更适合相对改进比绝对增益更重要的场景

未来方向

1. 完整特征化：需要形式化表示定理，描述满足激励感知公理的所有函数
2. 公理扩展：可能需要新公理来区分加法和比例公平性
3. 混合方案：探索在加法和基于比率值之间插值的混合奖励方案
4. 实证评估：在真实协作学习数据集上的经验行为研究

深度评价

优点

1. 理论严谨性：提供了完整的数学证明，确保所有关键性质得到满足
2. 概念创新性：从加法转向乘法推理提供了新的公平性视角
3. 实用价值：特别适合数据异构或冗余的协作学习场景
4. 框架兼容性：完全兼容现有的ρ-缩放机制和分析工具

不足

1. 实验有限性：仅提供合成实验，缺乏真实数据集验证
2. 计算效率：未讨论计算优化或近似算法
3. 参数指导：缺乏ρ参数选择的实用指导
4. 应用案例：需要更多具体应用领域的案例研究

影响力

1. 理论贡献：揭示了协作学习奖励机制设计的更大空间
2. 实践指导：为不同应用场景提供了方法选择依据
3. 研究启发：开启了关于公平性公理完整性和唯一性的重要问题

适用场景

1. 医疗AI协作：机构间数据质量差异显著
2. 联邦学习：设备能力和数据分布异构
3. 文档数字化：历史文献价值的相对重要性评估
4. 传感器网络：数据冗余和互补性并存的环境

参考文献

主要参考文献包括：

• Shapley, L.S. (1953): A value for n-person games - Shapley值的原始定义
• Sim, R.H.L. et al. (2020): Collaborative machine learning with incentive-aware model rewards - 本文扩展的基础工作
• Chalkiadakis, G. et al. (2011): Computational aspects of cooperative game theory - 合作博弈论计算方面
• 其他相关的AI安全、协作AI和数据估值文献

总结：本文提供了一个在数学上严谨的Shapley值替代方案，特别适合重视相对贡献而非绝对差异的协作机器学习场景。虽然理论贡献显著，但需要更多实证验证和实际应用案例来充分证明其实用价值。