2025-11-29T10:22:18.756657

Blockchain-Based Federated Learning: Incentivizing Data Sharing and Penalizing Dishonest Behavior

Jaberzadeh, Shrestha, Khan et al.
With the increasing importance of data sharing for collaboration and innovation, it is becoming more important to ensure that data is managed and shared in a secure and trustworthy manner. Data governance is a common approach to managing data, but it faces many challenges such as data silos, data consistency, privacy, security, and access control. To address these challenges, this paper proposes a comprehensive framework that integrates data trust in federated learning with InterPlanetary File System, blockchain, and smart contracts to facilitate secure and mutually beneficial data sharing while providing incentives, access control mechanisms, and penalizing any dishonest behavior. The experimental results demonstrate that the proposed model is effective in improving the accuracy of federated learning models while ensuring the security and fairness of the data-sharing process. The research paper also presents a decentralized federated learning platform that successfully trained a CNN model on the MNIST dataset using blockchain technology. The platform enables multiple workers to train the model simultaneously while maintaining data privacy and security. The decentralized architecture and use of blockchain technology allow for efficient communication and coordination between workers. This platform has the potential to facilitate decentralized machine learning and support privacy-preserving collaboration in various domains.
academic

Blockchain-Based Federated Learning: Incentivizing Data Sharing and Penalizing Dishonest Behavior

基本信息

  • 论文ID: 2307.10492
  • 标题: Blockchain-Based Federated Learning: Incentivizing Data Sharing and Penalizing Dishonest Behavior
  • 作者: Amir Jaberzadeh, Ajay Kumar Shrestha, Faijan Ahamad Khan, Mohammed Afaan Shaikh, Bhargav Dave, Jason Geng
  • 机构: Bayes Solutions (美国) 和 Vancouver Island University (加拿大)
  • 分类: cs.LG (Machine Learning)
  • 发表时间: 2023年7月
  • 论文链接: https://arxiv.org/abs/2307.10492

摘要

本文针对数据共享中的安全性和信任问题，提出了一个综合性框架，将联邦学习与区块链、智能合约和IPFS（星际文件系统）相结合。该框架通过提供激励机制、访问控制和惩罚机制来促进安全且互惠的数据共享。实验结果表明，该模型在MNIST数据集上训练CNN模型时达到了95%以上的准确率，同时确保了数据共享过程的安全性和公平性。该平台支持多个工作节点同时训练模型，并通过去中心化架构和区块链技术维护数据隐私和安全。

研究背景与动机

1. 要解决的核心问题

本研究针对以下几个关键挑战：

  • 数据孤岛问题：不同组织间的数据难以共享和整合
  • 隐私和安全：集中式数据存储和共享存在隐私泄露风险
  • 信任缺失：参与者之间缺乏可靠的信任机制
  • 激励不足：缺乏有效的激励机制促进高质量数据共享
  • 恶意行为：需要防范和惩罚提供低质量数据或恶意数据的参与者

2. 问题的重要性

随着数据共享在协作和创新中的重要性日益增加，确保数据以安全可信的方式管理和共享变得至关重要。传统的数据治理方法面临数据一致性、兼容性、隐私、安全、访问控制、所有权和共享奖励等多重挑战。

3. 现有方法的局限性

  • 传统联邦学习：依赖中心服务器，存在单点故障风险，且中心服务器可能受到攻击，危及整个系统的隐私
  • 集中式存储：增加数据泄露风险，并引发数据所有权和控制权问题
  • 现有FedAvg变体：虽然提出了多种改进方案（如动量方法、自适应学习率等），但在隐私保护、激励机制和恶意行为防范方面仍有不足

4. 研究动机

本文旨在通过整合区块链、智能合约、IPFS和加密技术，构建一个去中心化的联邦学习框架，同时解决隐私保护、激励机制、访问控制和恶意行为惩罚等多重问题。

核心贡献

  1. 提出了综合性的去中心化联邦学习框架：将数据信任、IPFS、区块链和智能合约整合到联邦学习中，实现安全且互惠的数据共享
  2. 设计了基于抵押的激励和惩罚机制：通过智能合约要求参与者提供抵押金，对提供低质量或恶意数据的参与者进行经济惩罚，并将罚金分配给诚实参与者
  3. 实现了双重加密方案：结合对称加密（AES）和非对称加密（RSA）保护模型和数据的机密性，仅增加2%的计算开销
  4. 构建了基于IPFS的去中心化模型存储：避免集中式存储的风险，支持点对点的模型共享
  5. 验证了框架的有效性：在MNIST数据集上实现了95%以上的准确率，证明了去中心化架构的可行性和效率

方法详解

任务定义

本文研究的任务是构建一个去中心化的联邦学习平台，使多个参与者（工作节点）能够在不共享原始数据的前提下，协作训练一个全局机器学习模型。系统需要满足以下要求：

  • 输入：各工作节点的本地数据集、初始模型、训练轮数、奖励总额
  • 输出：训练完成的全局模型
  • 约束条件：保护数据隐私、防范恶意行为、公平分配奖励、去中心化架构

模型架构

1. 整体架构设计

系统包含两类角色：

  • 请求者（Requester）：发起联邦学习任务，部署智能合约，设置训练参数（轮数N、奖励总额D），将初始模型推送到IPFS
  • 工作节点（Workers）：参与训练任务，在本地数据上训练模型，评估其他节点的模型，根据性能获得奖励

核心组件：

  • 区块链和智能合约：协调FL任务，管理参与者信息，分配奖励和惩罚
  • IPFS存储：去中心化存储训练模型
  • 加密模块：保护模型和数据的机密性

2. 各模块功能和实现

a) 数据信任、访问控制和激励机制

  • 参与者需要注册并提供抵押金（collateral deposit）
  • 抵押金作为经济惩罚手段，防止参与者提供低质量或误导性数据
  • 如果参与者行为不诚实，抵押金将被没收并分配给诚实参与者
  • 智能合约根据参与者的贡献更新和分配总补偿
  • 确保每个参与者只能注册一次，补偿仅在总补偿金额为正时分配

b) IPFS存储

  • 使用InterPlanetary File System作为点对点分布式文件系统
  • 模型存储在用户设备上，无需集中式存储
  • 降低数据泄露风险，增强数据所有权和控制权

c) 机密性和隐私保护

  • 采用混合加密方案：
    • 使用对称密钥（AES）加密实际数据/模型
    • 使用非对称密钥（RSA）加密对称密钥
    • 确保只有拥有相应私钥的接收者才能解密数据
  • 使用Python的cryptography库实现加密功能
  • 实现了加密模型状态的获取、解密和推送方法
  • 优化内存使用：维护已推送模型的哈希列表，达到指定数量后清空

d) 智能合约功能 智能合约包含以下关键函数：

  • initializeTask：请求者初始化FL任务，设置模型URI和轮数，要求存入押金
  • startTask：请求者启动任务，状态变为"运行中"
  • joinTask：工作节点加入任务，注册并获取模型URI
  • submitScore：工作节点提交每轮评估后的模型得分
  • removeWorker：工作节点退出任务
  • nextRound：请求者推进到下一轮
  • getSubmissions：请求者获取当前轮次所有提交
  • submitRoundTopK：获取表现最佳的前K名工作节点
  • distributeRewards：向表现最佳的工作节点分配奖励（前K名获得一半奖励，其余分配较小份额）

3. 工作流程

  1. 初始化阶段：
    • 请求者部署智能合约，设置训练轮数N和总奖励D
    • 请求者将初始模型推送到IPFS
    • 工作节点通过智能合约加入任务
  2. 训练阶段（共N轮）：
    • 每轮开始时，工作节点从IPFS获取所有其他工作节点的训练模型
    • 工作节点在本地数据上评估这些模型，计算得分
    • 得分提交到智能合约
    • 智能合约聚合得分，确定前K名表现最佳的工作节点
    • 根据性能分配奖励
    • 工作节点在本地数据上训练模型
    • 训练后的模型推送到IPFS
    • 重复N轮
  3. 结束阶段：
    • 训练完成后，请求者从IPFS获取最终全局模型
    • 调用智能合约函数关闭任务

4. 聚合/平均方法

  • 工作节点从IPFS存储中获取自己的模型和其他工作节点的模型
  • 使用平均函数将所有模型相加并除以贡献模型的工作节点数量
  • 得到平均模型以提高准确性
  • 该方法避免了集中式FedAvg中中心服务器与客户端之间的大量通信，降低了通道阻塞和隐私攻击风险

技术创新点

1. 与baseline方法的区别

  • 去中心化架构：不依赖中心服务器，避免单点故障和隐私攻击
  • 经济激励机制：通过抵押金和奖励系统激励诚实行为，惩罚恶意行为
  • 双重加密：结合AES和RSA，在保证安全性的同时将开销控制在2%
  • 区块链+IPFS：利用区块链的不可篡改性和IPFS的去中心化存储

2. 设计合理性分析

  • 抵押金机制：通过经济手段有效约束参与者行为，比纯技术手段更具威慑力
  • 性能评估多维度：考虑准确率、一致性、精确率和召回率等多个指标，全面评估工作节点贡献
  • 混合加密：对称加密效率高（适合大数据），非对称加密安全性高（适合密钥交换），两者结合兼顾效率和安全
  • IPFS存储：自然契合去中心化架构，内容寻址机制保证数据完整性

实验设置

数据集

  • 数据集名称：MNIST手写数字数据集
  • 数据规模：
    • 训练集：60,000张图像
    • 测试集：10,000张图像
  • 任务：分类0-9的手写数字
  • 数据分配：训练集在训练开始时均匀分配给各工作节点
  • 评估：每个工作节点使用测试集进行评估和评分

评价指标

  • 准确率（Accuracy）：正确分类的百分比
  • 精确率（Precision）：0.973
  • 召回率（Recall）：0.97
  • 收敛时间：模型达到目标准确率所需的时间

对比方法

  • 加密 vs 未加密：对比双重加密对收敛时间的影响
  • 不同工作节点数量：3个工作节点 vs 5个工作节点

实现细节

  • 模型：简单的前馈神经网络（CNN），N层
  • 框架：PyTorch
  • 区块链：Ethereum区块链
  • 模拟环境：Ganache（本地Ethereum区块链测试环境）
  • 硬件：Xeon CPU，8核
  • 训练方式：在本地机器上实现去中心化客户端-服务器系统，顺序执行（也可并行）
  • 最大轮数：90个epochs

实验结果

主要结果

1. 性能分析

  • 准确率：在90个epochs内达到95%以上的准确率
  • 精确率：0.973
  • 召回率：0.97
  • 总训练时间（3个工作节点）：6525.46秒
  • 每个工作节点收敛时间：约36分钟
  • 结论：收敛时间与去中心化联邦学习框架相当

2. 加密开销分析

  • 双重加密额外开销：
    • 所有3个工作节点总计：2分34秒
    • 每个工作节点：51秒
    • 通信成本占比：仅为收敛所需时间的2%
  • 结论：双重加密和解密过程以及安全密钥对传输协议的开销极小，在保证相同准确率的情况下可接受

3. 工作节点数量对比

  • 3个工作节点：
    • 准确率模式更稳定
    • 原因：每个工作节点拥有更多训练数据
  • 5个工作节点：
    • 在相似的epochs数量内达到可接受的准确率
    • 可以加速训练过程，扩展训练规模
    • 降低每个工作节点所需的计算能力，使低端设备也能作为计算节点
  • 结论：
    • 增加工作节点数量不会对模型收敛产生负面影响
    • 工作节点数量应根据训练数据集的比例选择
    • 在实际场景中，增加训练数据集可以提高多工作节点模型的稳定性

消融实验

论文主要进行了加密开销的消融实验：

  • 对比了使用双重加密和不使用加密的收敛时间
  • 证明了加密机制仅增加2%的开销，验证了设计的高效性

案例分析

论文展示了训练过程中准确率的演变：

  • 所有三个工作节点初始准确率较低
  • 在第一轮（3个epochs）内准确率显著提升
  • 随后工作节点依次训练，准确率稳步提升
  • 最终所有工作节点都达到95%以上的准确率

实验发现

  1. 去中心化架构可行性：实验证明去中心化联邦学习可以达到与集中式方法相当的性能
  2. 加密开销可控：双重加密方案仅增加2%的时间开销，证明了安全性和效率的良好平衡
  3. 可扩展性：增加工作节点数量不会损害模型性能，反而可以加速训练并降低单个节点的计算要求
  4. 数据分配的重要性：工作节点数量应与训练数据集规模相匹配，以保持训练稳定性

相关工作

1. 联邦学习领域

  • FedAvg及其变体：
    • FedAvg 2：基础的联邦平均算法
    • 动量方法 6：用于本地客户端训练
    • 自适应FedAvg 7：采用自适应学习率
    • 懒惰和量化梯度 8：减少通信
    • Newton型方案 9：FedDANE
  • 去中心化梯度下降：
    • DGD及其变体 10-13
    • DSGD 14：去中心化随机梯度下降
    • 异步DSGD 15
    • 量化DSGD 16

2. 区块链+联邦学习

  • 智能医疗 18：使用区块链和联邦学习的隐私保护架构
  • 车联网 19：基于区块链的联邦学习方案，采用基于声誉的激励机制

3. 本文相比相关工作的优势

  • 综合性框架：整合了激励机制、惩罚机制、访问控制和隐私保护
  • 高效加密：双重加密方案开销仅2%
  • 实用性：在真实数据集上验证了有效性
  • 经济激励：创新性地引入抵押金机制，从经济角度约束参与者行为

结论与讨论

主要结论

  1. 提出的去中心化联邦学习架构成功整合了区块链、智能合约和IPFS，实现了安全高效的全局模型训练
  2. 实验结果表明，该框架在90个epochs内达到95%以上的准确率，收敛时间与集中式联邦学习框架相当
  3. 双重加密方案仅增加2%的最小开销，证明了安全性和效率的良好平衡
  4. 该方法通过建立利益相关者之间的信任、促进互惠数据共享、阻止可能危及数据安全和准确性的行为，有效解决了数据管理和共享的多重挑战

局限性

  1. 实验规模：仅在本地机器上进行了顺序执行测试，未在大规模分布式环境中验证
  2. 数据集单一：仅使用MNIST数据集，缺乏在更复杂数据集和任务上的验证
  3. 区块链成本：未详细分析区块链交易成本和可扩展性问题
  4. 恶意行为检测：抵押金机制依赖于准确的性能评估，但未深入讨论如何检测更复杂的恶意行为（如模型投毒攻击）
  5. 工作节点选择：未讨论如何动态选择和管理工作节点，以及如何处理节点动态加入和退出
  6. 实际部署挑战：未涉及实际部署中的网络延迟、节点异构性等问题

未来方向

论文明确提出的未来研究方向：

  • 可扩展性研究：探索在真实世界场景中的可扩展性
  • 可行性验证：在实际应用中验证模型的可行性

其他潜在方向：

  • 在更复杂的数据集和任务上测试框架
  • 研究更高级的恶意行为检测和防御机制
  • 优化区块链交易成本和吞吐量
  • 开发动态工作节点管理机制
  • 研究异构设备和网络条件下的性能

深度评价

优点

1. 方法的创新性

  • 多技术融合：创新性地将区块链、智能合约、IPFS和加密技术整合到联邦学习中，形成完整的生态系统
  • 经济激励机制：抵押金和奖励系统从经济角度约束参与者行为，是技术手段的有效补充
  • 混合加密方案：AES+RSA的组合兼顾了效率和安全性

2. 实验的充分性

  • 提供了准确率、精确率、召回率等多维度评估
  • 对比了加密和未加密的性能差异
  • 测试了不同工作节点数量的影响
  • 提供了具体的时间和性能数据

3. 结果的说服力

  • 95%以上的准确率证明了方法的有效性
  • 2%的加密开销证明了方案的实用性
  • 收敛时间与现有方法相当，证明了竞争力

4. 写作的清晰度

  • 架构设计清晰，流程描述详细
  • 提供了系统架构图和实验结果图
  • 智能合约函数功能描述完整

不足

1. 方法的局限性

  • 恶意行为检测不足：主要依赖性能评估，对模型投毒、梯度攻击等高级攻击缺乏防御
  • 抵押金设定：未讨论如何确定合理的抵押金额度
  • 拜占庭容错：未明确说明系统能容忍多少恶意节点

2. 实验设置的缺陷

  • 数据集过于简单：MNIST是经典但简单的数据集，难以反映复杂场景
  • 缺乏真实环境测试：仅在本地机器上顺序执行，未在真实分布式环境中测试
  • 缺乏对比实验：未与其他区块链+联邦学习方案进行直接对比
  • 区块链成本未分析：未提供Gas费用、交易延迟等关键指标

3. 分析的不足之处

  • 可扩展性分析缺失：未讨论当工作节点数量大幅增加时的性能
  • 网络条件影响：未考虑不同网络条件下的表现
  • 异构性处理：未讨论设备异构性和数据异构性的影响
  • 理论分析不足：缺乏收敛性证明和理论保证

影响力

1. 对领域的贡献

  • 综合性解决方案：提供了一个整合多种技术的完整框架，为后续研究提供了参考
  • 实用导向：关注激励机制和恶意行为惩罚，更贴近实际应用需求
  • 开拓性工作：在区块链+联邦学习领域进行了有益探索

2. 实用价值

  • 隐私保护：适用于医疗、金融等隐私敏感领域
  • 去中心化：适合不信任中心服务器的场景
  • 激励机制：可促进数据共享和协作
  • 但实际部署仍面临挑战：区块链成本、可扩展性等问题需要进一步解决

3. 可复现性

  • 优点：
    • 详细描述了系统架构和工作流程
    • 提供了智能合约函数说明
    • 说明了使用的技术栈（PyTorch、Ethereum、Ganache等）
  • 不足：
    • 未开源代码
    • 缺少详细的超参数设置
    • 未提供智能合约的完整代码

适用场景

1. 高度适用场景

  • 医疗数据协作：多医院联合训练模型，保护患者隐私
  • 金融风控：多银行共享数据特征，不暴露原始数据
  • 联邦推荐系统：多平台协作改进推荐算法
  • 边缘计算：IoT设备协作训练模型

2. 适用条件

  • 参与者之间缺乏信任，不愿使用中心服务器
  • 数据隐私要求高，不能集中存储
  • 需要激励机制促进数据共享
  • 可以接受一定的区块链交易成本

3. 不太适用场景

  • 对实时性要求极高的应用（区块链交易有延迟）
  • 参与者数量极大的场景（可扩展性限制）
  • 计算资源极其受限的设备（加密和区块链操作有开销）
  • 已有可信中心服务器的场景（去中心化的必要性降低）

参考文献

论文引用了21篇重要文献，关键文献包括：

  1. Delacroix & Lawrence (2019): 数据信任的底层方法
  2. McMahan et al. (2017): FedAvg算法的原始论文
  3. Sun et al. (2022): 去中心化联邦平均的最新进展
  4. Singh et al. (2022): 区块链和联邦学习在IoT医疗中的应用
  5. Wang et al. (2022): 基于区块链的车联网隐私保护联邦学习
  6. Shrestha et al. (2020, 2021): 用户数据共享的区块链平台和激励机制设计

总结

本文提出了一个创新性的区块链联邦学习框架，通过整合多种技术（区块链、智能合约、IPFS、混合加密）解决了去中心化机器学习中的信任、激励和隐私问题。实验验证了方法的有效性，但在实际部署、可扩展性和复杂攻击防御方面仍需进一步研究。该工作为隐私保护的协作机器学习提供了有价值的思路，特别是在医疗、金融等敏感领域具有应用潜力。