2025-11-15T08:40:12.184468

Privacy-Preserving Distributed Estimation with Limited Data Rate

Ke, Wang, Zhang
This paper focuses on the privacy-preserving distributed estimation problem with a limited data rate, where the observations are the sensitive information. Specifically, a binary-valued quantizer-based privacy-preserving distributed estimation algorithm is developed, which improves the algorithm's privacy-preserving capability and simultaneously reduces the communication costs. The algorithm's privacy-preserving capability, measured by the Fisher information matrix, is dynamically enhanced over time. Notably, the Fisher information matrix of the output signals with respect to the sensitive information converges to zero at a polynomial rate, and the improvement in privacy brought by the quantizers is quantitatively characterized as a multiplicative effect. Regarding the communication costs, each sensor transmits only 1 bit of information to its neighbours at each time step. Additionally, the assumption on the negligible quantization error for real-valued messages is not required. While achieving the requirements of privacy preservation and reducing communication costs, the algorithm ensures that its estimates converge almost surely to the true value of the unknown parameter by establishing a co-design guideline for the time-varying privacy noises and step-sizes. A polynomial almost sure convergence rate is obtained, and then the trade-off between privacy and convergence rate is established. Numerical examples demonstrate the main results.
academic

Privacy-Preserving Distributed Estimation with Limited Data Rate

基本信息

  • 论文ID: 2510.12549
  • 标题: Privacy-Preserving Distributed Estimation with Limited Data Rate
  • 作者: Jieming Ke, Jimin Wang, Ji-Feng Zhang
  • 分类: eess.SY (Systems and Control), cs.SY (Systems and Control)
  • 发表期刊: IEEE Transactions on Automatic Control
  • 论文链接: https://arxiv.org/abs/2510.12549

摘要

本文研究在有限数据传输速率下的隐私保护分布式估计问题，其中观测数据是敏感信息。文章提出了一种基于二进制量化器的隐私保护分布式估计算法，在提升隐私保护能力的同时降低了通信成本。该算法的隐私保护能力通过Fisher信息矩阵衡量，并随时间动态增强。Fisher信息矩阵以多项式速率收敛到零，量化器带来的隐私改进被量化表征为乘性效应。在通信成本方面，每个传感器在每个时间步仅向邻居传输1比特信息。此外，不需要实值消息量化误差可忽略的假设。在实现隐私保护和降低通信成本的同时，算法通过建立时变隐私噪声和步长的协同设计指导原则，确保估计值几乎必然收敛到未知参数的真值。

研究背景与动机

问题定义

本文要解决的核心问题是在分布式传感器网络中，如何在保护观测数据隐私的同时，实现参数的准确估计，并且要求通信开销尽可能小。

重要性分析

  1. 实际应用需求：在医疗研究中，不同医院需要共享临床观测数据进行联合分析，但这些数据涉及患者隐私
  2. 通信资源限制：实际分布式系统中，通信带宽和能耗是重要约束
  3. 隐私泄露风险：传统分布式估计算法直接传输估计值或观测数据，容易导致敏感信息泄露

现有方法局限性

  1. 同态加密方法：虽然提供高维安全性，但计算复杂度高
  2. 随机混淆方法：需要传输实值消息，在数字网络中产生量化误差和高通信成本
  3. 现有量化方法：依赖于实值消息量化误差可忽略的假设，且估计值不收敛到真值

研究动机

本文旨在设计一种同时满足以下三个要求的算法：

  1. 隐私保护能力随时间动态增强
  2. 每个传感器每时间步仅传输1比特信息
  3. 估计值几乎必然收敛到真值

核心贡献

  1. 量化隐私改进：首次定量表征了量化器对隐私保护的改进效果，在高斯隐私噪声下，二进制量化器可将隐私保护水平提升至少π/2倍
  2. 动态增强隐私：提出动态增强隐私概念，Fisher信息矩阵以多项式速率收敛到零，支持多种噪声类型（高斯、拉普拉斯、重尾噪声）
  3. 极低通信开销：实现每传感器每时间步1比特通信，是现有量化隐私保护算法中最低的数据传输率
  4. 协同设计框架：建立时变隐私噪声和步长的协同设计指导原则，确保量化通信下的几乎必然收敛
  5. 隐私-收敛权衡：建立隐私保护与收敛速率之间的权衡关系，为实际应用提供参数选择指导

方法详解

任务定义

考虑N个传感器的分布式系统，传感器i观测未知参数θ ∈ ℝⁿ：

y_{i,k} = H_{i,k}θ + w_{i,k}

其中y_{i,k}是敏感观测数据，需要在保护隐私的前提下进行分布式参数估计。

模型架构

1. 二进制量化器设计

核心创新是将实值估计信息转换为二进制信号：

  • 如果k = nq + l，传感器i生成压缩向量φ_k，其第l个元素为1，其余为0
  • 计算标量x_{i,k} = φ_k^T θ̂_{i,k-1}
  • 生成隐私噪声d_{ij,k}，并产生二进制信号：
s_{ij,k} = {
  1,  if x_{i,k} + d_{ij,k} ≤ C_{ij}
  -1, otherwise
}

2. 算法1：二进制量化器隐私保护分布式估计

隐私保护步骤：使用二进制量化器将前一时刻估计值转换为二进制信号
信息融合步骤：θ̌_{i,k} = θ̂_{i,k-1} + φ_k ∑_{j∈N_{i,k}} α_{ij,k}a_{ij,k}(s_{ij,k} - s_{ji,k})
估计更新步骤：θ̂_{i,k} = θ̌_{i,k} + β_{i,k}H̄_i^T(y_{i,k} - H̄_iθ̂_{i,k-1})

3. Fisher信息隐私度量

使用Fisher信息矩阵I_S(y)作为隐私度量：

I_S(y) = E[[(∂ln(P(S|y))/∂y)][(∂ln(P(S|y))/∂y)]^T|y]

较小的Fisher信息意味着更好的隐私保护。

技术创新点

1. 信号比较机制

与传统量化方法不同，本文使用相邻二进制信号的比较(s_{ij,k} - s_{ji,k})进行信息融合，避免了偏压缩规则的限制。

2. 协同设计准则

建立隐私噪声分布{F_{ij,k}(·)}和步长序列{α_{ij,k}, β_{i,k}}的协同设计：

  • 隐私噪声可以是时变的，甚至允许多项式增长
  • 步长设计需满足随机逼近条件并考虑量化通信特性

3. 马尔可夫切换拓扑

支持通信图在G^{(1)}, ..., G^{(M)}之间马尔可夫切换，模拟链路故障等实际情况。

实验设置

数据集

  • 传感器网络：8个传感器系统
  • 通信拓扑：4个切换图（图1所示），马尔可夫链切换
  • 参数设置：θ = 1, -1^T，传感器失效概率0.5
  • 噪声模型：观测噪声为零均值高斯噪声，标准差0.1

评价指标

  1. 估计误差：(1/100N)∑∑||θ̃^ς_{i,k}||²
  2. 隐私水平：EI_S(y_{i,k})的上界
  3. 收敛速率：多项式收敛率分析

对比方法

  • 文献18方法：传统差分隐私分布式估计
  • 文献28算法2：二进制通信但不考虑隐私
  • 无通信情况：验证通信必要性

实现细节

  • 步长：α_{ij,k} = 3/k^{0.8}，β_{i,k} = 3/k（k≥8时）
  • 隐私噪声：高斯N(0,σ²_{ij,k})、拉普拉斯Lap(0,b_{ij,k})、柯西Cauchy(0,r_{ij,k})
  • 噪声参数：σ_{ij,k} = b_{ij,k} = r_{ij,k} = k^{0.15}

实验结果

主要结果

1. 收敛性验证（图2）

  • 本文算法在三种隐私噪声下均实现收敛
  • 相比文献18，达到相似估计误差但隐私保护更好
  • 相比文献28，1000次迭代后估计误差更小
  • 无通信情况下估计不收敛，验证通信必要性

2. 隐私保护效果（图3）

  • Fisher信息矩阵非零元素的上界随时间递减
  • 三种隐私噪声类型均实现动态增强隐私
  • 隐私保护水平显著优于文献18

3. 隐私-收敛权衡（图4）

  • 不同χ值（1.3, 1.6, 1.9）展示权衡关系
  • χ值越大，隐私保护越好但收敛越慢
  • 验证了理论分析的权衡关系

消融实验

  • 移除φ_k的影响：在高维情况下（n=12），移除φ_k的修改算法收敛更快
  • 不同噪声类型比较：高斯、拉普拉斯、柯西噪声均有效

案例分析

医疗应用实验

  • 数据：281299名英国白人高血压事件率分析
  • 设置：20传感器网络，事件率θ≈0.2699
  • 结果：成功实现隐私保护的分布式估计

实验发现

  1. 1比特通信可行性：证明极低通信开销下仍可实现有效估计
  2. 增长噪声兼容性：算法可处理随时间增长的隐私噪声
  3. 重尾噪声鲁棒性：柯西分布等重尾噪声不影响收敛

相关工作

隐私保护方法分类

  1. 同态加密方法5-8：高安全性但计算复杂度高
  2. 随机混淆方法9-14：计算复杂度低但需实值传输
  3. 状态分解方法15和隐私掩码方法16

量化通信研究

  1. 无限级量化1：传统分布式估计
  2. 有限数据率21-27：基于偏压缩规则，需实值消息假设
  3. 二进制策略28,29：估计不收敛到真值

量化隐私保护

  1. 动态量化加密30：结合同态加密
  2. 抖动格量化31-34：实现差分隐私但缺乏定量分析

结论与讨论

主要结论

  1. 理论贡献：首次定量表征量化器对隐私的乘性改进效应
  2. 算法性能：实现动态增强隐私、1比特通信、几乎必然收敛
  3. 实用价值：提供隐私-收敛权衡的参数选择指导

局限性

  1. 维度限制：φ_k机制在高维参数时收敛较慢（可通过修改缓解）
  2. 噪声假设：需要满足特定的噪声分布假设
  3. 网络拓扑：假设联合连通性，实际网络可能更复杂

未来方向

  1. 分布式优化扩展：将方法应用到分布式优化问题
  2. 观测矩阵保护：扩展到保护测量矩阵H_{i,k}的隐私
  3. 自适应参数选择：开发自适应的隐私噪声和步长选择策略

深度评价

优点

  1. 理论严谨性：提供完整的收敛性和隐私性理论分析，包括几乎必然收敛率和Fisher信息收敛速率
  2. 实用创新性：1比特通信是现有方法中最低的，具有重要实用价值
  3. 统一框架：支持多种噪声类型（高斯、拉普拉斯、柯西），分析框架统一
  4. 定量表征：首次量化分析量化器对隐私的改进效应

不足

  1. 复杂性分析缺失：未提供算法的计算复杂度分析
  2. 参数选择指导：虽然提供理论指导，但实际参数选择仍需经验
  3. 大规模验证不足：实验规模相对较小，缺乏大规模网络验证

影响力

  1. 理论贡献：Fisher信息框架下的隐私分析为后续研究奠定基础
  2. 实用价值：极低通信开销使算法适用于资源受限环境
  3. 跨领域应用：医疗、智能电网等多领域应用前景

适用场景

  1. 医疗数据共享：多医院联合研究场景
  2. 物联网传感：资源受限的传感器网络
  3. 智能电网：分布式状态估计与隐私保护
  4. 金融风控：多机构协同风险评估

参考文献

论文引用了60篇相关文献，涵盖分布式估计、隐私保护、量化通信等多个领域的重要工作，为研究提供了坚实的理论基础。

总体评价：这是一篇高质量的理论与应用并重的论文，在隐私保护分布式估计领域做出了重要贡献。算法设计巧妙，理论分析严谨，实验验证充分，具有重要的学术价值和实用意义。