2025-11-15T08:40:12.184468

Privacy-Preserving Distributed Estimation with Limited Data Rate

Ke, Wang, Zhang
This paper focuses on the privacy-preserving distributed estimation problem with a limited data rate, where the observations are the sensitive information. Specifically, a binary-valued quantizer-based privacy-preserving distributed estimation algorithm is developed, which improves the algorithm's privacy-preserving capability and simultaneously reduces the communication costs. The algorithm's privacy-preserving capability, measured by the Fisher information matrix, is dynamically enhanced over time. Notably, the Fisher information matrix of the output signals with respect to the sensitive information converges to zero at a polynomial rate, and the improvement in privacy brought by the quantizers is quantitatively characterized as a multiplicative effect. Regarding the communication costs, each sensor transmits only 1 bit of information to its neighbours at each time step. Additionally, the assumption on the negligible quantization error for real-valued messages is not required. While achieving the requirements of privacy preservation and reducing communication costs, the algorithm ensures that its estimates converge almost surely to the true value of the unknown parameter by establishing a co-design guideline for the time-varying privacy noises and step-sizes. A polynomial almost sure convergence rate is obtained, and then the trade-off between privacy and convergence rate is established. Numerical examples demonstrate the main results.
academic

Estimation Distribuée Préservant la Confidentialité avec Débit de Données Limité

Informations Fondamentales

  • ID de l'article : 2510.12549
  • Titre : Privacy-Preserving Distributed Estimation with Limited Data Rate
  • Auteurs : Jieming Ke, Jimin Wang, Ji-Feng Zhang
  • Classification : eess.SY (Systèmes et Contrôle), cs.SY (Systèmes et Contrôle)
  • Journal de publication : IEEE Transactions on Automatic Control
  • Lien de l'article : https://arxiv.org/abs/2510.12549

Résumé

Cet article traite du problème de l'estimation distribuée préservant la confidentialité sous un débit de transmission de données limité, où les données d'observation sont des informations sensibles. L'article propose un algorithme d'estimation distribuée préservant la confidentialité basé sur des quantificateurs binaires, qui améliore la capacité de protection de la confidentialité tout en réduisant les coûts de communication. La capacité de protection de la confidentialité de l'algorithme est mesurée par la matrice d'information de Fisher et s'améliore dynamiquement au fil du temps. La matrice d'information de Fisher converge vers zéro à un taux polynomial, et l'amélioration de la confidentialité apportée par le quantificateur est caractérisée comme un effet multiplicatif. En termes de coûts de communication, chaque capteur transmet uniquement 1 bit d'information à ses voisins à chaque étape temporelle. De plus, aucune hypothèse sur l'erreur de quantification des messages à valeurs réelles n'est requise. Tout en réalisant la protection de la confidentialité et la réduction des coûts de communication, l'algorithme assure la convergence presque sûre de l'estimation vers la vraie valeur du paramètre inconnu en établissant des principes de conception conjointe du bruit de confidentialité variant dans le temps et de la longueur de pas.

Contexte et Motivation de la Recherche

Définition du Problème

Le problème fondamental abordé dans cet article est de savoir comment, dans un réseau de capteurs distribués, protéger la confidentialité des données d'observation tout en réalisant une estimation précise des paramètres, avec un surcoût de communication aussi faible que possible.

Analyse de l'Importance

  1. Besoins d'applications pratiques : Dans la recherche médicale, différents hôpitaux doivent partager des données d'observation cliniques pour une analyse conjointe, mais ces données impliquent la confidentialité des patients
  2. Limitations des ressources de communication : Dans les systèmes distribués réels, la bande passante de communication et la consommation d'énergie sont des contraintes importantes
  3. Risques de fuite de confidentialité : Les algorithmes d'estimation distribuée traditionnels transmettent directement les valeurs estimées ou les données d'observation, ce qui peut facilement entraîner une fuite d'informations sensibles

Limitations des Méthodes Existantes

  1. Méthodes de chiffrement homomorphe : Bien qu'elles offrent une sécurité de haut niveau, elles ont une complexité de calcul élevée
  2. Méthodes d'obfuscation aléatoire : Nécessitent la transmission de messages à valeurs réelles, produisant des erreurs de quantification et des coûts de communication élevés dans les réseaux numériques
  3. Méthodes de quantification existantes : Dépendent de l'hypothèse que l'erreur de quantification des messages à valeurs réelles est négligeable, et la valeur estimée ne converge pas vers la vraie valeur

Motivation de la Recherche

Cet article vise à concevoir un algorithme satisfaisant simultanément les trois exigences suivantes :

  1. La capacité de protection de la confidentialité s'améliore dynamiquement au fil du temps
  2. Chaque capteur transmet uniquement 1 bit d'information par étape temporelle
  3. La valeur estimée converge presque sûrement vers la vraie valeur

Contributions Principales

  1. Quantification de l'amélioration de la confidentialité : Première caractérisation quantitative de l'effet d'amélioration de la confidentialité du quantificateur ; sous bruit de confidentialité gaussien, le quantificateur binaire peut améliorer le niveau de protection de la confidentialité d'au moins π/2 fois
  2. Confidentialité améliorée dynamiquement : Propose le concept de confidentialité améliorée dynamiquement, où la matrice d'information de Fisher converge vers zéro à un taux polynomial, supportant plusieurs types de bruit (gaussien, Laplace, bruit à queue lourde)
  3. Surcoût de communication extrêmement faible : Réalise une communication de 1 bit par capteur par étape temporelle, le débit de transmission de données le plus faible parmi les algorithmes de protection de confidentialité par quantification existants
  4. Cadre de conception conjointe : Établit des principes de conception conjointe du bruit de confidentialité variant dans le temps et de la longueur de pas, assurant la convergence presque sûre sous communication quantifiée
  5. Compromis confidentialité-convergence : Établit la relation de compromis entre la protection de la confidentialité et la vitesse de convergence, fournissant des conseils de sélection de paramètres pour les applications pratiques

Explication Détaillée de la Méthode

Définition de la Tâche

Considérez un système distribué avec N capteurs, où le capteur i observe un paramètre inconnu θ ∈ ℝⁿ :

y_{i,k} = H_{i,k}θ + w_{i,k}

où y_{i,k} sont les données d'observation sensibles, nécessitant une estimation distribuée des paramètres tout en protégeant la confidentialité.

Architecture du Modèle

1. Conception du Quantificateur Binaire

L'innovation centrale consiste à convertir les informations d'estimation à valeurs réelles en signaux binaires :

  • Si k = nq + l, le capteur i génère un vecteur comprimé φ_k dont le l-ième élément est 1 et les autres sont 0
  • Calculer le scalaire x_{i,k} = φ_k^T θ̂_{i,k-1}
  • Générer le bruit de confidentialité d_{ij,k} et produire le signal binaire :
s_{ij,k} = {
  1,  si x_{i,k} + d_{ij,k} ≤ C_{ij}
  -1, sinon
}

2. Algorithme 1 : Estimation Distribuée Préservant la Confidentialité avec Quantificateur Binaire

Étape de protection de la confidentialité : Utiliser le quantificateur binaire pour convertir la valeur estimée du moment précédent en signal binaire
Étape de fusion d'informations : θ̌_{i,k} = θ̂_{i,k-1} + φ_k ∑_{j∈N_{i,k}} α_{ij,k}a_{ij,k}(s_{ij,k} - s_{ji,k})
Étape de mise à jour de l'estimation : θ̂_{i,k} = θ̌_{i,k} + β_{i,k}H̄_i^T(y_{i,k} - H̄_iθ̂_{i,k-1})

3. Mesure de Confidentialité par Information de Fisher

Utiliser la matrice d'information de Fisher I_S(y) comme mesure de confidentialité :

I_S(y) = E[[(∂ln(P(S|y))/∂y)][(∂ln(P(S|y))/∂y)]^T|y]

Une information de Fisher plus petite signifie une meilleure protection de la confidentialité.

Points d'Innovation Technique

1. Mécanisme de Comparaison de Signaux

Contrairement aux méthodes de quantification traditionnelles, cet article utilise la comparaison de signaux binaires adjacents (s_{ij,k} - s_{ji,k}) pour la fusion d'informations, évitant les limitations des règles de compression biaisées.

2. Critères de Conception Conjointe

Établir la conception conjointe de la distribution du bruit de confidentialité {F_{ij,k}(·)} et de la séquence de longueur de pas {α_{ij,k}, β_{i,k}} :

  • Le bruit de confidentialité peut être variant dans le temps, permettant même une croissance polynomiale
  • La conception de la longueur de pas doit satisfaire les conditions d'approximation stochastique et considérer les caractéristiques de communication quantifiée

3. Topologie Commutée Markovienne

Supporte le graphe de communication commutant entre G^{(1)}, ..., G^{(M)} selon une chaîne de Markov, simulant des situations réelles telles que les défaillances de liaison.

Configuration Expérimentale

Ensemble de Données

  • Réseau de capteurs : Système à 8 capteurs
  • Topologie de communication : 4 graphes commutés (illustrés à la figure 1), commutation selon chaîne de Markov
  • Paramètres : θ = 1, -1^T, probabilité de défaillance du capteur 0,5
  • Modèle de bruit : Bruit d'observation gaussien de moyenne nulle, écart-type 0,1

Indicateurs d'Évaluation

  1. Erreur d'estimation : (1/100N)∑∑||θ̃^ς_{i,k}||²
  2. Niveau de confidentialité : Limite supérieure de EI_S(y_{i,k})
  3. Vitesse de convergence : Analyse du taux de convergence polynomial

Méthodes de Comparaison

  • Méthode de la référence 18 : Estimation distribuée avec confidentialité différentielle traditionnelle
  • Algorithme 2 de la référence 28 : Communication binaire sans considération de confidentialité
  • Cas sans communication : Vérification de la nécessité de la communication

Détails de Mise en Œuvre

  • Longueur de pas : α_{ij,k} = 3/k^{0.8}, β_{i,k} = 3/k (pour k≥8)
  • Bruit de confidentialité : Gaussien N(0,σ²_{ij,k}), Laplace Lap(0,b_{ij,k}), Cauchy Cauchy(0,r_{ij,k})
  • Paramètres de bruit : σ_{ij,k} = b_{ij,k} = r_{ij,k} = k^{0.15}

Résultats Expérimentaux

Résultats Principaux

1. Vérification de la Convergence (Figure 2)

  • L'algorithme proposé converge sous les trois types de bruit de confidentialité
  • Comparé à la référence 18, atteint une erreur d'estimation similaire avec meilleure protection de confidentialité
  • Comparé à la référence 28, erreur d'estimation plus petite après 1000 itérations
  • Sans communication, l'estimation ne converge pas, vérifiant la nécessité de la communication

2. Effet de Protection de la Confidentialité (Figure 3)

  • La limite supérieure des éléments non nuls de la matrice d'information de Fisher diminue au fil du temps
  • Les trois types de bruit de confidentialité réalisent une confidentialité améliorée dynamiquement
  • Le niveau de protection de la confidentialité est significativement meilleur que la référence 18

3. Compromis Confidentialité-Convergence (Figure 4)

  • Différentes valeurs de χ (1,3, 1,6, 1,9) illustrent la relation de compromis
  • Plus χ est grand, meilleure est la protection de la confidentialité mais plus lente est la convergence
  • Vérifie la relation de compromis de l'analyse théorique

Expériences d'Ablation

  • Suppression de l'effet de φ_k : Dans le cas de haute dimension (n=12), l'algorithme modifié sans φ_k converge plus rapidement
  • Comparaison de différents types de bruit : Le bruit gaussien, Laplace et Cauchy sont tous efficaces

Analyse de Cas

Expérience d'Application Médicale

  • Données : Analyse du taux d'événements d'hypertension chez 281299 Britanniques blancs
  • Configuration : Réseau de 20 capteurs, taux d'événements θ≈0,2699
  • Résultats : Réalisation réussie de l'estimation distribuée préservant la confidentialité

Découvertes Expérimentales

  1. Faisabilité de la communication 1 bit : Démontre que l'estimation efficace est possible avec un surcoût de communication extrêmement faible
  2. Compatibilité du bruit croissant : L'algorithme peut gérer le bruit de confidentialité croissant au fil du temps
  3. Robustesse du bruit à queue lourde : Le bruit à queue lourde comme la distribution de Cauchy n'affecte pas la convergence

Travaux Connexes

Classification des Méthodes de Protection de la Confidentialité

  1. Méthodes de chiffrement homomorphe 5-8 : Sécurité élevée mais complexité de calcul élevée
  2. Méthodes d'obfuscation aléatoire 9-14 : Complexité de calcul faible mais nécessite transmission de messages à valeurs réelles
  3. Méthodes de décomposition d'état 15 et méthodes de masquage de confidentialité 16

Recherche sur la Communication Quantifiée

  1. Quantification de niveau infini 1 : Estimation distribuée traditionnelle
  2. Débit de données fini 21-27 : Basé sur des règles de compression biaisées, nécessite hypothèse de messages à valeurs réelles
  3. Stratégies binaires 28,29 : L'estimation ne converge pas vers la vraie valeur

Protection de la Confidentialité par Quantification

  1. Chiffrement avec quantification dynamique 30 : Combinaison du chiffrement homomorphe
  2. Quantification de treillis dithéré 31-34 : Réalise la confidentialité différentielle mais manque d'analyse quantitative

Conclusions et Discussion

Conclusions Principales

  1. Contribution théorique : Première caractérisation quantitative de l'effet d'amélioration multiplicatif du quantificateur sur la confidentialité
  2. Performance de l'algorithme : Réalise confidentialité améliorée dynamiquement, communication 1 bit, convergence presque sûre
  3. Valeur pratique : Fournit des conseils de sélection de paramètres pour le compromis confidentialité-convergence

Limitations

  1. Limitation de dimension : Le mécanisme φ_k converge plus lentement en cas de paramètres de haute dimension (peut être atténué par modification)
  2. Hypothèses sur le bruit : Nécessite de satisfaire des hypothèses spécifiques sur la distribution du bruit
  3. Topologie réseau : Suppose la connectivité conjointe, les réseaux réels peuvent être plus complexes

Directions Futures

  1. Extension d'optimisation distribuée : Appliquer la méthode aux problèmes d'optimisation distribuée
  2. Protection de la matrice d'observation : Étendre à la protection de la confidentialité de la matrice de mesure H_{i,k}
  3. Sélection de paramètres adaptatifs : Développer des stratégies adaptatives de sélection du bruit de confidentialité et de la longueur de pas

Évaluation Approfondie

Avantages

  1. Rigueur théorique : Fournit une analyse théorique complète de la convergence et de la confidentialité, incluant les taux de convergence presque sûre et les taux de convergence de l'information de Fisher
  2. Innovation pratique : La communication 1 bit est la plus faible parmi les méthodes existantes, ayant une valeur pratique importante
  3. Cadre unifié : Supporte plusieurs types de bruit (gaussien, Laplace, Cauchy), avec un cadre d'analyse unifié
  4. Caractérisation quantitative : Première analyse quantitative de l'effet d'amélioration de la confidentialité du quantificateur

Insuffisances

  1. Analyse de complexité manquante : N'a pas fourni d'analyse de la complexité de calcul de l'algorithme
  2. Conseils de sélection de paramètres : Bien que fournissant des conseils théoriques, la sélection réelle de paramètres nécessite toujours de l'expérience
  3. Validation à grande échelle insuffisante : L'échelle expérimentale est relativement petite, manquant de vérification sur réseaux à grande échelle

Impact

  1. Contribution théorique : Le cadre d'analyse de confidentialité sous information de Fisher pose les bases pour les recherches ultérieures
  2. Valeur pratique : Le surcoût de communication extrêmement faible rend l'algorithme applicable aux environnements aux ressources limitées
  3. Applications interdisciplinaires : Perspectives d'application dans plusieurs domaines tels que la santé, les réseaux intelligents, etc.

Scénarios Applicables

  1. Partage de données médicales : Scénarios de recherche conjointe multi-hôpitaux
  2. Capteurs de l'Internet des Objets : Réseaux de capteurs aux ressources limitées
  3. Réseaux intelligents : Estimation d'état distribuée et protection de la confidentialité
  4. Gestion des risques financiers : Évaluation conjointe des risques multi-institutions

Références

L'article cite 60 références connexes, couvrant plusieurs domaines importants tels que l'estimation distribuée, la protection de la confidentialité et la communication quantifiée, fournissant une base théorique solide à la recherche.


Évaluation Générale : Ceci est un article de haute qualité combinant théorie et applications, apportant des contributions importantes au domaine de l'estimation distribuée préservant la confidentialité. La conception de l'algorithme est ingénieuse, l'analyse théorique est rigoureuse et la vérification expérimentale est complète, possédant une valeur académique et pratique importante.