Privacy-Preserving Distributed Estimation with Limited Data Rate
Ke, Wang, Zhang
This paper focuses on the privacy-preserving distributed estimation problem with a limited data rate, where the observations are the sensitive information. Specifically, a binary-valued quantizer-based privacy-preserving distributed estimation algorithm is developed, which improves the algorithm's privacy-preserving capability and simultaneously reduces the communication costs. The algorithm's privacy-preserving capability, measured by the Fisher information matrix, is dynamically enhanced over time. Notably, the Fisher information matrix of the output signals with respect to the sensitive information converges to zero at a polynomial rate, and the improvement in privacy brought by the quantizers is quantitatively characterized as a multiplicative effect. Regarding the communication costs, each sensor transmits only 1 bit of information to its neighbours at each time step. Additionally, the assumption on the negligible quantization error for real-valued messages is not required. While achieving the requirements of privacy preservation and reducing communication costs, the algorithm ensures that its estimates converge almost surely to the true value of the unknown parameter by establishing a co-design guideline for the time-varying privacy noises and step-sizes. A polynomial almost sure convergence rate is obtained, and then the trade-off between privacy and convergence rate is established. Numerical examples demonstrate the main results.
academic
Estimation Distribuée Préservant la Confidentialité avec Débit de Données Limité
Cet article traite du problème de l'estimation distribuée préservant la confidentialité sous un débit de transmission de données limité, où les données d'observation sont des informations sensibles. L'article propose un algorithme d'estimation distribuée préservant la confidentialité basé sur des quantificateurs binaires, qui améliore la capacité de protection de la confidentialité tout en réduisant les coûts de communication. La capacité de protection de la confidentialité de l'algorithme est mesurée par la matrice d'information de Fisher et s'améliore dynamiquement au fil du temps. La matrice d'information de Fisher converge vers zéro à un taux polynomial, et l'amélioration de la confidentialité apportée par le quantificateur est caractérisée comme un effet multiplicatif. En termes de coûts de communication, chaque capteur transmet uniquement 1 bit d'information à ses voisins à chaque étape temporelle. De plus, aucune hypothèse sur l'erreur de quantification des messages à valeurs réelles n'est requise. Tout en réalisant la protection de la confidentialité et la réduction des coûts de communication, l'algorithme assure la convergence presque sûre de l'estimation vers la vraie valeur du paramètre inconnu en établissant des principes de conception conjointe du bruit de confidentialité variant dans le temps et de la longueur de pas.
Le problème fondamental abordé dans cet article est de savoir comment, dans un réseau de capteurs distribués, protéger la confidentialité des données d'observation tout en réalisant une estimation précise des paramètres, avec un surcoût de communication aussi faible que possible.
Besoins d'applications pratiques : Dans la recherche médicale, différents hôpitaux doivent partager des données d'observation cliniques pour une analyse conjointe, mais ces données impliquent la confidentialité des patients
Limitations des ressources de communication : Dans les systèmes distribués réels, la bande passante de communication et la consommation d'énergie sont des contraintes importantes
Risques de fuite de confidentialité : Les algorithmes d'estimation distribuée traditionnels transmettent directement les valeurs estimées ou les données d'observation, ce qui peut facilement entraîner une fuite d'informations sensibles
Méthodes de chiffrement homomorphe : Bien qu'elles offrent une sécurité de haut niveau, elles ont une complexité de calcul élevée
Méthodes d'obfuscation aléatoire : Nécessitent la transmission de messages à valeurs réelles, produisant des erreurs de quantification et des coûts de communication élevés dans les réseaux numériques
Méthodes de quantification existantes : Dépendent de l'hypothèse que l'erreur de quantification des messages à valeurs réelles est négligeable, et la valeur estimée ne converge pas vers la vraie valeur
Quantification de l'amélioration de la confidentialité : Première caractérisation quantitative de l'effet d'amélioration de la confidentialité du quantificateur ; sous bruit de confidentialité gaussien, le quantificateur binaire peut améliorer le niveau de protection de la confidentialité d'au moins π/2 fois
Confidentialité améliorée dynamiquement : Propose le concept de confidentialité améliorée dynamiquement, où la matrice d'information de Fisher converge vers zéro à un taux polynomial, supportant plusieurs types de bruit (gaussien, Laplace, bruit à queue lourde)
Surcoût de communication extrêmement faible : Réalise une communication de 1 bit par capteur par étape temporelle, le débit de transmission de données le plus faible parmi les algorithmes de protection de confidentialité par quantification existants
Cadre de conception conjointe : Établit des principes de conception conjointe du bruit de confidentialité variant dans le temps et de la longueur de pas, assurant la convergence presque sûre sous communication quantifiée
Compromis confidentialité-convergence : Établit la relation de compromis entre la protection de la confidentialité et la vitesse de convergence, fournissant des conseils de sélection de paramètres pour les applications pratiques
Étape de protection de la confidentialité : Utiliser le quantificateur binaire pour convertir la valeur estimée du moment précédent en signal binaire
Étape de fusion d'informations : θ̌_{i,k} = θ̂_{i,k-1} + φ_k ∑_{j∈N_{i,k}} α_{ij,k}a_{ij,k}(s_{ij,k} - s_{ji,k})
Étape de mise à jour de l'estimation : θ̂_{i,k} = θ̌_{i,k} + β_{i,k}H̄_i^T(y_{i,k} - H̄_iθ̂_{i,k-1})
Contrairement aux méthodes de quantification traditionnelles, cet article utilise la comparaison de signaux binaires adjacents (s_{ij,k} - s_{ji,k}) pour la fusion d'informations, évitant les limitations des règles de compression biaisées.
Établir la conception conjointe de la distribution du bruit de confidentialité {F_{ij,k}(·)} et de la séquence de longueur de pas {α_{ij,k}, β_{i,k}} :
Le bruit de confidentialité peut être variant dans le temps, permettant même une croissance polynomiale
La conception de la longueur de pas doit satisfaire les conditions d'approximation stochastique et considérer les caractéristiques de communication quantifiée
Supporte le graphe de communication commutant entre G^{(1)}, ..., G^{(M)} selon une chaîne de Markov, simulant des situations réelles telles que les défaillances de liaison.
Rigueur théorique : Fournit une analyse théorique complète de la convergence et de la confidentialité, incluant les taux de convergence presque sûre et les taux de convergence de l'information de Fisher
Innovation pratique : La communication 1 bit est la plus faible parmi les méthodes existantes, ayant une valeur pratique importante
Cadre unifié : Supporte plusieurs types de bruit (gaussien, Laplace, Cauchy), avec un cadre d'analyse unifié
Caractérisation quantitative : Première analyse quantitative de l'effet d'amélioration de la confidentialité du quantificateur
Analyse de complexité manquante : N'a pas fourni d'analyse de la complexité de calcul de l'algorithme
Conseils de sélection de paramètres : Bien que fournissant des conseils théoriques, la sélection réelle de paramètres nécessite toujours de l'expérience
Validation à grande échelle insuffisante : L'échelle expérimentale est relativement petite, manquant de vérification sur réseaux à grande échelle
L'article cite 60 références connexes, couvrant plusieurs domaines importants tels que l'estimation distribuée, la protection de la confidentialité et la communication quantifiée, fournissant une base théorique solide à la recherche.
Évaluation Générale : Ceci est un article de haute qualité combinant théorie et applications, apportant des contributions importantes au domaine de l'estimation distribuée préservant la confidentialité. La conception de l'algorithme est ingénieuse, l'analyse théorique est rigoureuse et la vérification expérimentale est complète, possédant une valeur académique et pratique importante.