Perdidos en los Promedios: Reevaluación de la Evaluación del Riesgo de Privacidad Específica de Registros

Información Básica

• ID del Artículo: 2405.15423
• Título: Lost in the Averages: Reassessing Record-Specific Privacy Risk Evaluation
• Autores: Nataša Krčo, Florent Guépin, Matthieu Meeus, Bogdan Kulynych, Yves-Alexandre de Montjoye
• Instituciones: Imperial College London, Hospital Universitario de Lausana (CHUV)
• Clasificación: cs.LG, cs.CR
• Fecha de Publicación/Conferencia: Taller de Gestión de Privacidad de Datos (DPM) en ESORICS 2025
• Enlace del Artículo: https://arxiv.org/abs/2405.15423v2

Resumen

Este artículo investiga la evaluación del riesgo de privacidad en generadores de datos sintéticos y modelos de aprendizaje automático. Los generadores de datos sintéticos y modelos de ML pueden memorizar sus datos de entrenamiento, lo que genera preocupaciones sobre privacidad. Los ataques de inferencia de membresía (MIAs) son el método estándar para evaluar los riesgos de privacidad de estos sistemas. Los autores analizan los métodos tradicionales utilizados para evaluar juegos de privacidad específicos de registros bajo suposiciones de atacantes realistas, descubriendo que promedian los riesgos de privacidad de los registros en diferentes conjuntos de datos. El estudio propone un nuevo juego de privacidad con semilla de modelo que proporciona estimaciones precisas del riesgo de privacidad de registros en un conjunto de datos específico. Los experimentos demuestran que el juego tradicional puede pasar por alto hasta el 94% de los registros de alto riesgo.

Antecedentes de Investigación y Motivación

1. Definición del Problema

Con la aplicación generalizada de modelos de aprendizaje automático y generadores de datos sintéticos en campos sensibles como medicina, derecho y finanzas, el problema de que estos modelos memoricen datos de entrenamiento es cada vez más prominente. Los atacantes pueden determinar si registros específicos se utilizaron para entrenamiento mediante ataques de inferencia de membresía, e incluso reconstruir muestras de entrenamiento completas.

2. Importancia del Problema

• Riesgo de Fuga de Privacidad: La memorización del modelo puede provocar la divulgación de información personal sensible
• Cumplimiento Normativo: Se requiere una evaluación precisa del riesgo de privacidad para cumplir con los requisitos regulatorios
• Implementación Práctica: Cuando se publica un modelo específico o conjunto de datos sintético, se necesita una evaluación de riesgo precisa

3. Limitaciones de Métodos Existentes

El juego de privacidad tradicional específico de registros utiliza el muestreo de conjuntos de datos como fuente de aleatoriedad, asumiendo implícitamente que el riesgo de privacidad de un registro es independiente del conjunto de datos al que pertenece. Esta suposición no se cumple en escenarios prácticos, lo que puede resultar en evaluaciones de riesgo engañosas.

4. Motivación de la Investigación

Los autores descubren que el juego de privacidad tradicional promedia los riesgos de los registros en diferentes conjuntos de datos, mientras que las aplicaciones prácticas requieren evaluar el riesgo de registros en un conjunto de datos específico. Por lo tanto, proponen el juego con semilla de modelo para abordar este problema.

Contribuciones Principales

1. Análisis Teórico: Análisis formalizado del juego de privacidad tradicional específico de registros, demostrando que calcula el riesgo de privacidad promediado entre conjuntos de datos
2. Propuesta de Nuevo Método: Propone y formaliza el juego de privacidad con semilla de modelo, que converge al riesgo del distinguidor de privacidad diferencial (DPD) del registro
3. Verificación Experimental: Verifica las diferencias entre los dos juegos de privacidad en múltiples conjuntos de datos y modelos, descubriendo que el juego tradicional puede pasar por alto hasta el 94% de los registros de alto riesgo
4. Análisis de Factores de Influencia: Analiza el impacto del tamaño del conjunto de datos y las garantías de privacidad diferencial en las diferencias de estimación de riesgo

Explicación Detallada del Método

Definición de la Tarea

Dado un registro objetivo x, un algoritmo de entrenamiento A(·) y un ataque ϕ(·), el objetivo es estimar con precisión el riesgo de privacidad del registro x en un conjunto de datos específico D. El riesgo de privacidad se mide mediante la tasa de éxito del ataque de inferencia de membresía.

Juego de Privacidad Tradicional (Traditional Privacy Game)

Definición 2: Para un registro objetivo x, tamaño de conjunto de datos n, algoritmo de entrenamiento A(·) y ataque ϕ(·):

1. El desafiante muestrea un conjunto de datos D̄ ∼ D^n de la distribución
2. El desafiante selecciona aleatoriamente un bit secreto b ∈ {0,1}
3. Si b=1, añade el registro objetivo x a D̄ formando D = D̄ ∪ {x}, en caso contrario D = D̄
4. El desafiante entrena el modelo objetivo en el conjunto de datos D: θ ← A(D)
5. El atacante produce una predicción b̂ = ϕ(θ)

Juego de Privacidad con Semilla de Modelo (Model-Seeded Privacy Game)

Definición 3: Para un registro objetivo x, conjunto de datos parcial D̄, algoritmo de entrenamiento A(·) y ataque ϕ(·):

1. El desafiante selecciona aleatoriamente un bit secreto b ∈ {0,1}
2. Si b=1, añade el registro objetivo x a D̄ formando D = D̄ ∪ {x}, en caso contrario D = D̄
3. El desafiante entrena el modelo objetivo en el conjunto de datos D con una nueva semilla aleatoria: θ ← A(D)
4. El atacante produce una predicción b̂ = ϕ(θ)

Puntos de Innovación Técnica

1. Conjunto de Datos Fijo: A diferencia del juego tradicional, el juego con semilla de modelo fija el conjunto de datos objetivo, utilizando solo la semilla del modelo como fuente de aleatoriedad
2. Garantías Teóricas: Demuestra que el juego con semilla de modelo converge al riesgo DPD, mientras que el juego tradicional converge al riesgo promediado entre conjuntos de datos
3. Practicidad: Proporciona estimaciones de riesgo de privacidad consistentes con privacidad diferencial

Análisis Teórico

Proposición 1 (Convergencia del Juego con Semilla de Modelo al Riesgo DPD): Para cualquier registro objetivo fijo x, conjunto de datos parcial D̄, algoritmo de entrenamiento T(·) y ataque ϕ(·), en el juego con semilla de modelo:

|α̂^MS_ϕ - α_ϕ| ≤ √(log(2/ρ)/(2N))

Proposición 2 (Convergencia del Juego Tradicional al Riesgo de Privacidad Promediado): La tasa de error empírica del juego de privacidad tradicional converge al valor promediado en remuestreo de conjuntos de datos i.i.d.:

|α̂^T_ϕ - E_{D̄∼D^n}α_{ϕ,D̄}| ≤ √(log(2/ρ)/(2N))

Configuración Experimental

Conjuntos de Datos

• Conjunto de Datos Adult: Datos de censo, que contienen características demográficas categóricas y continuas
• Conjunto de Datos del Censo del Reino Unido: Datos del censo de población del Reino Unido
• División de Datos: D_aux utilizado para desarrollo de MIA, D_eval para evaluación, |D| = 1000

Modelos Objetivo

• Synthpop: Generador de datos sintéticos estadístico
• Baynet: Generador de red bayesiana
• PrivBayes: Versión de privacidad diferencial de Baynet

Métodos MIA

Se utiliza el ataque TAPAS, que es el método de ataque basado en consultas más avanzado para generadores de datos sintéticos. TAPAS se ejecuta bajo acceso de modelo de caja negra, con acceso a datos auxiliares pero sin acceso a los datos de entrenamiento del modelo objetivo.

Métricas de Evaluación

• Tasa de Omisión (MR): Proporción de registros clasificados como alto riesgo en la configuración con semilla de modelo pero como bajo riesgo en la configuración tradicional
• Desviación Cuadrática Media (RMSD): Raíz cuadrada de la desviación cuadrática media entre las dos estimaciones de riesgo
• AUC ROC: Como métrica resumida del riesgo de privacidad

Resultados Experimentales

Resultados Principales

Los experimentos en el conjunto de datos Adult y el generador Synthpop muestran:

• 94% de registros de alto riesgo fueron clasificados erróneamente como bajo riesgo por el juego tradicional (umbral t=0.8)
• Rango de RMSD de 0.04 a 0.11, representando un error significativo en el riesgo evaluado mediante AUC
• Rango de Tasa de Omisión de 0.73 a 0.94, indicando que la configuración tradicional identifica erróneamente registros de alto riesgo de manera consistente

Impacto de Diferentes Umbrales

Para todos los umbrales de alto riesgo, la tasa de omisión es significativa:

• Con t=0.6, la tasa de omisión supera el 20% en todas las configuraciones
• Con t=0.9, la tasa de omisión alcanza el 80%
• La tasa de omisión aumenta con el umbral t

Impacto del Tamaño del Conjunto de Datos

• Conjuntos de Datos Pequeños (n<10,000): Diferencias mayores entre las dos estimaciones de riesgo
• Conjuntos de Datos Grandes: Las diferencias disminuyen pero siguen siendo significativas
• Incluso en conjuntos de datos grandes con |D|=10,000, el RMSD sigue siendo significativo

Impacto de la Privacidad Diferencial

Al entrenar PrivBayes con valores de ε estrictos:

• El rendimiento de MIA disminuye a medida que ε disminuye, convergiendo a la línea base de adivinanza aleatoria (AUC 0.5)
• A medida que las estimaciones se concentran alrededor de 0.5, la diferencia entre las dos estimaciones también disminuye
• Sin embargo, al verificar garantías de DP, el uso de la configuración con semilla de modelo sigue siendo importante

Análisis de Casos

La evaluación del riesgo de un registro objetivo individual en 15 conjuntos de datos seleccionados aleatoriamente muestra:

• El riesgo con semilla de modelo R_MS varía de aproximadamente 0.5 (adivinanza aleatoria) a 0.8 (alto riesgo)
• El riesgo tradicional R_T = 0.62, subestimando el riesgo DPD en el peor caso hasta 0.2

Trabajo Relacionado

Desarrollo de Ataques de Inferencia de Membresía

• Shokri et al. (2017): Propuesta inicial de MIA contra modelos de ML
• Técnica de Modelado de Sombra: Entrenar múltiples modelos con/sin el registro objetivo para aproximar su impacto
• Datos Sintéticos Tabulares: Métodos de ataque especializados para generadores de datos sintéticos

Modelos de Amenaza

• Nivel de Datos: Grado de acceso del atacante a datos reales
• Nivel de Modelo: Acceso del atacante al modelo de entrenamiento (caja negra vs. caja blanca)
• Suposiciones Realistas: El atacante tiene acceso a conjuntos de datos auxiliares

Evaluación de MIA

• Juego Específico del Modelo: Evalúa la capacidad del atacante para distinguir si un registro se incluyó/excluyó en los datos de entrenamiento
• Juego Específico del Registro: Evalúa la capacidad del atacante para distinguir modelos entrenados/no entrenados en el registro objetivo

Conclusiones y Discusión

Conclusiones Principales

1. Limitaciones del Juego de Privacidad Tradicional: Al promediar riesgos mediante muestreo de conjuntos de datos, proporciona evaluaciones de riesgo engañosas
2. Ventajas del Juego con Semilla de Modelo: Proporciona estimaciones precisas del riesgo de privacidad de registros en un conjunto de datos específico, consistentes con privacidad diferencial
3. Impacto Práctico: El método tradicional puede pasar por alto una gran cantidad de registros de alto riesgo, afectando las decisiones de protección de privacidad

Limitaciones

1. Dependencia del Conjunto de Datos: La dependencia exacta de la vulnerabilidad del registro en el conjunto de datos sigue siendo una pregunta abierta
2. Alcance Experimental: Se enfoca principalmente en datos sintéticos tabulares; la aplicabilidad a otros tipos de datos requiere verificación adicional
3. Costo Computacional: El juego con semilla de modelo puede requerir más recursos computacionales

Direcciones Futuras

1. Análisis Teórico: Comprensión más profunda del mecanismo de cómo los conjuntos de datos afectan la vulnerabilidad de los registros
2. Aplicación Extendida: Extensión del método a otros tipos de modelos de aprendizaje automático y datos
3. Herramientas Prácticas: Desarrollo de herramientas prácticas de evaluación del riesgo de privacidad

Evaluación Profunda

Fortalezas

1. Contribución Teórica: Proporciona análisis teórico riguroso, demostrando las propiedades de convergencia de los dos juegos de privacidad
2. Valor Práctico: Aborda un problema importante en la evaluación práctica del riesgo de privacidad
3. Experimentación Completa: Verificación experimental exhaustiva en múltiples conjuntos de datos y modelos
4. Escritura Clara: Estructura clara del artículo con descripción precisa de detalles técnicos

Insuficiencias

1. Alcance Experimental: Se enfoca principalmente en datos tabulares, con aplicabilidad limitada a otros tipos de datos
2. Complejidad Computacional: Falta análisis detallado de las diferencias de complejidad computacional entre los dos métodos
3. Implementación Práctica: Carencia de estudios de casos de implementación en sistemas reales

Impacto

1. Contribución Académica: Proporciona contribuciones teóricas y prácticas importantes al campo de la evaluación del riesgo de privacidad
2. Valor Práctico: Tiene implicaciones importantes para organizaciones que manejan datos sensibles
3. Reproducibilidad: Proporciona configuración experimental detallada y descripción de algoritmos

Escenarios Aplicables

1. Publicación de Datos Sintéticos: Evaluación del riesgo de privacidad de conjuntos de datos sintéticos
2. Auditoría de Modelos: Auditoría de privacidad de modelos de aprendizaje automático
3. Cumplimiento Normativo: Evaluación de riesgos para cumplir con requisitos de regulaciones de privacidad
4. Verificación de Privacidad Diferencial: Verificación de la efectividad de implementaciones de privacidad diferencial

Referencias

El artículo cita literatura importante en el campo de aprendizaje automático con protección de privacidad, incluyendo:

• Trabajo pionero de Shokri et al. sobre ataques de inferencia de membresía
• Teoría clásica de Dwork y Roth sobre privacidad diferencial
• Investigación reciente relacionada con privacidad de datos sintéticos

Resumen: Este artículo, mediante análisis teórico y verificación experimental, revela los defectos de los métodos tradicionales de evaluación del riesgo de privacidad y propone un juego de privacidad con semilla de modelo más preciso. La investigación tiene valor teórico y práctico importante para el campo del aprendizaje automático con protección de privacidad, particularmente en generación de datos sintéticos y evaluación del riesgo de privacidad.