Ataques Adversariales Comprobablemente Invencibles en Sistemas de Aprendizaje por Refuerzo: Un Enfoque Teórico-Informativo de Tasa-Distorsión

Información Básica

• ID del Artículo: 2510.13792
• Título: Ataques Adversariales Comprobablemente Invencibles en Sistemas de Aprendizaje por Refuerzo: Un Enfoque Teórico-Informativo de Tasa-Distorsión
• Autores: Ziqing Lu (Universidad de Iowa), Lifeng Lai (Universidad de California, Davis), Weiyu Xu (Universidad de Iowa)
• Clasificación: cs.LG cs.AI
• Fecha de Publicación: 15 de octubre de 2025 (preimpresión en arXiv)
• Enlace del Artículo: https://arxiv.org/abs/2510.13792

Resumen

El despliegue generalizado del aprendizaje por refuerzo en aplicaciones críticas de seguridad hace que la investigación de ataques adversariales sea fundamental. Los trabajos anteriores consideraban principalmente estrategias de ataque adversarial deterministas, que los agentes víctimas pueden defender invirtiendo los ataques deterministas. Este artículo propone un método de ataque adversarial comprobablemente "invencible" en el que el atacante aplica métodos teórico-informativos de tasa-distorsión para modificar aleatoriamente las observaciones del agente sobre el núcleo de transición, asegurando que el agente adquiera información cero o mínima sobre el núcleo verdadero durante el entrenamiento. El artículo deriva cotas inferiores teórico-informativas del arrepentimiento de recompensa del agente víctima y demuestra el impacto de los ataques de tasa-distorsión en algoritmos de última generación basados en modelos y libres de modelos.

Antecedentes de Investigación y Motivación

Definición del Problema

1. Problema Central: Los ataques adversariales existentes en aprendizaje por refuerzo emplean principalmente estrategias deterministas, que pueden ser defendidas por el agente víctima aprendiendo el patrón de ataque e invirtiéndolo, careciendo de garantías teóricas de "irrefutabilidad".
2. Importancia: El aprendizaje por refuerzo se aplica ampliamente en campos críticos de seguridad como conducción autónoma, toma de decisiones financieras y algoritmos de drones/robots. Investigar ataques adversariales en el peor caso es crucial para evaluar y mejorar la robustez de los sistemas de RL.
3. Limitaciones de Métodos Existentes:
   • Los ataques deterministas asumen que la víctima desconoce la existencia del ataque
   • Si la víctima detecta el ataque, podría encontrar la relación de mapeo entre el núcleo de transición falso y el verdadero
   • No pueden garantizar la efectividad del ataque ni proporcionar pruebas teóricas de "invencibilidad"
4. Motivación de la Investigación: Diseñar un método de ataque adversarial que no pueda ser defendido efectivamente incluso si la víctima conoce la estrategia de ataque, proporcionando garantías teóricas desde la perspectiva teórico-informativa.

Contribuciones Principales

1. Propuesta de Ataque Teórico-Informativo de Tasa-Distorsión: Primera aplicación de la teoría de tasa-distorsión a ataques adversariales en aprendizaje por refuerzo, minimizando la información mutua mediante la aleatorización de observaciones del núcleo de transición.
2. Prueba de Cota Inferior Teórica: Derivación de cotas inferiores teórico-informativas del arrepentimiento de recompensa del agente víctima, probando la "invencibilidad" del ataque.
3. Análisis Teórico de MDP con Núcleo Aleatorio: Análisis de la existencia de políticas óptimas en MDP con núcleos de transición inciertos, descubriendo que las políticas óptimas en el sentido tradicional pueden no existir.
4. Nuevo Algoritmo de Iteración de Políticas: Propuesta de un nuevo algoritmo de iteración de políticas para MDP con núcleo aleatorio, probando que no siempre converge a la solución óptima.
5. Verificación Experimental Extensiva: Validación de la efectividad del ataque en múltiples configuraciones incluyendo planificación, aprendizaje Q tabular y aprendizaje Q profundo.

Explicación Detallada del Método

Definición de la Tarea

Se considera una tupla de cinco elementos MDP: (S, A, X, r, γ), donde:

• S: espacio de estados, |S| = S
• A: espacio de acciones, |A| = A
• X: núcleo de transición aleatorio, muestreado de una distribución previa p
• r: función de recompensa r: S × A × S → 0,1
• γ ∈ 0,1: factor de descuento

Configuración del Ataque: El atacante diseña una función de verosimilitud P(Y|X) para mapear aleatoriamente el núcleo de transición verdadero X a observaciones falsas Y.

Arquitectura del Modelo

1. Marco de Ataque de Tasa-Distorsión

Objetivo de optimización del atacante:

min_{p(X,Y)} I(X;Y)                    (1)
s.t. E_{p(X,Y)}C(X → Y) ≤ B          (2)

donde I(X;Y) es la información mutua y B es el presupuesto de ataque.

2. Optimización de Política de la Víctima

Dada la observación falsa Y_i, la política óptima de la víctima:

π*(·|Y_i) = argmin_π E_{P(X|Y_i)}||V_X^π - V_X^{π*(X)}||_∞

3. Definición de Arrepentimiento

El arrepentimiento total se define como:

R = E_{p(X,Y)}||V^{π*(X)} - V^{π*(·|Y)}||_∞

Puntos de Innovación Técnica

1. Estrategia Aleatorizada

• A diferencia de los ataques deterministas, se utiliza una distribución de probabilidad P(Y|X) para mapeo aleatorio
• Incluso si la víctima conoce la estrategia de ataque, no puede determinar el núcleo de transición verdadero específico

2. Garantías Teórico-Informativas

• Minimización de la información mutua I(X;Y) para asegurar que la víctima obtenga información mínima
• Utilización de la desigualdad de Fano para establecer la conexión entre la cota inferior de arrepentimiento y la probabilidad de error de decodificación

3. Métodos de Implementación

• Modificación de Hiperparámetros: Cambio de hiperparámetros que alteran la dinámica del entorno de entrenamiento
• Reemplazo Directo: Construcción de un núcleo falso que reemplaza directamente el núcleo verdadero
• Ataque de Observación de Estado: Implementación mediante permutación aleatoria de observaciones de estado, requiriendo el requisito más débil

Configuración Experimental

Conjuntos de Datos y Entornos

1. Block World: Mundo de cuadrícula de 12 estados, 4 acciones (este, oeste, norte, sur)
2. CartPole: Espacio de estado continuo, 2 acciones (movimiento izquierdo/derecho)
3. MDP de 3 Estados: Entorno simple para análisis teórico

Métricas de Evaluación

• Arrepentimiento (Regret): R = E_{p(X,Y)}||V^{π*(X)} - V^{π*(·|Y)}||_∞
• Información Mutua: I(X;Y)
• Pérdida de Rendimiento Relativo: Arrepentimiento como porcentaje del valor V óptimo

Métodos de Comparación

• Ataques deterministas
• Línea base sin ataque
• Ataque óptimo bajo restricción de presupuesto

Detalles de Implementación

• En Block World, implementación de ataque mediante "probabilidad de deslizamiento" α (α=0.8 o 0.2)
• En CartPole, implementación de ataque mediante ruido de observación de estado δ
• Uso de distribución previa uniforme p(X_i) = 1/2

Resultados Experimentales

Resultados Principales

1. Verificación de Cota Inferior Teórica

Teorema 3.1: En MDP que satisfacen las condiciones, el arrepentimiento satisface:

R ≥ εP_e
H(P_e) + P_e log|Ω(X)| ≥ H(X|Y) = H(X) - I(X;Y)

donde P_e es la probabilidad de error del decodificador óptimo y ε > 0 es la cota inferior de diferencia de política.

2. Efectos del Ataque de Planificación

• En MDP de 3 estados, el ataque con I(X;Y) = 0 causa una pérdida de rendimiento del 44.3%
• Valor de arrepentimiento R = 3.84, representando el 44.3% del valor V óptimo

3. Ataque de Aprendizaje Libre de Modelo

• Block World: El ataque aleatorio causa mayor pérdida que el ataque determinista
• CartPole: El arrepentimiento en entrenamiento DQN aumenta con el número de rondas de entrenamiento
• Ataque de Permutación de Estado: Implementación efectiva de ataque mediante simple permutación aleatoria de estados

Experimentos de Ablación

1. Análisis de Restricción de Presupuesto

• Cuando el presupuesto de ataque B aumenta de 0 a 0.711, el arrepentimiento aumenta monótonamente
• Cuando B alcanza 0.711, el arrepentimiento alcanza el valor máximo del 44.3%

2. Ataque de Información Mutua Mínima

• Optimización directa de minimización de información mutua: min I(X;Y)
• Se alcanza arrepentimiento máximo del 44.3% cuando el presupuesto B=0.7285

Hallazgos Importantes

1. No Existencia de Política Óptima

Teorema 4.1: Para MDP con núcleo aleatorio, no siempre existe una política óptima π* que satisfaga:

π* = argmax_π E_X V_X^π(s), ∀s ∈ S

2. No Convergencia de Iteración de Políticas

Teorema 5.1: Incluso si existe una política óptima, el algoritmo de iteración de políticas extendido no siempre converge a la solución óptima.

Trabajo Relacionado

1. Investigación de Incertidumbre en Núcleo de Transición

• MDP Robusto en Distribución: Optimización del rendimiento en el peor caso sobre un conjunto de incertidumbre del núcleo de transición
• MDP Adaptativo Bayesiano: Asunción de distribución previa de parámetros del núcleo de transición, aprendizaje mediante actualización bayesiana

2. Ataques de Envenenamiento en Núcleo de Transición

• Ataque de Hiperparámetro del Entorno: Modificación de hiperparámetros del entorno para alterar la dinámica
• Ataque de Envenenamiento Fuera de Línea: Construcción del núcleo de transición falso óptimo
• Ataque Encubierto Teórico-Informativo: Uso de restricción de divergencia KL para atacar la detectabilidad

Puntos de Innovación del Presente Trabajo

• Primera aplicación de ataque de núcleo de transición aleatorio bajo configuración bayesiana
• Minimización de información mutua mediante teoría de tasa-distorsión en lugar de restricción de detectabilidad
• Provisión de garantías teóricas de efectividad del ataque

Conclusiones y Discusión

Conclusiones Principales

1. Garantía Teórica: El ataque de tasa-distorsión propuesto posee "invencibilidad" comprobable, siendo imposible de defender efectivamente incluso si la víctima conoce la estrategia de ataque.
2. Aplicabilidad Amplia: El método de ataque puede aplicarse a algoritmos de aprendizaje por refuerzo basados en modelos y libres de modelos.
3. Implementación Simple: El ataque de observación de estado aleatorio puede implementarse simplemente, con requisitos bajos para el atacante.

Limitaciones

1. Ausencia de Política Óptima: En MDP con núcleo aleatorio, la política óptima tradicional puede no existir, requiriendo nueva definición de política.
2. Convergencia de Algoritmo: El algoritmo de iteración de políticas propuesto no garantiza convergencia a la solución óptima.
3. Despliegue Práctico: La viabilidad e detectabilidad de la implementación del ataque en entornos reales requiere investigación adicional.

Direcciones Futuras

1. Desarrollo de políticas efectivas para casos donde no existen políticas óptimas tradicionales
2. Diseño de algoritmos de planificación/aprendizaje que garanticen convergencia
3. Investigación de mecanismos de defensa y métodos de detección de ataques
4. Extensión a espacios de estado continuo y entornos más complejos

Evaluación Profunda

Fortalezas

1. Innovación Teórica: Primera introducción de teoría de tasa-distorsión en ataques adversariales de aprendizaje por refuerzo, proporcionando un marco de análisis teórico riguroso.
2. Importancia del Problema: Solución del problema fundamental de que los ataques deterministas existentes pueden ser invertidos, con significancia importante para la seguridad.
3. Rigor Teórico: Provisión de pruebas matemáticas de efectividad del ataque mediante herramientas teórico-informativas, incluyendo cotas inferiores de arrepentimiento y aplicación de desigualdad de Fano.
4. Suficiencia Experimental: Cobertura de múltiples configuraciones incluyendo planificación, aprendizaje tabular y aprendizaje profundo, verificando la aplicabilidad amplia del método.

Insuficiencias

1. Viabilidad Práctica: Los ataques en el artículo asumen que el atacante puede controlar completamente las observaciones del entorno de la víctima, lo que puede ser difícil de implementar en despliegue real.
2. Investigación Insuficiente de Defensa: Aunque se afirma "invencibilidad", la discusión sobre posibles estrategias de defensa es limitada, como detección de anomalías, verificación de múltiples fuentes, etc.
3. Análisis de Complejidad Computacional: Análisis insuficiente de la complejidad computacional de búsqueda de parámetros de ataque óptimos para espacios de estado de gran escala.
4. Consideraciones Éticas: Como método de ataque, carece de discusión sobre posible abuso y medidas preventivas.

Impacto

1. Contribución Académica: Provisión de nuevo marco teórico y herramientas de análisis para investigación de seguridad en aprendizaje por refuerzo.
2. Valor Práctico: Ayuda en evaluación de rendimiento de sistemas de RL en el peor caso, guiando el diseño de robustez.
3. Reproducibilidad: Provisión de descripción detallada de algoritmos y configuración experimental, facilitando reproducción y extensión.

Escenarios de Aplicación

1. Evaluación de Seguridad: Evaluación de robustez de sistemas de RL en aplicaciones críticas
2. Diseño de Algoritmos: Guía para desarrollo de algoritmos de aprendizaje por refuerzo resistentes a ataques
3. Investigación Teórica: Provisión de nueva perspectiva para teoría de RL en entornos inciertos
4. Mecanismos de Defensa: Uso como herramienta de prueba de equipo rojo para evaluar efectividad de defensa

Referencias

El artículo cita trabajos importantes de múltiples campos incluyendo aprendizaje por refuerzo, teoría de la información y ataques adversariales, tales como:

• Libros de texto clásicos de RL (Sutton & Barto, 2018)
• Fundamentos de teoría de la información (Cover & Thomas, 2006)
• Trabajos relacionados con MDP robusto en distribución (Iyengar, 2005; Nilim & El Ghaoui, 2003)
• Investigación reciente de ataques adversariales en RL (Zhang et al., 2020; Liu & Lai, 2021)

Evaluación General: Este es un artículo con contribuciones teóricas importantes en el campo de seguridad del aprendizaje por refuerzo, proporcionando nuevas perspectivas y garantías teóricas rigurosas para ataques adversariales mediante la introducción de teoría de tasa-distorsión. Aunque aún requiere mejora en viabilidad de despliegue práctico y mecanismos de defensa, su marco teórico y métodos de análisis sientan una base sólida para investigación adicional en este campo.