Evaluación de la confiabilidad de explicaciones en conjuntos de datos desbalanceados: un caso de uso en la ocurrencia de eventos de heladas

Información Básica

• ID del Artículo: 2507.09545
• Título: Assessing reliability of explanations in unbalanced datasets: a use-case on the occurrence of frost events
• Autores: Ilaria Vascotto, Valentina Blasone, Alex Rodriguez, Alessandro Bonaita, Luca Bortolussi
• Clasificación: cs.LG (Aprendizaje Automático)
• Fecha de Publicación/Conferencia: Trabajo de última hora, 3ª Conferencia Mundial sobre Inteligencia Artificial Explicable (9-11 de julio de 2025, Estambul, Turquía)
• Enlace del Artículo: https://arxiv.org/abs/2507.09545

Resumen

El uso de métodos de Inteligencia Artificial Explicable (XAI) se ha vuelto crítico en aplicaciones prácticas, gracias al despliegue cada vez mayor de modelos de IA y a los requisitos legislativos propuestos en años recientes. La robustez de las explicaciones es un aspecto fundamental pero frecuentemente subestimado, constituyendo un atributo clave que debe satisfacer la confianza en las explicaciones. Este estudio proporciona perspectivas preliminares sobre la evaluación de la confiabilidad de explicaciones en el contexto específico de conjuntos de datos desbalanceados. Los conjuntos de datos desbalanceados son muy comunes en casos de uso de alto riesgo, pero simultáneamente presentan desafíos considerables tanto para modelos de IA como para métodos XAI. Presentamos un método de evaluación simple que se enfoca en la clase minoritaria (es decir, la clase con menor frecuencia), utilizando generación de vecinos en variedades, agregación de explicaciones y métricas para probar la consistencia de explicaciones. Demostramos nuestro enfoque utilizando un conjunto de datos tabulares basado en características numéricas, con la ocurrencia de eventos de heladas como caso de uso.

Contexto de Investigación y Motivación

Definición del Problema

El problema central que aborda este estudio es: ¿Cómo evaluar la confiabilidad de explicaciones XAI en conjuntos de datos desbalanceados? Específicamente, cuando el conjunto de datos contiene muy pocas muestras de la clase minoritaria, los métodos de explicación tradicionales pueden producir resultados no confiables.

Análisis de Importancia

1. Requisitos Legislativos: Regulaciones como GDPR y la Ley de IA imponen requisitos de transparencia para aplicaciones de alto riesgo
2. Necesidades Prácticas: Campos de alto riesgo como medicina, clima y detección de fraude frecuentemente enfrentan problemas de desbalance de datos
3. Crisis de Confianza: En conjuntos de datos desbalanceados, incluso si un modelo alcanza 99% de precisión, puede simplemente estar prediciendo la clase mayoritaria

Limitaciones de Métodos Existentes

1. Métodos como LIME y SHAP muestran robustez deficiente en conjuntos de datos desbalanceados
2. Falta de Evaluación Específica: Los métodos existentes se enfocan principalmente en rendimiento general, ignorando la naturaleza especial de la clase minoritaria
3. Inestabilidad de Explicaciones: Entradas similares pueden producir explicaciones radicalmente diferentes

Motivación de la Investigación

Los autores argumentan que en conjuntos de datos desbalanceados, la evaluación de la confiabilidad de explicaciones para la clase minoritaria es particularmente importante porque:

• La predicción precisa de eventos raros es crucial en aplicaciones de alto riesgo
• La clase mayoritaria es fácil de predecir, sus explicaciones no son necesariamente confiables
• Se necesitan métodos especializados para evaluar la robustez de explicaciones de la clase minoritaria

Contribuciones Principales

1. Propone un marco de evaluación de confiabilidad de explicaciones para conjuntos de datos desbalanceados, enfocándose en muestras de la clase minoritaria
2. Diseña un método de generación de vecinos basado en variedades, asegurando que las muestras perturbadas estén en la variedad de datos
3. Introduce una métrica de consistencia, evaluando la confiabilidad comparando explicaciones originales con explicaciones promediadas localmente
4. Valida el método en una tarea real de predicción de heladas, que presenta un alto desbalance (99:1)

Explicación Detallada del Método

Definición de la Tarea

Dado un conjunto de datos desbalanceado $\mathcal{D} = (X,y)$, donde $P(y=0) \gg P(y=1)$ (0 es la clase mayoritaria, 1 es la clase minoritaria), entrenamos una red neuronal $f(\cdot)$, con el objetivo de evaluar la confiabilidad del método de explicación $e$ en muestras de la clase minoritaria.

Arquitectura del Modelo

1. Generación de Vecinos (Neighbourhood Generation)

Utiliza generación de vecinos en variedades basada en agrupamiento k-medoids:

Pasos:

• Aplicar agrupamiento k-medoids al conjunto de validación, obteniendo $k_{medoids}$ clusters
• Tamaño promedio de cada cluster $n_k = 10$
• Extraer el medoid de cada cluster como punto representativo
• Para la muestra de prueba, encontrar su medoid correspondiente y sus $k_{nn}=5$ vecinos más cercanos

Fórmula de Perturbación: $\tilde{x}_j = (1-\bar{\lambda}) \cdot x_j + \bar{\lambda} \cdot x_{M_j}$ donde $\bar{\lambda} \sim Beta(\lambda \cdot 100, (1-\lambda) \cdot 100)$

2. Promediado Local (Local Averaging)

Calcular la explicación promediada ponderada para muestras de la clase minoritaria: $\bar{e}(x) = \frac{\sum_{\tilde{x} \in \mathcal{N}} e(\tilde{x}) \cdot \pi(x,\tilde{x})}{\sum_{\tilde{x} \in \mathcal{N}} \pi(x,\tilde{x})}$ donde el peso $\pi(x,\tilde{x}) = \frac{1}{dist(x,\tilde{x})}$

3. Evaluación de Confiabilidad

Definir dos métricas de evaluación:

Robustez Local: $\hat{\mathcal{R}}(x) = \frac{1}{|\mathcal{N}|} \sum_{\tilde{x} \in \mathcal{N}} \rho(e(x), e(\tilde{x}))$

Consistencia: $\hat{\mathcal{C}}(x) = \rho(e(x), \bar{e}(x))$ donde $\rho$ es el coeficiente de correlación de rango de Spearman

Puntos de Innovación Técnica

1. Generación de Vecinos Consciente de Variedades: Comparado con ruido gaussiano aleatorio, el método basado en medoids genera vecinos más consistentes con la distribución de datos
2. Evaluación Especializada para la Clase Minoritaria: Se enfoca en las muestras más críticas pero más frágiles
3. Introducción de Métrica de Consistencia: Evalúa la consistencia local comparando explicaciones originales con explicaciones agregadas
4. Agregación de Explicaciones Ponderada por Distancia: Promedia explicaciones según la distancia entre muestras

Configuración Experimental

Conjunto de Datos

Conjunto de Datos de Predicción de Heladas:

• Fuente: Datos de reanálisis ERA5 (ECMWF) + datos propietarios de compañía aseguradora
• Período Temporal: 2009-2024 (15 años)
• Rango Geográfico: Territorio completo de Polonia
• Características: 8 variables atmosféricas numéricas (normalizadas)
• Objetivo: Clasificación binaria (ocurrencia o no de heladas)
• Grado de Desbalance: 99% vs 1% (altamente desbalanceado)
• División de Datos: Conjunto de entrenamiento 75%, validación 15%, prueba 10% (estratificado por región)

Métricas de Evaluación

• Rendimiento del Modelo: F1-score (apropiado para conjuntos de datos desbalanceados)
• Confiabilidad de Explicaciones: Robustez local $\hat{\mathcal{R}}(x)$ y consistencia $\hat{\mathcal{C}}(x)$
• Medida de Correlación: Coeficiente de correlación de rango de Spearman

Métodos de Comparación

Métodos de Explicación:

1. Integrated Gradients: Método de atribución basado en integración de gradientes
2. DeepLIFT: Método basado en propagación de diferencias de activación
3. Layer-wise Relevance Propagation (LRP): Propagación de relevancia por capas
4. Método Ensemble: Combinación ponderada de los tres métodos anteriores

Comparación de Generación de Vecinos:

• Generación con ruido gaussiano aleatorio vs generación de variedades basada en medoids

Detalles de Implementación

• Arquitectura del Modelo: Red neuronal completamente conectada de 5 capas, activación ReLU, salida sigmoid
• Función de Pérdida: Focal Loss ($\gamma=2.5, \alpha=0.75$)
• Optimizador: RAdam, tasa de aprendizaje 0.0001
• Configuración de Entrenamiento: 100 épocas, tamaño de lote 256
• Parámetros de Vecinos: $k_{nn}=5, \lambda=0.05$, tamaño de vecindario $n=100$

Resultados Experimentales

Resultados Principales

Rendimiento del Modelo

Comparación de Rendimiento de Métodos de Explicación

Hallazgos Clave

1. Importancia del Método de Generación de Vecinos: El método basado en medoids muestra un rendimiento significativamente mejor que el ruido aleatorio en la clase minoritaria
2. DeepLIFT Muestra Rendimiento Óptimo: Logra las puntuaciones más altas y desviaciones estándar más bajas en ambas métricas
3. Inestabilidad de LRP: Debido a problemas de desvanecimiento de gradientes, LRP muestra el rendimiento más inestable
4. Fragilidad de la Clase Minoritaria: Las explicaciones de la clase minoritaria son más susceptibles a la elección del método de generación de vecinos

Experimentos de Ablación

Comparando generación de vecinos aleatoria y basada en medoids, se demuestra que:

• El método aleatorio produce mayores desplazamientos de distribución en la clase minoritaria
• El método basado en medoids preserva mejor la estructura de la variedad de datos
• La clase minoritaria es más sensible a la elección del método de generación de vecinos

Trabajo Relacionado

Investigación sobre Robustez de XAI

• Limitaciones de LIME y SHAP: Investigaciones previas han demostrado que estos métodos tienen un rendimiento deficiente bajo ataques adversariales
• Estabilidad de Explicaciones: El trabajo existente se enfoca principalmente en estabilidad de explicaciones en casos generales, careciendo de investigación especializada en datos desbalanceados

Aprendizaje Desbalanceado

• Métodos Tradicionales: Remuestreo, aprendizaje sensible al costo, etc.
• Métodos de Aprendizaje Profundo: Funciones de pérdida como Focal Loss diseñadas específicamente para datos desbalanceados
• Desafíos de Evaluación: Las métricas de evaluación tradicionales fallan en datos extremadamente desbalanceados

Contribución de este Artículo

Comparado con trabajo existente, este artículo es el primero en estudiar sistemáticamente el problema de confiabilidad de métodos XAI en conjuntos de datos desbalanceados, proponiendo un marco de evaluación especializado.

Conclusiones y Discusión

Conclusiones Principales

1. La confiabilidad de explicaciones en conjuntos de datos desbalanceados es un problema importante pero ignorado
2. Las explicaciones de la clase minoritaria requieren métodos de evaluación especiales, los métodos tradicionales pueden producir resultados engañosos
3. La generación de vecinos basada en variedades puede mejorar significativamente la confiabilidad de la evaluación
4. DeepLIFT muestra el mejor rendimiento en la tarea de predicción de heladas, con alta robustez y consistencia

Limitaciones

1. El método aún está en etapa preliminar: Requiere validación en más conjuntos de datos y escenarios
2. Solo considera datos tabulares: No aborda otros tipos de datos como imágenes o texto
3. Limitaciones de Métricas de Evaluación: Las métricas actuales pueden no capturar completamente la calidad de las explicaciones
4. Costo Computacional: Generar muchos vecinos para cada muestra aumenta el costo computacional

Direcciones Futuras

1. Extensión a Diferentes Proporciones de Desbalance: Investigar el rendimiento del método bajo diferentes grados de desbalance
2. Datos Multimodales: Extender el método a tipos de datos como imágenes y texto
3. Análisis de Incertidumbre: Combinar cuantificación de incertidumbre para mejorar la evaluación de la clase minoritaria
4. Datos Espacio-Temporales: Considerar las propiedades especiales de dimensiones espacio-temporales

Evaluación Profunda

Fortalezas

1. Importancia del Problema: Aborda un problema importante pero ignorado en el campo de XAI
2. Innovación del Método: Propone un marco de evaluación especializado con base teórica
3. Suficiencia Experimental: Validación en escenarios reales con valor de aplicación práctica
4. Claridad de Escritura: Estructura clara del artículo, descripción detallada del método

Deficiencias

1. Escala Experimental Limitada: Validación en solo un conjunto de datos, falta de prueba de universalidad
2. Análisis Teórico Insuficiente: Carece de análisis profundo de propiedades teóricas del método
3. Limitación de Métodos Base: No compara con otros métodos XAI especializados para datos desbalanceados
4. Métrica de Evaluación Única: Se basa principalmente en métricas de correlación, puede no reflejar completamente la calidad de explicaciones

Impacto

1. Contribución Académica: Proporciona nuevas perspectivas para la aplicación de XAI en datos desbalanceados
2. Valor Práctico: Tiene valor orientador para el despliegue de XAI en aplicaciones de alto riesgo
3. Reproducibilidad: El código está disponible en código abierto, facilitando reproducción y extensión

Escenarios Aplicables

• Aplicaciones de Alto Riesgo: Diagnóstico médico, control de riesgo financiero, alerta meteorológica, etc.
• Datos Extremadamente Desbalanceados: Detección de fraude, detección de anomalías, predicción de eventos raros
• Dominios con Requisitos Regulatorios Estrictos: Industrias que requieren IA explicable

Referencias

El artículo cita trabajos importantes en el campo de XAI, incluyendo:

• Métodos clásicos como LIME 3 y SHAP 4
• Métodos de explicación de redes neuronales como Integrated Gradients 11, DeepLIFT 12, LRP 13
• Técnicas de aprendizaje desbalanceado como Focal Loss 7
• Trabajos relacionados sobre análisis de robustez 5, 9, 10

Evaluación General: Este es un trabajo de investigación preliminar que aborda un problema práctico importante. Aunque hay espacio para mejora en escala experimental y profundidad teórica, abre una nueva dirección de investigación para la evaluación de confiabilidad de XAI en conjuntos de datos desbalanceados, con buenas perspectivas de aplicación.