Évaluation de la fiabilité des explications dans les ensembles de données déséquilibrés : une étude de cas sur l'occurrence des gelées

Informations de base

• ID de l'article : 2507.09545
• Titre : Assessing reliability of explanations in unbalanced datasets: a use-case on the occurrence of frost events
• Auteurs : Ilaria Vascotto, Valentina Blasone, Alex Rodriguez, Alessandro Bonaita, Luca Bortolussi
• Classification : cs.LG (Apprentissage automatique)
• Date de publication/Conférence : Travaux de dernière minute, 3e Conférence mondiale sur l'intelligence artificielle explicable (9-11 juillet 2025, Istanbul, Turquie)
• Lien de l'article : https://arxiv.org/abs/2507.09545

Résumé

L'utilisation de méthodes d'intelligence artificielle explicable (XAI) est devenue cruciale dans les applications pratiques, grâce au déploiement croissant de modèles d'IA et aux exigences législatives proposées récemment. La robustesse des explications est un aspect fondamental mais souvent sous-estimé, constituant un attribut clé que les explications doivent satisfaire pour être dignes de confiance. Cette étude fournit des aperçus préliminaires sur l'évaluation de la fiabilité des explications dans le cas spécifique des ensembles de données déséquilibrés. Les ensembles de données déséquilibrés sont très courants dans les cas d'usage à haut risque, mais posent simultanément des défis considérables aux modèles d'IA et aux méthodes XAI. Nous proposons une méthode d'évaluation simple se concentrant sur la classe minoritaire (c'est-à-dire les catégories moins fréquentes), qui exploite la génération de voisins sur les variétés, l'agrégation d'explications et une mesure testant la cohérence des explications. Nous la démontrons sur un ensemble de données tabulaires basé sur des caractéristiques numériques, en utilisant l'occurrence de gelées comme cas d'usage.

Contexte et motivation de la recherche

Définition du problème

Le problème fondamental que cette étude vise à résoudre est : comment évaluer la fiabilité des explications XAI dans les ensembles de données déséquilibrés. Plus précisément, lorsque l'ensemble de données contient très peu d'échantillons de la classe minoritaire, les méthodes d'explication traditionnelles peuvent produire des résultats peu fiables.

Analyse de l'importance

1. Exigences législatives : Les réglementations telles que le RGPD et la Loi sur l'IA imposent des exigences de transparence pour les applications à haut risque
2. Besoins pratiques : Les domaines à haut risque tels que la médecine, le climat et la détection de fraude font face à des problèmes de déséquilibre des données
3. Crise de confiance : Sur les ensembles de données déséquilibrés, même si un modèle atteint une précision de 99 %, il peut simplement prédire la classe majoritaire

Limitations des méthodes existantes

1. Les méthodes LIME et SHAP présentent une robustesse médiocre sur les ensembles de données déséquilibrés
2. Manque d'évaluation ciblée : Les méthodes existantes se concentrent principalement sur les performances globales, négligeant les particularités de la classe minoritaire
3. Instabilité des explications : Des entrées similaires peuvent produire des explications radicalement différentes

Motivation de la recherche

Les auteurs estiment que dans les ensembles de données déséquilibrés, l'évaluation de la fiabilité des explications de la classe minoritaire est particulièrement importante, car :

• La prédiction précise d'événements rares est cruciale dans les applications à haut risque
• La classe majoritaire est facile à prédire, ses explications ne sont pas nécessairement fiables
• Des méthodes spécialisées sont nécessaires pour évaluer la robustesse des explications de la classe minoritaire

Contributions principales

1. Proposition d'un cadre d'évaluation de la fiabilité des explications pour les ensembles de données déséquilibrés, se concentrant sur les échantillons de la classe minoritaire
2. Conception d'une méthode de génération de voisins basée sur les variétés, garantissant que les échantillons perturbés se situent sur la variété des données
3. Introduction d'une mesure de cohérence, évaluant la fiabilité en comparant les explications originales avec les explications moyennes pondérées localement
4. Validation de l'efficacité de la méthode sur une tâche réelle de prédiction de gelées, caractérisée par un déséquilibre extrême (99:1)

Explication détaillée de la méthode

Définition de la tâche

Étant donné un ensemble de données déséquilibré $\mathcal{D} = (X,y)$, où $P(y=0) \gg P(y=1)$ (0 pour la classe majoritaire, 1 pour la classe minoritaire), entraîner un réseau de neurones $f(\cdot)$, l'objectif est d'évaluer la fiabilité de la méthode d'explication $e$ sur les échantillons de la classe minoritaire.

Architecture du modèle

1. Génération de voisins (Neighbourhood Generation)

Utilisation de la génération de voisins sur les variétés basée sur le clustering k-medoids :

Étapes :

• Application du clustering k-medoids sur l'ensemble de validation, obtenant $k_{medoids}$ clusters
• Taille moyenne de chaque cluster $n_k = 10$
• Extraction du medoid de chaque cluster comme point représentatif
• Pour chaque échantillon de test, trouver son medoid correspondant et ses $k_{nn}=5$ voisins les plus proches

Formule de perturbation : $\tilde{x}_j = (1-\bar{\lambda}) \cdot x_j + \bar{\lambda} \cdot x_{M_j}$ où $\bar{\lambda} \sim Beta(\lambda \cdot 100, (1-\lambda) \cdot 100)$

2. Moyenne locale (Local Averaging)

Calcul de l'explication moyenne pondérée pour les échantillons de la classe minoritaire : $\bar{e}(x) = \frac{\sum_{\tilde{x} \in \mathcal{N}} e(\tilde{x}) \cdot \pi(x,\tilde{x})}{\sum_{\tilde{x} \in \mathcal{N}} \pi(x,\tilde{x})}$ où le poids $\pi(x,\tilde{x}) = \frac{1}{dist(x,\tilde{x})}$

3. Évaluation de la fiabilité

Définition de deux métriques d'évaluation :

Robustesse locale : $\hat{\mathcal{R}}(x) = \frac{1}{|\mathcal{N}|} \sum_{\tilde{x} \in \mathcal{N}} \rho(e(x), e(\tilde{x}))$

Cohérence : $\hat{\mathcal{C}}(x) = \rho(e(x), \bar{e}(x))$ où $\rho$ est le coefficient de corrélation de rang de Spearman

Points d'innovation technique

1. Génération de voisins sensible aux variétés : Comparée au bruit gaussien aléatoire, la méthode basée sur medoid génère des voisins plus conformes à la distribution des données
2. Évaluation spécialisée pour la classe minoritaire : Concentration sur les échantillons les plus critiques mais les plus fragiles
3. Introduction de la mesure de cohérence : Évaluation de la cohérence locale en comparant les explications originales et agrégées
4. Agrégation d'explications pondérées par la distance : Moyenne pondérée des explications selon la distance entre les échantillons

Configuration expérimentale

Ensemble de données

Ensemble de données de prédiction de gelées :

• Source : Données de réanalyse ERA5 (ECMWF) + données propriétaires d'une compagnie d'assurance
• Période : 2009-2024 (15 ans)
• Couverture géographique : Ensemble de la Pologne
• Caractéristiques : 8 variables atmosphériques numérisées (traitées par normalisation)
• Cible : Classification binaire (occurrence ou non de gelées)
• Degré de déséquilibre : 99 % vs 1 % (déséquilibre extrême)
• Division des données : Ensemble d'entraînement 75 %, ensemble de validation 15 %, ensemble de test 10 % (stratification par région)

Métriques d'évaluation

• Performance du modèle : F1-score (adapté aux ensembles de données déséquilibrés)
• Fiabilité des explications : Robustesse locale $\hat{\mathcal{R}}(x)$ et cohérence $\hat{\mathcal{C}}(x)$
• Mesure de corrélation : Coefficient de corrélation de rang de Spearman

Méthodes de comparaison

Méthodes d'explication :

1. Integrated Gradients : Méthode d'attribution basée sur l'intégration de gradients
2. DeepLIFT : Méthode basée sur la propagation des différences d'activation
3. Layer-wise Relevance Propagation (LRP) : Propagation de pertinence par couche
4. Méthode d'ensemble : Combinaison pondérée des trois méthodes ci-dessus

Comparaison de la génération de voisins :

• Génération de bruit gaussien aléatoire vs génération de variétés basée sur medoid

Détails d'implémentation

• Architecture du modèle : Réseau de neurones entièrement connecté à 5 couches, activation ReLU, sortie sigmoid
• Fonction de perte : Focal Loss ($\gamma=2.5, \alpha=0.75$)
• Optimiseur : RAdam, taux d'apprentissage 0.0001
• Configuration d'entraînement : 100 epochs, taille de batch 256
• Paramètres de voisinage : $k_{nn}=5, \lambda=0.05$, taille de voisinage $n=100$

Résultats expérimentaux

Résultats principaux

Performance du modèle

Comparaison de la performance des méthodes d'explication

Découvertes clés

1. Importance de la méthode de génération de voisins : La méthode basée sur medoid surpasse significativement le bruit aléatoire sur la classe minoritaire
2. Performance optimale de DeepLIFT : Obtient les scores les plus élevés et les écarts-types les plus faibles sur les deux métriques
3. Instabilité de LRP : En raison du problème de disparition de gradients, LRP présente les performances les plus instables
4. Fragilité de la classe minoritaire : Les explications de la classe minoritaire sont plus sensibles au choix de la méthode de génération de voisins que celles de la classe majoritaire

Études d'ablation

Par comparaison entre la génération de voisins aléatoires et la génération basée sur medoid, il est démontré que :

• La méthode aléatoire produit un décalage de distribution plus important sur la classe minoritaire
• La méthode basée sur medoid préserve mieux la structure de la variété des données
• La classe minoritaire est plus sensible au choix de la méthode de génération de voisins

Travaux connexes

Recherche sur la robustesse de XAI

• Limitations de LIME et SHAP : Des études existantes montrent que ces méthodes présentent des performances médiocres face aux attaques adversariales
• Stabilité des explications : Les travaux existants se concentrent principalement sur la stabilité des explications dans les cas généraux, manquant d'études spécialisées sur les données déséquilibrées

Apprentissage déséquilibré

• Méthodes traditionnelles : Rééchantillonnage, apprentissage sensible aux coûts, etc.
• Méthodes d'apprentissage profond : Focal Loss et autres fonctions de perte spécialisées pour traiter le déséquilibre
• Défis d'évaluation : Les métriques d'évaluation traditionnelles échouent sur les données extrêmement déséquilibrées

Contribution de cet article

Comparé aux travaux existants, cet article étudie systématiquement pour la première fois le problème de la fiabilité des méthodes XAI dans les ensembles de données déséquilibrés, proposant un cadre d'évaluation spécialisé.

Conclusion et discussion

Conclusions principales

1. La fiabilité des explications dans les ensembles de données déséquilibrés est un problème important mais négligé
2. Les explications de la classe minoritaire nécessitent des méthodes d'évaluation spéciales, les méthodes traditionnelles pouvant produire des résultats trompeurs
3. La génération de voisins basée sur les variétés peut améliorer significativement la fiabilité de l'évaluation
4. DeepLIFT présente les meilleures performances dans la tâche de prédiction de gelées, avec une robustesse et une cohérence élevées

Limitations

1. La méthode en est encore à un stade préliminaire : Nécessite une validation sur plus d'ensembles de données et de scénarios
2. Considère uniquement les données tabulaires : N'inclut pas d'autres types de données telles que les images et le texte
3. Limitations des métriques d'évaluation : Les métriques actuelles peuvent ne pas capturer complètement la qualité des explications
4. Coût de calcul : La génération d'un grand nombre de voisins pour chaque échantillon augmente le coût de calcul

Directions futures

1. Extension à différents ratios de déséquilibre : Étudier la performance de la méthode sous différents degrés de déséquilibre
2. Données multimodales : Étendre la méthode aux images, au texte et à d'autres types de données
3. Analyse d'incertitude : Combiner la quantification d'incertitude pour améliorer l'évaluation de la classe minoritaire
4. Données spatio-temporelles : Considérer les particularités des dimensions spatio-temporelles

Évaluation approfondie

Points forts

1. Importance du problème : Aborde un problème important mais négligé dans le domaine de XAI
2. Innovation méthodologique : Propose un cadre d'évaluation ciblé avec une base théorique
3. Suffisance expérimentale : Validation sur des scénarios réels, avec une valeur d'application pratique
4. Clarté de la rédaction : Structure claire de l'article, description détaillée de la méthode

Insuffisances

1. Échelle expérimentale limitée : Validation sur un seul ensemble de données, manque de preuve d'universalité
2. Analyse théorique insuffisante : Manque d'analyse approfondie des propriétés théoriques de la méthode
3. Limitation des méthodes de base : Pas de comparaison avec d'autres méthodes XAI spécialisées pour les données déséquilibrées
4. Métriques d'évaluation uniques : Dépend principalement de métriques de corrélation, peut ne pas refléter complètement la qualité des explications

Impact

1. Contribution académique : Fournit de nouvelles perspectives pour l'application de XAI sur les données déséquilibrées
2. Valeur pratique : Offre des orientations pour le déploiement de XAI dans les applications à haut risque
3. Reproductibilité : Le code est en open source, facilitant la reproduction et l'extension

Scénarios d'application

• Applications à haut risque : Diagnostic médical, contrôle des risques financiers, alerte météorologique, etc.
• Données extrêmement déséquilibrées : Détection de fraude, détection d'anomalies, prédiction d'événements rares
• Domaines aux exigences réglementaires strictes : Industries nécessitant une IA explicable

Références

L'article cite des travaux importants dans le domaine de XAI, notamment :

• Les méthodes classiques LIME 3 et SHAP 4
• Les méthodes d'explication de réseaux de neurones Integrated Gradients 11, DeepLIFT 12, LRP 13
• Les techniques d'apprentissage déséquilibré Focal Loss 7
• Les travaux connexes d'analyse de robustesse 5, 9, 10

Évaluation globale : Ceci est un travail de recherche préliminaire portant attention à un problème pratique important. Bien qu'il y ait de la place pour amélioration en termes d'échelle expérimentale et de profondeur théorique, il ouvre une nouvelle direction de recherche pour l'évaluation de la fiabilité de XAI sur les ensembles de données déséquilibrés, avec de bonnes perspectives d'application.