Assimilation de données d'ensemble pour diagnostiquer un modèle de prévision météorologique basé sur l'IA : Un cas avec ClimaX version 0.3.1

Informations fondamentales

• ID de l'article : 2407.17781
• Titre : Ensemble data assimilation to diagnose AI-based weather prediction model: A case with ClimaX version 0.3.1
• Auteurs : Shunji Kotsuki, Kenta Shiraishi, Atsushi Okazaki (Université de Chiba)
• Classification : cs.LG stat.AP
• Date de publication : Juillet 2024
• Lien de l'article : https://arxiv.org/abs/2407.17781

Résumé

La recherche en prévision météorologique par intelligence artificielle (IA) se développe rapidement et a démontré sa compétitivité par rapport aux modèles avancés de prévision numérique du temps (PNT). Cependant, les études combinant les modèles de prévision météorologique par IA avec l'assimilation de données restent limitées, en partie en raison de la nécessité de cycles d'assimilation de données séquentiels prolongés pour évaluer les systèmes d'assimilation. Cette étude propose d'utiliser l'assimilation de données d'ensemble pour diagnostiquer les modèles de prévision météorologique par IA, et réalise pour la première fois avec succès la combinaison du filtre de Kalman d'ensemble avec un modèle de prévision météorologique par IA. Les expériences basées sur le modèle IA ClimaX montrent que, grâce à l'utilisation de techniques d'inflation de covariance et de localisation dans le filtre de Kalman d'ensemble, l'assimilation de données d'ensemble peut fonctionner en cycle stable. Bien que ClimaX présente des limitations par rapport aux modèles dynamiques dans la capture de la covariance d'erreur dépendante du flux, l'ensemble de prévisions par IA fournit une covariance d'erreur raisonnable et bénéfique dans les régions d'observations éparses. De plus, l'assimilation de données d'ensemble révèle que la croissance d'erreur basée sur les prévisions d'ensemble ClimaX est plus faible que celle du modèle PNT dynamique, conduisant à des facteurs d'inflation plus élevés. Une série d'expériences démontre que l'assimilation de données d'ensemble peut être utilisée pour diagnostiquer les propriétés des modèles de prévision météorologique par IA, telles que la cohérence physique et la représentation précise de la croissance d'erreur.

Contexte et motivation de la recherche

Contexte du problème

1. Intensification des menaces météorologiques extrêmes : Les événements météorologiques extrêmes induits par le changement climatique deviennent de plus en plus graves, le Forum économique mondial classant les conditions météorologiques extrêmes parmi les menaces mondiales les plus sérieuses
2. Développement rapide de la prévision météorologique par IA : Depuis la publication de GraphCast par Google DeepMind en décembre 2022, la recherche en prévision météorologique par apprentissage profond s'est développée rapidement, incluant Pangu-Weather de Huawei, ClimaX et Stormer de Microsoft, FourCastNet de NVIDIA, etc.
3. Retard dans la recherche sur l'assimilation de données : Bien que les modèles de prévision météorologique par IA puissent rivaliser avec les modèles PNT les plus avancés, les recherches combinant les modèles IA avec l'assimilation de données restent limitées

Motivation de la recherche

1. Défis techniques : La nécessité d'expériences d'assimilation de données séquentielles prolongées rend difficile l'évaluation des systèmes d'assimilation de données pour les modèles IA
2. Lacunes méthodologiques : Bien qu'il existe des recherches combinant l'assimilation de données variationnelle avec les modèles IA, aucun cas réussi de combinaison du filtre de Kalman d'ensemble avec les modèles IA n'a été rapporté
3. Besoins diagnostiques : Des méthodes efficaces sont nécessaires pour diagnostiquer les propriétés des modèles de prévision météorologique par IA, telles que la cohérence physique et la représentation de la croissance d'erreur

Contributions principales

1. Première réalisation réussie : Première combinaison réussie du filtre de Kalman d'ensemble local (LETKF) avec un modèle de prévision météorologique par IA (ClimaX)
2. Fonctionnement en cycle stable : Démonstration que l'assimilation de données d'ensemble du modèle IA peut fonctionner en cycle stable pendant un an grâce aux techniques d'inflation de covariance et de localisation
3. Établissement d'un cadre de diagnostic : Création d'un cadre utilisant l'assimilation de données d'ensemble pour diagnostiquer les propriétés des modèles de prévision météorologique par IA
4. Découvertes importantes : Révélation des limitations du modèle IA par rapport aux modèles dynamiques en termes de croissance d'erreur et de cohérence physique
5. Améliorations techniques : Extension de ClimaX pour supporter la prévision de plus de variables afin de répondre aux besoins de l'assimilation de données

Explication détaillée de la méthode

Définition de la tâche

La tâche centrale de cette recherche consiste à appliquer les techniques d'assimilation de données d'ensemble aux modèles de prévision météorologique par IA pour diagnostiquer leurs propriétés et évaluer leurs performances dans les systèmes d'assimilation de données. L'entrée comprend les données d'observation atmosphérique et les prévisions du modèle IA, tandis que la sortie est le champ d'analyse assimilé.

Architecture du modèle

Modèle ClimaX

• Architecture de base : Modèle mondial de prévision météorologique atmosphérique par IA basé sur Vision Transformer (ViT)
• Configuration de résolution : Points de grille 64×32 (5,625°×5,625°), 7 niveaux verticaux (900, 850, 700, 600, 500, 250, 50 hPa)
• Composants clés : Tokenisation des variables (variable tokenization) et agrégation des variables (variable aggregation)
• Améliorations apportées : Extension des 5 variables de prévision par défaut à l'ensemble complet de variables présenté dans le tableau 1, supportant les besoins de l'assimilation de données

Système d'assimilation de données LETKF

Équation de mise à jour de la matrice d'état d'ensemble :

X^a = x̄^b · 1^T + δX^b P̃^a (Y^T R^-1 (y^o - H(X^b) · 1^T) + √(m-1) P̃^a^(1/2))

Où la matrice de covariance :

P̃^a = (I + Y^T R^-1 Y)^-1

Fonction de localisation :

l = {exp(-dh²/Lh² - dv²/Lv²)  si dh ≤ 2√(10/3)Lh et dv ≤ 2√(10/3)Lv
     0                        sinon}

Points d'innovation technique

1. Intégration du système : Première intégration réussie du LETKF avec un modèle de prévision météorologique par IA, développée sur la base du système SPEEDY-LETKF
2. Extension du modèle : Extension de ClimaX pour supporter l'ensemble complet de variables requises par l'assimilation de données
3. Méthode de diagnostic : Utilisation d'indicateurs tels que l'échelle de localisation optimale et le facteur d'inflation pour diagnostiquer les propriétés du modèle IA
4. Conception du réseau d'observation : Adoption d'un réseau d'observation similaire aux observations de radiosondage, avec des observations de température, de champ de vent, etc. sur 7 niveaux aux stations d'observation

Configuration expérimentale

Ensemble de données

• Données d'entraînement : Ensemble de données WeatherBench 2006-2015 pour l'entraînement, 2016 pour la validation
• Données expérimentales : Données de 2017 pour les expériences d'assimilation de données (non utilisées pour l'entraînement)
• Conditions initiales : Conditions initiales de 20 membres d'ensemble sélectionnés à partir des données WeatherBench de 2006

Indicateurs d'évaluation

• RMSE : Erreur quadratique moyenne globale
• Différence MAE : Différence d'erreur absolue moyenne entre le champ d'analyse et le premier essai
• Facteur d'inflation : Facteur d'inflation de covariance adaptatif basé sur les statistiques de l'espace d'observation
• Coefficient de corrélation d'anomalie : Indicateur de performance du modèle pendant l'entraînement

Méthodes de comparaison

• Expériences de sensibilité avec différentes échelles de localisation horizontale (Lh = 400, 500, 600, 700, 800 km)
• Comparaison du facteur d'inflation avec le modèle PNT dynamique (SPEEDY)

Détails d'implémentation

• Taille de l'ensemble : 20 membres
• Intervalle d'assimilation de données : 6 heures
• Échelle de localisation verticale : Lv = 1,0 (log Pa)
• Erreur d'observation : Écart-type de 1,0 pour la température et le champ de vent, écart-type de 0,1 pour l'humidité spécifique, écart-type de 1,0 pour la pression de surface

Résultats expérimentaux

Résultats principaux

Analyse de stabilité

• Cycle réussi : Les expériences avec Lh = 500, 600, 700 km restent stables tout au long de l'année 2017
• Divergence du filtre : Divergence du filtre observée après septembre 2017 avec Lh = 800 km
• Performance sous-optimale : Lh = 400 km réduit continuellement le RMSE mais montre une performance sous-optimale

Échelle de localisation optimale

• Configuration optimale : Lh = 600 km atteint le RMSE d'analyse le plus bas pour la plupart des variables
• Amélioration significative : La température et la pression de surface montrent une réduction significative de l'erreur d'analyse
• Limitations du champ de vent : Les vents zonaux et méridionaux ne montrent pas d'amélioration évidente, voire une légère dégradation

Analyse des motifs spatiaux

• Amélioration aux points d'observation : Amélioration généralisée du vent zonal et de la température aux points de grille avec observations
• Dégradation périphérique : Légère dégradation observée dans les régions autour des stations d'observation (comme l'océan arctique, les côtes américaines et japonaises)
• Avantage dans l'hémisphère sud : La hauteur géopotentielle et la pression de surface montrent une amélioration dans les régions d'observations éparses de l'hémisphère sud

Découvertes importantes

Caractéristiques du facteur d'inflation

• Besoin d'inflation élevée : ClimaX nécessite des facteurs d'inflation plus élevés que le modèle dynamique (la figure 6 montre environ 1,4-1,6 en moyenne mondiale)
• Croissance d'erreur faible : Indique que la croissance d'erreur du modèle IA est plus faible que celle du modèle PNT dynamique
• Propriétés chaotiques insuffisantes : Cohérent avec les conclusions de Selz et Craig (2022), le modèle IA ne peut pas reproduire correctement l'effet papillon

Limitations de la cohérence physique

• Limitations de prévision à court terme : ClimaX ne peut pas effectuer d'intégration naturelle à long terme, s'écartant progressivement de l'atmosphère réelle après 6 heures de prévision
• Génération de champs non physiques : Les prévisions à long terme produisent des champs météorologiques astronomiquement irréalistes (comme des températures extrêmement basses sur le Pacifique)
• Problème d'attracteur : Le modèle IA ne peut pas revenir à une trajectoire d'attracteur météorologiquement raisonnable

Travaux connexes

Développement de la prévision météorologique par IA

• GraphCast : Travail fondateur de Google DeepMind
• Modèles commerciaux : Pangu-Weather (Huawei), ClimaX/Stormer (Microsoft), FourCastNet (NVIDIA)
• Architecture ViT : La plupart des modèles de prévision météorologique par IA adoptent l'architecture Vision Transformer

Méthodes d'assimilation de données

• Méthodes variationnelles : Similarité mathématique avec les modèles IA, recherches existantes sur la combinaison 4DVar
• Méthodes d'ensemble : Cette étude réalise pour la première fois avec succès la combinaison EnKF avec les modèles IA
• Assimilation de données par apprentissage profond : Utilisation récente de réseaux de neurones pour résoudre le problème inverse de l'assimilation de données

Conclusions et discussion

Conclusions principales

1. Faisabilité technique : L'assimilation de données d'ensemble peut être combinée de manière stable avec les modèles de prévision météorologique par IA et fonctionner en cycle
2. Valeur diagnostique : L'assimilation de données d'ensemble est un outil efficace pour diagnostiquer les propriétés des modèles IA
3. Identification des limitations : Les modèles IA présentent des insuffisances dans la capture de la covariance d'erreur dépendante du flux et la représentation de la croissance d'erreur
4. Avantage dans les régions éparses : L'ensemble de prévisions par IA fournit une covariance d'erreur raisonnable dans les régions d'observations éparses

Limitations

1. Échelle de localisation optimale réduite : 600 km est significativement inférieur aux 900 km des modèles dynamiques, indiquant une capacité insuffisante à capturer la covariance d'erreur dépendante du flux
2. Impossibilité de réaliser des OSSE : En raison de l'instabilité des prévisions à long terme, les expériences de simulation de systèmes d'observation ne peuvent pas être réalisées
3. Absence de contraintes physiques : Les modèles IA manquent de contraintes de lois physiques, produisant facilement des champs météorologiques irréalistes
4. Croissance d'erreur insuffisante : La dispersion d'ensemble est insuffisante, nécessitant des facteurs d'inflation plus élevés

Directions futures

1. Intégration de contraintes physiques : Incorporation d'équilibre hydrostatique, équilibre géostrophique et autres contraintes physiques dans l'entraînement des modèles IA
2. Amélioration de la croissance d'erreur : Développement de schémas de paramétrisation stochastique ou de méthodes d'ensemble multi-modèles
3. Extension à grands ensembles : Exploitation des avantages informatiques des modèles IA pour l'extension à EnKF à grands ensembles ou filtres à particules localisés
4. Application à des observations réelles : Évolution vers l'assimilation de données avec des observations réelles

Évaluation approfondie

Points forts

1. Contribution pionnière : Première réalisation réussie de la combinaison EnKF avec un modèle de prévision météorologique par IA, possédant une valeur académique importante
2. Recherche systématique : Évaluation systématique de l'efficacité de la méthode par le biais d'expériences avec plusieurs échelles de localisation
3. Diagnostic approfondi : Utilisation des techniques d'assimilation de données pour une analyse approfondie des propriétés du modèle IA, offrant une nouvelle perspective d'évaluation
4. Valeur pratique : Indique les directions d'amélioration des modèles de prévision météorologique par IA
5. Code en accès libre : Fourniture de code et de données complets assurant la reproductibilité

Insuffisances

1. Limitation de résolution : Expériences réalisées uniquement à basse résolution (5,625°), utilité pratique limitée
2. Observations simulées : Utilisation d'observations simulées plutôt que d'observations réelles, écart avec les applications pratiques
3. Modèle unique : Test d'un seul modèle IA (ClimaX), généralité des conclusions à vérifier
4. Analyse théorique insuffisante : Explications théoriques des limitations du modèle IA relativement superficielles

Impact

1. Impact académique : Ouverture d'une nouvelle direction pour la combinaison de la prévision météorologique par IA et de l'assimilation de données
2. Valeur pratique : Fourniture de références importantes pour le développement de systèmes de prévision météorologique par IA opérationnels
3. Contribution méthodologique : Établissement d'un cadre pour le diagnostic des modèles IA par assimilation de données
4. Forte reproductibilité : Code source complet en accès libre facilitant les recherches ultérieures

Scénarios d'application

1. Évaluation des modèles IA : Applicable au diagnostic des propriétés de divers modèles de prévision météorologique par IA
2. Recherche sur l'assimilation de données : Fourniture de base pour le développement de systèmes d'assimilation de données pour les modèles IA
3. Systèmes hybrides : Utilisation pour la conception de systèmes de prévision hybrides IA-modèles physiques
4. Recherche pédagogique : Cas d'étude important pour l'enseignement de la météorologie par IA

Références

1. Lam, R., et al. (2023): Learning skillful medium-range global weather forecasting. Science, 382(6677), 1416-1421.
2. Bi, K., et al. (2023): Accurate medium-range global weather forecasting with 3D neural networks. Nature, 619(7970), 533-538.
3. Hunt, B. R., et al. (2007): Efficient data assimilation for spatiotemporal chaos: A local ensemble transform Kalman filter. Physica D, 230(1-2), 112-126.
4. Nguyen, T., et al. (2023): ClimaX: A foundation model for weather and climate. arXiv preprint arXiv:2301.10343.

Cet article possède une importance pionnière dans la combinaison de la prévision météorologique par IA et de l'assimilation de données. Bien qu'il présente certaines limitations techniques, il jette les bases importantes du développement de ce domaine et possède une valeur académique et un potentiel pratique considérables.