2025-11-13T23:28:11.258985

Ensemble data assimilation to diagnose AI-based weather prediction model: A case with ClimaX version 0.3.1

Kotsuki, Shiraishi, Okazaki
Artificial intelligence (AI)-based weather prediction research is growing rapidly and has shown to be competitive with the advanced dynamic numerical weather prediction models. However, research combining AI-based weather prediction models with data assimilation remains limited partially because long-term sequential data assimilation cycles are required to evaluate data assimilation systems. This study proposes using ensemble data assimilation for diagnosing AI-based weather prediction models, and marked the first successful implementation of ensemble Kalman filter with AI-based weather prediction models. Our experiments with an AI-based model ClimaX demonstrated that the ensemble data assimilation cycled stably for the AI-based weather prediction model using covariance inflation and localization techniques within the ensemble Kalman filter. While ClimaX showed some limitations in capturing flow-dependent error covariance compared to dynamical models, the AI-based ensemble forecasts provided reasonable and beneficial error covariance in sparsely observed regions. In addition, ensemble data assimilation revealed that error growth based on ensemble ClimaX predictions was weaker than that of dynamical NWP models, leading to higher inflation factors. A series of experiments demonstrated that ensemble data assimilation can be used to diagnose properties of AI weather prediction models such as physical consistency and accurate error growth representation.
academic

Ensemble data assimilation to diagnose AI-based weather prediction model: A case with ClimaX version 0.3.1

基本信息

  • 论文ID: 2407.17781
  • 标题: Ensemble data assimilation to diagnose AI-based weather prediction model: A case with ClimaX version 0.3.1
  • 作者: Shunji Kotsuki, Kenta Shiraishi, Atsushi Okazaki (千叶大学)
  • 分类: cs.LG stat.AP
  • 发表时间: 2024年7月
  • 论文链接: https://arxiv.org/abs/2407.17781

摘要

人工智能（AI）天气预报研究发展迅速，已显示出与先进动力数值天气预报模型的竞争力。然而，结合AI天气预报模型与数据同化的研究仍然有限，部分原因是评估数据同化系统需要长期顺序的数据同化循环。本研究提出使用集合数据同化来诊断AI天气预报模型，并首次成功实现了集合卡尔曼滤波器与AI天气预报模型的结合。基于AI模型ClimaX的实验表明，通过在集合卡尔曼滤波器中使用协方差膨胀和局地化技术，集合数据同化能够稳定地循环运行。虽然ClimaX在捕获流依赖误差协方差方面相比动力模型存在局限性，但AI集合预报在稀疏观测区域提供了合理且有益的误差协方差。此外，集合数据同化揭示了基于ClimaX集合预报的误差增长比动力NWP模型更弱，导致更高的膨胀因子。一系列实验证明了集合数据同化可用于诊断AI天气预报模型的物理一致性和准确误差增长表示等特性。

研究背景与动机

问题背景

  1. 极端天气威胁加剧：气候变化导致的极端天气事件日益严重，世界经济论坛将极端天气列为最严重的全球威胁之一
  2. AI天气预报快速发展：自2022年12月Google DeepMind发布GraphCast以来，深度学习天气预报研究快速增长，包括华为的Pangu-Weather、微软的ClimaX和Stormer、英伟达的FourCastNet等
  3. 数据同化研究滞后：尽管AI天气预报模型已能与最先进的NWP模型竞争，但将AI模型与数据同化结合的研究仍然有限

研究动机

  1. 技术挑战：长期顺序数据同化实验的需求使得评估AI模型的数据同化系统变得困难
  2. 方法空白：虽然已有变分数据同化与AI模型结合的研究，但尚无成功的集合卡尔曼滤波与AI模型结合的案例
  3. 诊断需求：需要有效方法来诊断AI天气预报模型的特性，如物理一致性和误差增长表示

核心贡献

  1. 首次成功实现：首次成功将集合卡尔曼滤波器（LETKF）与AI天气预报模型（ClimaX）结合
  2. 稳定循环运行：证明了通过协方差膨胀和局地化技术，AI模型的集合数据同化能够稳定循环一年
  3. 诊断框架建立：建立了使用集合数据同化诊断AI天气预报模型特性的框架
  4. 重要发现：揭示了AI模型相比动力模型在误差增长和物理一致性方面的局限性
  5. 技术改进：对ClimaX进行了扩展，支持更多变量的预报以满足数据同化需求

方法详解

任务定义

本研究的核心任务是将集合数据同化技术应用于AI天气预报模型，以诊断其特性并评估其在数据同化系统中的表现。输入为大气观测数据和AI模型预报，输出为经过同化的分析场。

模型架构

ClimaX模型

  • 基础架构：基于Vision Transformer (ViT)的全球大气AI天气预报模型
  • 分辨率设置：64×32网格点（5.625°×5.625°），7个垂直层（900, 850, 700, 600, 500, 250, 50 hPa）
  • 关键组件：变量标记化（variable tokenization）和变量聚合（variable aggregation）
  • 扩展改进：将默认的5个预报变量扩展到表1所示的完整变量集，支持数据同化需求

LETKF数据同化系统

集合状态矩阵更新方程：

X^a = x̄^b · 1^T + δX^b P̃^a (Y^T R^-1 (y^o - H(X^b) · 1^T) + √(m-1) P̃^a^(1/2))

其中协方差矩阵：

P̃^a = (I + Y^T R^-1 Y)^-1

局地化函数：

l = {exp(-dh²/Lh² - dv²/Lv²)  if dh ≤ 2√(10/3)Lh and dv ≤ 2√(10/3)Lv
     0                        else}

技术创新点

  1. 系统集成：首次成功将LETKF与AI天气预报模型集成，基于SPEEDY-LETKF系统开发
  2. 模型扩展：扩展ClimaX支持数据同化所需的完整变量集
  3. 诊断方法：利用最优局地化尺度、膨胀因子等指标诊断AI模型特性
  4. 观测网络设计：采用类似探空观测的观测网络，在观测站点对温度、风场等进行7层观测

实验设置

数据集

  • 训练数据：WeatherBench数据集2006-2015年用于训练，2016年用于验证
  • 实验数据：2017年数据进行数据同化实验（未用于训练）
  • 初始条件：从2006年WeatherBench数据选取20个集合成员的初始条件

评价指标

  • RMSE：全球平均均方根误差
  • MAE差值：分析场与第一猜测场的平均绝对误差差值
  • 膨胀因子：基于观测空间统计的自适应协方差膨胀因子
  • 异常相关系数：训练过程中的模型性能指标

对比方法

  • 不同水平局地化尺度（Lh = 400, 500, 600, 700, 800 km）的敏感性实验
  • 与动力NWP模型（SPEEDY）的膨胀因子对比

实现细节

  • 集合大小：20个成员
  • 数据同化间隔：6小时
  • 垂直局地化尺度：Lv = 1.0 (log Pa)
  • 观测误差：温度、风场标准差1.0，比湿标准差0.1，表面气压标准差1.0

实验结果

主要结果

稳定性分析

  • 成功循环：Lh = 500, 600, 700 km的实验在2017年全年保持稳定
  • 滤波发散：Lh = 800 km在2017年9月后出现滤波发散
  • 次优表现：Lh = 400 km持续降低RMSE但表现次优

最优局地化尺度

  • 最优设置：Lh = 600 km在大多数变量上取得最低分析RMSE
  • 显著改善：温度和表面气压显示显著的分析误差减少
  • 风场局限：纬向和经向风未见明显改善，甚至略有退化

空间模式分析

  • 观测点改善：在有观测的网格点，纬向风和温度普遍改善
  • 周边退化：观测站周围区域（如北极海洋、美国和日本沿海）出现轻微退化
  • 南半球优势：位势高度和表面气压在南半球稀疏观测区域显示改善

重要发现

膨胀因子特性

  • 高膨胀需求：ClimaX需要比动力模型更高的膨胀因子（图6显示全球平均约1.4-1.6）
  • 误差增长弱：表明AI模型的误差增长比动力NWP模型更弱
  • 混沌特性差：与Selz and Craig (2022)的发现一致，AI模型无法准确再现蝴蝶效应

物理一致性限制

  • 短期预报限制：ClimaX无法进行长期自然积分，6小时预报后逐渐偏离真实大气
  • 非物理场生成：长期预报产生气象学上不现实的天气场（如太平洋极低温度）
  • 吸引子问题：AI模型无法回到气象学上合理的吸引子轨道

相关工作

AI天气预报发展

  • GraphCast：Google DeepMind的开创性工作
  • 商业模型：Pangu-Weather (华为)、ClimaX/Stormer (微软)、FourCastNet (英伟达)
  • ViT架构：大多数AI天气预报模型采用Vision Transformer架构

数据同化方法

  • 变分方法：与AI模型的数学相似性，已有4DVar结合的研究
  • 集合方法：本研究首次成功实现EnKF与AI模型结合
  • 深度学习DA：近期开始用神经网络解决数据同化逆问题

结论与讨论

主要结论

  1. 技术可行性：集合数据同化能够与AI天气预报模型稳定结合并循环运行
  2. 诊断价值：集合数据同化是诊断AI模型特性的有效工具
  3. 局限性识别：AI模型在流依赖误差协方差和误差增长表示方面存在不足
  4. 稀疏区域优势：AI集合预报在稀疏观测区域提供合理的误差协方差

局限性

  1. 最优局地化尺度小：600 km显著小于动力模型的900 km，表明流依赖误差协方差捕获能力不足
  2. 无法进行OSSE：由于长期预报不稳定，无法进行观测系统模拟实验
  3. 物理约束缺失：AI模型缺乏物理定律约束，容易产生非现实天气场
  4. 误差增长不足：集合离散度不够，需要更高膨胀因子

未来方向

  1. 物理约束集成：在AI模型训练中加入静力平衡、地转平衡等物理约束
  2. 误差增长改善：开发随机参数化方案或多模型集合方法
  3. 大集合扩展：利用AI模型计算优势扩展到大集合EnKF或局地粒子滤波
  4. 实际观测应用：向真实观测数据的数据同化发展

深度评价

优点

  1. 开创性贡献：首次成功实现EnKF与AI天气预报模型结合，具有重要学术价值
  2. 系统性研究：通过多个局地化尺度实验系统评估了方法的有效性
  3. 深入诊断：利用数据同化技术深入分析AI模型特性，提供了新的评估视角
  4. 实用价值：为AI天气预报模型的改进指明了方向
  5. 代码开源：提供了完整的代码和数据，保证了可复现性

不足

  1. 分辨率限制：仅在低分辨率（5.625°）下进行实验，实用性有限
  2. 模拟观测：使用模拟观测而非真实观测数据，与实际应用存在差距
  3. 单一模型：仅测试了ClimaX一个AI模型，结论的普适性待验证
  4. 理论分析不足：对AI模型局限性的理论解释较为浅显

影响力

  1. 学术影响：为AI天气预报与数据同化结合开辟了新方向
  2. 实用价值：为业务化AI天气预报系统发展提供了重要参考
  3. 方法论贡献：建立了用数据同化诊断AI模型的框架
  4. 可复现性强：完整的开源代码有利于后续研究

适用场景

  1. AI模型评估：适用于各种AI天气预报模型的特性诊断
  2. 数据同化研究：为AI模型数据同化系统开发提供基础
  3. 混合系统：可用于AI-物理模型混合预报系统的设计
  4. 教学研究：作为AI气象学教学的重要案例

参考文献

  1. Lam, R., et al. (2023): Learning skillful medium-range global weather forecasting. Science, 382(6677), 1416-1421.
  2. Bi, K., et al. (2023): Accurate medium-range global weather forecasting with 3D neural networks. Nature, 619(7970), 533-538.
  3. Hunt, B. R., et al. (2007): Efficient data assimilation for spatiotemporal chaos: A local ensemble transform Kalman filter. Physica D, 230(1-2), 112-126.
  4. Nguyen, T., et al. (2023): ClimaX: A foundation model for weather and climate. arXiv preprint arXiv:2301.10343.

本论文在AI天气预报与数据同化结合方面具有开创性意义，虽然存在一些技术限制，但为该领域的发展奠定了重要基础，具有较高的学术价值和实用潜力。