Соединяя точки: готовый к машинному обучению набор данных для моделей прогнозирования ионосферы

Основная информация

• ID статьи: 2511.15743
• Название: Connecting the Dots: A Machine Learning Ready Dataset for Ionospheric Forecasting Models
• Авторы: Linnea M. Wolniewicz, Halil S. Kelebek, Simone Mestici, Michael D. Vergalla, Giacomo Acciarini, Bala Poduval, Olga Verkhoglyadova, Madhulika Guhathakurta, Thomas E. Berger, Atılım Güneş Baydin, Frank Soboczenski
• Учреждения: Гавайский университет в Маноа, Оксфордский университет, Университет Ла Сапиенца в Риме, Free Flight Research Lab, ESA, Университет Нью-Гэмпшира, NASA JPL, Штаб-квартира NASA, Университет Колорадо Боулдер, Университет Йорка и Королевский колледж Лондона
• Время публикации/конференция: Семинар NeurIPS 2025: Machine Learning for the Physical Sciences
• Ссылка на статью: https://arxiv.org/abs/2511.15743

Аннотация

Оперативное прогнозирование ионосферы является ключевой проблемой в области космической погоды, основные трудности которого вытекают из разреженных данных наблюдений, сложной связи между геопространственными слоями и растущей потребностью в своевременных и точных прогнозах для поддержки глобальных навигационных спутниковых систем (GNSS), коммуникаций, авиационной безопасности и спутниковых операций. В рамках проекта NASA Heliolab 2025 в данной работе предлагается тщательно подготовленный набор данных с открытым доступом, который интегрирует разнообразные измерения ионосферы и гелиосферы в согласованную структуру, готовую к машинному обучению. Набор данных объединяет данные Обсерватории солнечной динамики (SDO), индексы солнечного излучения (F10.7), параметры солнечного ветра (скорость и межпланетное магнитное поле), индексы геомагнитной активности (Kp, AE, SYM-H) и глобальные карты полного электронного содержания ионосферы (GIM-TEC) от NASA JPL и других источников. Исследовательская группа обучила и провела сравнительный анализ нескольких пространственно-временных архитектур машинного обучения для прогнозирования вертикального TEC в условиях спокойствия и геомагнитной активности, обеспечивая поддержку как научных исследований, так и оперативного прогнозирования.

Исследовательский контекст и мотивация

1. Основные проблемы, которые необходимо решить

Прогнозирование ионосферы сталкивается с тремя основными проблемами:

• Разреженность данных: неравномерное распределение данных наблюдений во времени и пространстве
• Многомасштабная связь: сложные взаимодействия между солнечной активностью, магнитосферой и системой ионосфера-термосфера
• Срочность операционных потребностей: современная технологическая инфраструктура (GNSS, спутниковые созвездия, авиационные сети, электросети) все больше зависит от точного и своевременного прогнозирования космической погоды

2. Важность проблемы

События космической погоды (такие как солнечные вспышки, выбросы корональной массы) могут привести к:

• Прерыванию спутниковых операций
• Снижению точности GNSS
• Повреждению радиосвязи
• Отказам электросетей (например, событие февраля 2022 года, которое привело к возвращению 38 спутников Starlink в атмосферу)

С быстрым расширением созвездий спутников на низкой орбите (LEO) и углубляющейся зависимостью от космической инфраструктуры, точное прогнозирование ионосферы становится критически важным.

3. Ограничения существующих методов

• Гетерогенность данных: существующие источники данных различаются по разрешению, формату и временной частоте
• Отсутствие стандартизации: продукты данных не разработаны для рабочих процессов машинного обучения
• Тяжелое бремя предварительной обработки: требуется значительная ручная обработка для использования в обучении моделей
• Сложность систематического сравнения: отсутствие стандартизированного набора данных препятствует систематическому сравнению моделей

4. Исследовательская мотивация

Построение стандартизированного набора данных, готового к машинному обучению, который интегрирует гетерогенные многоисточниковые данные наблюдений, унифицирует пространственно-временные масштабы и обеспечивает основу для разработки, тестирования и сравнительного анализа передовых архитектур ML, в конечном итоге реализуя цифровой двойник ионосферы.

Основные вклады

1. Построен первый комплексный набор данных ML, готовый к использованию для ионосферы: интегрирует 8 основных источников данных, охватывая 14 лет мультимодальных данных наблюдений с 2010 по 2024 год
2. Реализована пространственно-временная выравнивание гетерогенных данных:
   • Обработаны различия во временной частоте разных источников данных (от 15 секунд до ежедневно)
   • Унифицированы представление и стратегии обработки пропущенных значений
   • Предоставлены опции с несколькими временными разрешениями (максимум 15 минут)
3. Предоставлен каталог событий геомагнитных бурь (шкала MESTICI):
   • На основе индекса Kp и стандартов NOAA G-level
   • Учитывает продолжительность события
   • Предотвращает утечку данных между наборами обучения и валидации
4. Открытые данные и код:
   • Общедоступный сегмент Google Cloud
   • Открытый исходный код обработки на GitHub
   • Интерфейс набора данных PyTorch
5. Сравнительный анализ нескольких моделей ML (серия IonCast):
   • Базовая модель LSTM
   • Модель сферического нейронного оператора (SFNO)
   • Модель, вдохновленная GraphCast
   • Реализован прогноз на 12 часов вперед, превосходящий базовый прогноз по инерции

Подробное описание методов

Определение задачи

Цель: прогнозирование пространственно-временной эволюции глобального полного электронного содержания ионосферы (TEC)

Входные данные:

• Данные солнечного воздействия (встраивания EUV SDO, индексы солнечного потока F10.7 и т.д.)
• Данные геомагнитного воздействия (индексы геомагнитной активности Kp, AE, SYM-H)
• Параметры солнечного ветра (скорость, компоненты межпланетного магнитного поля)
• Характеристики орбитальной механики (солнечный зенитный угол, положение Луны и т.д.)
• Преобразование в квазидипольные координаты
• Исторические карты TEC (разреженные и плотные)

Выходные данные:

• Прогнозные карты TEC на глобальной сетке 1°×1°
• Временной горизонт прогноза: до 12 часов
• Временное разрешение: 15 минут

Ограничения:

• Необходимо обрабатывать условия геомагнитного спокойствия и активности
• Требуется справляться с пропущенными данными и нерегулярной дискретизацией

Архитектура набора данных

Интеграция источников данных (см. Таблица 1)

Стратегия выравнивания данных

1. Временная база: основана на диапазоне данных SDO-FM (2010-05-13 до 2024-08-01)
2. Обработка пропущенных значений:
   • Стандартизация всех пропущенных значений как NaN
   • Обработка нестандартных дозорных значений в наборе данных OMNI
   • Удаление столбцов признаков с массовыми пропусками
3. Стратегия прямого заполнения:

   - Определение максимального времени отката (max rewind time)
   - Для большинства потоков данных: время отката = исходная частота
   - Исключение OMNI: время отката = 50 минут
   - Промежутки, превышающие время отката: пропуск временной метки
   

4. Переискусствление на единую частоту: использование прямого заполнения как простой стратегии интерполяции

Классификация событий геомагнитных бурь (шкала MESTICI)

На основе стандартов NOAA G-level в сочетании с продолжительностью события:

Цель: обеспечение физической обоснованности валидации модели, предотвращение утечки данных одного события геомагнитной бури, распределенного между наборами обучения и валидации.

Технические инновации

1. Слияние мультимодальных данных:
   • Впервые выравнены плотные и разреженные карты TEC с данными солнечного и геомагнитного воздействия
   • Интегрированы многоуровневые данные от спутниковых наблюдений до краудсорсированных измерений со смартфонов
2. Унификация временных масштабов:
   • Обработка различий во временной частоте на 6 порядков (от 15 секунд до ежедневно)
   • Гибкий механизм переискусствления, позволяющий пользователям определять целевую частоту
3. Интеграция физической информации:
   • Включение характеристик орбитальной механики (солнечный зенитный угол и т.д.)
   • Предоставление преобразования в квазидипольные координаты для лучшего представления геометрии магнитного поля
4. Разделение данных с учетом событий:
   • Избежание утечки данных, вызванной традиционным случайным разделением
   • Сохранение целостности событий геомагнитных бурь

Экспериментальная установка

Масштаб набора данных

• Временной диапазон: 2010-05-13 до 2024-08-01 (примерно 14 лет)
• Пространственное разрешение: глобальная сетка 1°×1° (180×360 = 64 800 точек сетки)
• Временное разрешение: 15 минут (для обучения)
• Общее количество образцов: примерно 500 000 временных шагов (на основе частоты 15 минут)

Предварительная обработка данных

1. Нормализация: каждый поток данных использует специфическую схему нормализации
2. Обработка пропущенных значений: прямое заполнение (максимальное время отката настраивается)
3. Классификация событий: метки MESTICI на основе индекса Kp
4. Разделение данных: разделение по границам событий для предотвращения утечки

Архитектуры моделей IonCast

Статья обучила три архитектуры моделей (подробные результаты в цитируемой работе 21):

1. Базовая модель LSTM:
   • Классическая модель временных рядов
   • Обработка временных зависимостей
2. Модель сферического нейронного оператора (SFNO):
   • Нейронный оператор на основе сферической геометрии
   • Подходит для моделирования физических полей в глобальном масштабе
   • Заимствует идеи из FourCastNet
3. Модель, вдохновленная GraphCast:
   • Архитектура графовой нейронной сети
   • Ссылка на модель прогнозирования погоды DeepMind
   • Обработка нерегулярных сеток и многомасштабных взаимодействий

Метрики оценки

Статья упоминает, что модели "превосходят базовый прогноз по инерции" (persistence baseline), но не приводит подробный список конкретных метрик. Типичные метрики для прогнозирования TEC включают:

• RMSE (среднеквадратичная ошибка)
• MAE (средняя абсолютная ошибка)
• Коэффициент корреляции
• Оценка навыков (Skill Score)

Детали реализации

• Фреймворк: PyTorch
• Горизонт прогноза: до 12 часов
• Авторегрессивный прогноз: использование прогноза предыдущего момента времени в качестве входа для следующего момента
• Цель обучения: плотные карты TEC от JPL
• Открытый исходный код: https://github.com/FrontierDevelopmentLab/2025-HL-Ionosphere

Результаты экспериментов

Основные результаты

Статья в основном сосредоточена на построении набора данных, описание производительности модели довольно краткое:

1. Производительность моделей IonCast:
   • Превосходит базовый прогноз по инерции (persistence forecast)
   • Способна производить точные прогнозы на 12 часов вперед
   • Эффективна как в условиях геомагнитного спокойствия, так и активности
2. Сравнение моделей:
   • Обучены три архитектуры: LSTM, SFNO и GraphCast
   • Подробные результаты сравнительного анализа опубликованы в сопутствующей статье 21

Валидация набора данных

Демонстрируется на Рисунке 2 (визуализация шкалы MESTICI):

• Временное распределение геомагнитных событий в 2010-2024 годах
• Частота событий различной интенсивности (G0-G5)
• Характеристики распределения продолжительности события

Наблюдения:

• Условия G0 (спокойствие) преобладают
• События G1-G2 (незначительные до умеренных) довольно часты
• События G4-G5 (серьезные до экстремальных) редки, но критичны

Анализ случаев

Статья не предоставляет конкретные графики прогнозирования TEC, но демонстрирует визуализацию выравнивания данных на Рисунке 1:

• Показывает временное выравнивание нескольких потоков данных
• Отображает пространственное распределение разреженных и плотных карт TEC
• Иллюстрирует интеграцию характеристик орбитальной механики и квазидипольных координат

Экспериментальные находки

1. Проблемы гетерогенности данных:
   • Набор данных OMNI содержит многолетние крупномасштабные пропуски
   • Несогласованное кодирование пропущенных значений в разных источниках данных
   • Требуется тщательное проектирование стратегии заполнения для балансировки полноты данных и своевременности
2. Важность разделения данных с учетом событий:
   • Традиционное случайное разделение приводит к утечке данных одного события бури
   • Разделение на основе физических границ событий более обоснованно
3. Потенциал слияния мультимодальных данных:
   • Интеграция солнечных, геомагнитных и ионосферных данных позволяет захватить взаимодействие Солнце-Земля
   • Обеспечивает единую платформу для физически обоснованного и управляемого данными моделирования

Связанные работы

Область моделирования ионосферы

1. Традиционные физические модели:
   • Численное моделирование на основе физических уравнений
   • Высокие вычислительные затраты, сложность реального времени
2. Эмпирические модели:
   • Например, Международная справочная ионосфера (IRI)
   • Зависят от статистических отношений, ограниченная способность прогнозирования экстремальных событий
3. Методы ассимиляции данных:
   • Объединение наблюдений и физических моделей
   • Требуют сложных алгоритмов и вычислительных ресурсов

Применение машинного обучения в космической погоде

1. Прогнозирование солнечной активности:
   • SDO Foundation Model 16: использование глубокого обучения для обработки солнечных наблюдений
   • Данная работа интегрирует встраивания SDO-FM в качестве входных признаков
2. Прогнозирование индексов геомагнитной активности:
   • Использование моделей временных рядов, таких как LSTM, для прогнозирования индексов Dst, Kp
   • Данная работа использует эти индексы в качестве движущих факторов, а не целей прогнозирования
3. Прогнозирование TEC:
   • Существующие работы в основном используют единственный источник данных
   • Отсутствие стандартизированного набора данных и базовых показателей

Прорывы ML в прогнозировании погоды

1. GraphCast 25: модель глобального прогнозирования погоды DeepMind
2. FourCastNet 24: вероятностное прогнозирование погоды на основе оператора Фурье нейронной сети
3. Заимствования в данной работе: передача успешного опыта прогнозирования погоды на прогнозирование ионосферы

Уникальные вклады данной работы

• Первый комплексный набор данных ML, готовый к использованию для ионосферы: интегрирует наиболее широкий спектр источников данных
• Открытый доступ: данные и код полностью открыты
• Дизайн с учетом событий: учитывает физические характеристики космической погоды
• Модульная структура: поддерживает несколько парадигм моделирования

Выводы и обсуждение

Основные выводы

1. Успешно построен первый комплексный набор данных ML, готовый к использованию для ионосферы:
   • Интегрирует 8 основных источников данных
   • Пространственно-временное выравнивание в единую структуру
   • Охватывает 14 лет данных наблюдений
2. Предоставлена полная экосистема открытого исходного кода:
   • Общедоступное хранилище данных Google Cloud
   • Открытый исходный код обработки на GitHub
   • Интерфейс загрузки данных PyTorch
3. Подтверждена эффективность набора данных:
   • Модели IonCast превосходят базовый прогноз по инерции
   • Поддерживают прогноз на 12 часов вперед
   • Хорошо работают при различных условиях геомагнитной активности
4. Предоставлена сообществу стандартизированная база для сравнения:
   • Единый формат данных
   • Согласованный протокол оценки
   • Воспроизводимые экспериментальные установки

Ограничения

1. Ограниченное временное покрытие:
   • Ограничено данными SDO, охватывает только 2010-2024 годы
   • Отсутствуют данные до 24-го солнечного цикла
   • Неполное покрытие 25-го солнечного цикла
2. Упрощенная обработка пропущенных значений:
   • Использование простого прямого заполнения
   • Может быть неподходящим для всех сценариев применения
   • Не исследованы более сложные методы интерполяции (например, физически ограниченная интерполяция)
3. Фиксированное пространственное разрешение:
   • Сетка 1°×1° может быть недостаточна для захвата мелкомасштабных структур
   • Не предоставлены опции с несколькими разрешениями
4. Недостаточно деталей о производительности модели:
   • Статья в основном сосредоточена на построении набора данных
   • Результаты сравнительного анализа моделей довольно краткие
   • Подробная оценка требует обращения к сопутствующей статье 21
5. Требования к вычислительным ресурсам:
   • Большой размер набора данных (хранилище Google Cloud)
   • Обучение глобальной модели требует значительных вычислительных ресурсов
   • Может ограничить использование некоторыми исследователями

Будущие направления

1. Расширение набора данных:
   • Интеграция дополнительных источников данных (спутники ICON, созвездие Swarm)
   • Расширение временного охвата
   • Повышение пространственного разрешения
2. Продвинутые методы предварительной обработки:
   • Интерполяция данных с физическими ограничениями
   • Более интеллектуальное заполнение пропущенных значений
   • Автоматизация контроля качества данных
3. Улучшение моделей:
   • Разработка физически информированных нейронных сетей (PINNs)
   • Исследование архитектур Transformer
   • Количественная оценка неопределенности
4. Развертывание в операционной среде:
   • Интеграция потоков данных в реальном времени
   • Системы прогнозирования с низкой задержкой
   • Интеграция с существующими операционными системами
5. Видение цифрового двойника:
   • Построение полного цифрового двойника ионосферы
   • Поддержка анализа сценариев "что если"
   • Моделирование связи нескольких физических полей

Глубокая оценка

Преимущества

1. Заполнение важного пробела:
   • Решает давнюю проблему сообщества ML в отсутствии стандартизированного набора данных ионосферы
   • Значительно снижает барьер входа в эту область
   • Способствует систематическому сравнению моделей
2. Комплексная интеграция данных:
   • 8 основных источников данных охватывают полную цепь от Солнца к ионосфере
   • Включает как плотные, так и разреженные наблюдения, поддерживая различные потребности моделирования
   • Временной диапазон 14 лет включает несколько фаз солнечной активности
3. Отличная техническая реализация:
   • Тщательная обработка проблем выравнивания гетерогенных данных
   • Разделение данных с учетом событий предотвращает утечку
   • Предоставлены гибкие опции конфигурации
4. Открытость и воспроизводимость:
   • Данные полностью открыты (Google Cloud)
   • Код открыт (GitHub)
   • Подробная документация, легко использовать
5. Междисциплинарная ценность:
   • Поддерживает как физическое, так и управляемое данными моделирование
   • Способствует пересечению физики космоса и машинного обучения
   • Помогает как научным открытиям, так и практическим приложениям
6. Своевременность:
   • Согласуется с новыми миссиями NASA и ESA (TRACERS, Vigil)
   • Отвечает на срочные потребности в прогнозировании космической погоды
   • Синхронизирована с последними достижениями в ML для прогнозирования погоды

Недостатки

1. Недостаточная оценка моделей:
   • Статья в основном сосредоточена на наборе данных, часть моделей довольно краткая
   • Отсутствуют подробные числовые показатели производительности и таблицы сравнения
   • Нет анализа ошибок и примеров отказов
2. Консервативная обработка пропущенных значений:
   • Простой метод прямого заполнения
   • Не исследованы более продвинутые методы интерполяции
   • Обработка крупномасштабных пропусков в данных OMNI может быть слишком агрессивной (прямое удаление столбцов)
3. Ограниченная физическая валидация:
   • Недостаточное обсуждение физической обоснованности результатов прогнозирования
   • Отсутствие сравнения с физическими моделями
   • Нет анализа того, выучила ли модель физические законы
4. Недостаточное покрытие экстремальных событий:
   • События G4-G5 редки
   • Может привести к ограниченной способности модели прогнозировать экстремальные события
   • Не обсуждена проблема дисбаланса классов
5. Неквантифицированные вычислительные затраты:
   • Не сообщено время обработки данных и обучения модели
   • Не обсуждена осуществимость прогнозирования в реальном времени
   • Отсутствуют рекомендации по требованиям к ресурсам
6. Недостаточное рассмотрение региональных характеристик:
   • Глобальная сетка 1°×1° может скрывать региональные различия
   • Не обсуждены различия в сложности прогнозирования для разных широт
   • Отсутствует анализ специальных регионов, таких как полярные и экваториальные области

Влияние

1. Вклад в область:
   • Высокое влияние: решает критическую проблему сообщества
   • Вероятно, станет стандартным набором данных для исследований ML ионосферы
   • Способствует смене парадигмы в прогнозировании космической погоды
2. Практическая ценность:
   • Прямое применение: поддерживает GNSS, коммуникации, авиацию и другие отрасли
   • Политическое влияние: предоставляет инструменты для принятия решений агентствами NASA, ESA и т.д.
   • Ценность безопасности: повышает способность предупреждения о космической погоде
3. Воспроизводимость:
   • Отличная: данные и код полностью открыты
   • Документация ясна, сообщество может легко использовать
   • Обеспечивает прочную основу для последующих исследований
4. Академическое влияние:
   • Вероятно, будет широко цитироваться
   • Может催生 серию последующих исследований
   • Способствует пересечению физических наук и AI

Применимые сценарии

1. Научные исследования:
   • Исследование механизмов динамики ионосферы
   • Изучение взаимодействия Солнце-Земля
   • Валидация физических моделей
2. Операционное прогнозирование:
   • Коррекция точности GNSS
   • Поддержка принятия решений в спутниковых операциях
   • Планирование авиационных маршрутов
3. Образование и обучение:
   • Данные для преподавания курсов космической погоды
   • Примеры применения ML в физических науках
   • Студенческие проекты и конкурсы
4. Разработка моделей:
   • Сравнительный анализ новых архитектур
   • Предварительное обучение для трансферного обучения
   • Базовые модели для ансамблевого обучения
5. Неприменимые сценарии:
   • Приложения, требующие сверхвысокого пространственного разрешения (<1°)
   • Системы, требующие реального времени (секундный уровень) ответа
   • Исторические исследования до 2010 года

Избранные ссылки

1. Berger et al. (2020): влияние неопределенности космической погоды на полеты
2. Kataoka et al. (2022): анализ события возврата спутников Starlink в феврале 2022 года
3. Walsh et al. (2024): SDO Foundation Model - базовая модель для солнечных наблюдений
4. Lam et al. (2023): GraphCast - прорыв DeepMind в прогнозировании погоды
5. Bonev et al. (2025): FourCastNet 3 - геометрический подход к вероятностному прогнозированию погоды
6. Kelebek et al. (2025): IonCast - подробное исследование моделирования на основе этого набора данных

Резюме

Эта статья представляет собой важный вклад в инфраструктуру в области прогнозирования космической погоды. Она не предлагает новый алгоритм, а решает более фундаментальную проблему: предоставление стандартизированного, высокого качества набора данных для исследований машинного обучения. Такой вклад часто недооценивается в сообществе AI, но на самом деле является ключом к продвижению области.

Наибольшая ценность статьи заключается в:

1. Значительном снижении барьера входа, позволяющем большему числу исследователей ML участвовать в исследованиях космической погоды
2. Предоставлении единой базы для сравнения, делающей возможным систематическое сравнение различных методов
3. Интеграции данных, охватывающих несколько порядков величины пространственно-временных масштабов, демонстрирующей лучшие практики инженерии данных

Рекомендации для последующих пользователей:

• Тщательно изучить код обработки данных, понять различные выборы проектирования
• Адаптировать стратегию обработки пропущенных значений в соответствии с конкретными приложениями
• Проводить инженерию признаков с учетом физических знаний
• Обратить внимание на проблему дисбаланса классов для экстремальных событий
• Валидировать прогнозы с помощью сравнения с физическими моделями

Эта работа закладывает основу для "момента ImageNet" в прогнозировании ионосферы, предположительно催生 серию инновационных исследований.