Смягчение дрейфа модели в развивающихся экономиках с использованием синтетических данных и выбросов

Основная информация

• ID статьи: 2510.09294
• Название: Mitigating Model Drift in Developing Economies Using Synthetic Data and Outliers
• Авторы: Илья Варшавский, Бону Бобоева, Шухрат Халилбеков, Азизжон Азими, Сергей Шульгин, Ахлитдин Низамитдинов, Хайтц Саэс де Окариц Бордэ
• Категория: cs.LG (Машинное обучение)
• Конференция: 39-я конференция по нейронным системам обработки информации (NeurIPS 2025) Семинар: Генеративный ИИ в финансах
• Ссылка на статью: https://arxiv.org/abs/2510.09294

Аннотация

Модели машинного обучения в финансовой сфере подвержены дрейфу модели — снижению производительности прогнозирования при изменении распределения данных. Эта проблема особенно острая в развивающихся экономиках, особенно в Центральной Азии и на Кавказе (включая Таджикистан, Узбекистан, Казахстан и Азербайджан), где частые и непредсказуемые макроэкономические потрясения нарушают стабильность финансовых данных. По сведениям авторов, это одно из первых исследований методов смягчения дрейфа на финансовых наборах данных этих регионов. В статье исследуется малоизученный метод использования синтетических выбросов для повышения устойчивости модели к неожиданным потрясениям. Для оценки эффективности авторы предлагают двухуровневую схему, которая одновременно измеряет степень снижения производительности и серьезность потрясения. Эксперименты на макроэкономических табличных наборах данных показывают, что добавление небольшого количества синтетических выбросов обычно повышает стабильность по сравнению с базовыми моделями, хотя оптимальное количество варьируется в зависимости от набора данных и модели.

Исследовательский контекст и мотивация

Определение проблемы

Данное исследование решает проблему дрейфа модели в финансовом машинном обучении при столкновении с изменениями распределения, особенно в развивающихся экономиках, где частые макроэкономические потрясения приводят к резкому снижению производительности модели.

Важность проблемы

1. Серьезное экономическое воздействие: В развивающихся экономиках стоимость отказа модели может быть чрезвычайно высокой, особенно в критических финансовых приложениях, таких как оценка кредитного риска
2. Частые и непредсказуемые потрясения: Центральная Азия и Кавказ часто сталкиваются с торговыми конфликтами, вооруженными конфликтами и другими внешними потрясениями, вызывающими резкие изменения распределения данных
3. Пробел в исследованиях: Существующие исследования дрейфа модели в основном сосредоточены на развитых финансовых рынках, уделяя недостаточное внимание развивающимся экономикам

Ограничения существующих методов

1. Пассивный подход: Традиционные методы, такие как мониторинг показателей и переобучение, предпринимают действия только после возникновения дрейфа
2. Зависимость от данных: Требуется ожидание реальных данных для переобучения модели
3. Недостаточная региональная специфичность: Отсутствуют решения, адаптированные к особым условиям развивающихся экономик

Исследовательская мотивация

Авторы предлагают активную стратегию, вводя синтетические выбросы на этапе обучения, чтобы заранее адаптировать модель к экстремальным ситуациям, повышая тем самым робастность модели при столкновении с неизвестными потрясениями.

Основные вклады

1. Предложена новая схема оценки стабильности: Включает два показателя — оценку стабилизации (SS) и повышение стабилизации (SU), которые количественно оценивают производительность модели при потрясениях
2. Инновационное использование синтетических выбросов: Использование синтетических выбросов, генерируемых zGAN, для повышения робастности модели к внезапным потрясениям
3. Заполнение пробела в региональных исследованиях: Первое систематическое исследование методов смягчения дрейфа модели на финансовых наборах данных Центральной Азии и Кавказа
4. Предоставление открытой реализации: Выпуск полного кода, показателей и экспериментов, включая синтетические данные

Подробное описание методологии

Определение задачи

Входные данные: Финансовые табличные данные (задача прогнозирования кредитного риска) Выходные данные: Результат бинарной классификации (дефолт/нормально) Цель: Сохранение стабильности прогнозной производительности модели при столкновении с внешними потрясениями, вызывающими изменения распределения данных

Основная схема методологии

1. Определение потрясения и измерение изменения распределения

Потрясение определяется как внезапное событие в процессе генерации данных, вызывающее значительное немедленное изменение распределения признаков. Изменение распределения (DS) рассчитывается по формуле:

$DS = \frac{1}{|C|+|N|}\left(\sum_{c \in C} d_{TV}(P_{baseline}(c), P_{shocked}(c)) + \sum_{n \in N} d_{KS}(P_{baseline}(n), P_{shocked}(n))\right) \geq \tau$

где C и N обозначают категориальные и числовые признаки соответственно, $d_{TV}$ и $d_{KS}$ обозначают расстояние полной вариации и статистику Колмогорова-Смирнова.

2. Оценка стабилизации (SS)

Количественно оценивает способность модели сохранять производительность прогнозирования при дрейфе:

$SS = 1 - \frac{|\hat{A}_{base} - \hat{A}_{shock}|}{1 + \log(1 + DS + \varepsilon)} \in [0.5, 1]$

где $\hat{A}_{base}$ и $\hat{A}_{shock}$ обозначают производительность модели на базовых и потрясенных данных соответственно.

3. Повышение стабилизации (SU)

Сравнивает относительное преимущество двух моделей при дрейфе:

$SU = w \cdot (w'_B \cdot SS_B - w'_A \cdot SS_A)$

где веса рассчитываются через сигмоидную функцию, учитывая внутреннюю стабильность модели и относительное превосходство.

4. Генерация синтетических выбросов

Использует генератор zGAN, включающий:

• Стандартные компоненты GAN: Архитектура генератор-дискриминатор
• Генератор ковариации условных выбросов (covGEN): Выборка макроскопических выбросов из многомерных распределений, совместимых с теорией экстремальных значений
• Условный VAE: Предоставление матриц ковариации
• Фильтр хеш-подобия: Избежание чрезмерного сходства с реальными записями

Технические инновации

1. Активная стратегия стабилизации: Вместо ожидания возникновения дрейфа модель подвергается воздействию экстремальных ситуаций на этапе обучения
2. Двухуровневая схема оценки: SS измеряет стабильность отдельной модели, SU сравнивает относительное преимущество между моделями
3. Дизайн с региональной спецификой: Методология разработана с учетом характеристик макроэкономических потрясений в развивающихся экономиках
4. Немонотонная оптимизация: Обнаружено, что оптимальная доля выбросов обычно составляет 5-10%, а не чем больше, тем лучше

Экспериментальная установка

Наборы данных

Эксперименты использовали приватные наборы данных по кредитному риску из 5 развивающихся экономик:

• A1 (Таджикистан): Потрясение торгового конфликта, DS=0.2250
• A4 (Узбекистан): Отсутствие явного потрясения, DS=0.0050
• A5 (Казахстан): Потрясение вооруженного конфликта, DS=0.1212
• A6 (Иордания): Отсутствие явного потрясения, DS=0.0026
• A9 (Азербайджан): Потрясение вооруженного конфликта, DS=0.1802
• Открытый набор данных (Lending Club): Потрясение торгового конфликта, DS=0.1193

Все задачи — бинарное прогнозирование дефолта с дисбалансом классов (примерно 2-12%).

Метрики оценки

• AUC_base: Производительность до потрясения
• AUC_shock: Производительность после потрясения
• SS: Оценка стабилизации
• SU: Повышение стабилизации

Методы сравнения

Протестированы 8 моделей машинного обучения:

• CatBoost, TabPFN, FT-Transformer, HGBoosting
• NGBoost, XGBoost, LightGBM, TabNet

Детали реализации

• Разделение данных: разделение обучение/тест 80/20
• Доля синтетических данных: смешивание реальных/синтетических 50/50
• Доля выбросов: 0%, 1%, 3%, 5%, 7%, 10%, 50%, 100%
• Оценка методом Монте-Карло: 51 случайное разделение
• Глобальные гиперпараметры: (k1, k2, k3) = (100, 1000, 1000)

Результаты экспериментов

Основные результаты

Согласно лучшим результатам в таблице 1:

• A1 (Таджикистан): TabNet без выбросов достигает SU=0.8441
• A4 (Узбекистан): TabPFN с 50% выбросов достигает SU=0.7449
• A9 (Азербайджан): TabPFN с 5% выбросов достигает SU=0.9981
• Открытый набор данных: FT-Transformer со 100% выбросов достигает SU=0.8884

Ключевые выводы

1. Гибкие архитектуры получают наибольшую пользу: TabPFN и FT-Transformer обычно достигают наивысших значений SU при потрясениях
2. Доля выбросов немонотонна: Среднее введение (5-10%) часто максимизирует SU, слишком малое или слишком большое количество снижает выгоду
3. Выгода коррелирует с интенсивностью потрясения: Наибольшие улучшения на наборах данных с высоким DS (A1, A9), ограниченные улучшения при минимальном DS (A4, A6)

Статистический анализ

Среди всех пар модель-набор данных:

• 53% случаев: Добавление ненулевой доли выбросов улучшает стабильность (135/256)
• 83% лучших конфигураций: Обучение с выбросами превосходит обучение без выбросов (10/12)
• Значительные различия между моделями: HGBoosting, NGBoost, XGBoost, LightGBM получают выгоду в 50% случаев, FT-Transformer в 75% случаев, CatBoost, TabPFN, TabNet в 100% случаев

Анализ конкретных случаев

Анализ признака "tjs/usd" обменного курса из набора данных Таджикистана показывает:

• Синтетические выбросы формируют разумные экстремальные значения в хвостах распределения
• Доля выбросов 5-10% обеспечивает достаточное воздействие экстремальных значений при сохранении реалистичности
• Проекция UMAP показывает высокое сходство синтетических данных с реальными данными, с выбросами, надлежащим образом распределенными в граничных областях

Связанные работы

Методы обнаружения и адаптации дрейфа

• Временной дрейф: Зависимости постепенно эволюционируют во времени
• Условный дрейф: Новые данные поступают из недостаточно представленных областей пространства признаков
• Контекстный дрейф: Внезапное изменение отношения вход-выход из-за внешних потрясений

Традиционные методы включают алгоритм ADWIN, инкрементальное обучение, скользящие окна и т.д., в основном это пассивные стратегии.

Исследования синтетических данных

Связанные работы включают фреймворк TabOOD для генерации табличных выборок вне распределения и использование синтетических данных для обнаружения дрейфа в бизнес-процессах, но исследования целенаправленного использования синтетических выбросов для смягчения дрейфа остаются редкими.

Заключение и обсуждение

Основные выводы

1. Синтетические выбросы эффективны: В большинстве случаев повышают стабильность модели при внезапных потрясениях
2. Существует оптимальная доля: Обычно в диапазоне 5-10%, требуется баланс между воздействием экстремальных значений и качеством данных
3. Чувствительность архитектуры: Гибкие архитектуры нейронных сетей лучше используют информацию о выбросах, чем традиционные древовидные модели
4. Региональная применимость: Метод показывает эффективность на наборах данных из нескольких стран развивающихся экономик

Ограничения

1. Отсутствие универсальных правил: Не найдено универсального метода выбора оптимального процента выбросов
2. Ограничения набора данных: Проверка проводилась в основном на задачах кредитного риска, применимость к другим финансовым задачам неизвестна
3. Ограничение типов потрясений: В основном ориентирован на макроэкономические потрясения, эффективность при других типах дрейфа неясна
4. Вычислительные затраты: Требуется обучение дополнительной генеративной модели, что увеличивает вычислительные расходы

Направления будущих исследований

1. Адаптивная доля выбросов: Разработка эвристических методов для автоматического определения оптимальной доли выбросов
2. Множественные типы потрясений: Расширение на более разнообразные сценарии изменения распределения
3. Адаптация в реальном времени: Интеграция с онлайн-обучением для динамической настройки
4. Теоретический анализ: Предоставление более глубоких теоретических гарантий и анализа

Глубокая оценка

Преимущества

1. Выдающаяся важность проблемы: Сосредоточение на развивающихся экономиках — игнорируемом, но важном сценарии применения
2. Сильная инновационность методологии: Активная стратегия введения выбросов обладает новизной и практической ценностью
3. Совершенная схема оценки: Показатели SS и SU разумно спроектированы для комплексной оценки стабильности модели
4. Строгий дизайн экспериментов: 51 повторение методом Монте-Карло, множество наборов данных, сравнение множества моделей
5. Вклад в открытый исходный код: Предоставление полного кода и данных повышает воспроизводимость

Недостатки

1. Приватность набора данных: Основные наборы данных не могут быть опубликованы, что ограничивает проверяемость результатов
2. Слабая теоретическая база: Отсутствует глубокий теоретический анализ того, почему выбросы повышают стабильность
3. Чувствительность гиперпараметров: Выбор параметров k1, k2, k3 показателя SU лишен достаточного теоретического обоснования
4. Неясная область применения: Проверка проводилась в основном на табличных данных, применимость к другим типам данных неизвестна
5. Вычислительная эффективность: Отсутствует анализ вычислительных затрат и масштабируемости методологии

Влияние

1. Академический вклад: Предоставляет новую перспективу и методологию для исследования дрейфа модели
2. Практическая ценность: Имеет прямое применение для финансовых учреждений развивающихся экономик
3. Вдохновляющая методология: Активная стратегия стабилизации может вдохновить дальнейшие исследования
4. Ценность набора данных: Несмотря на приватность, обеспечивает важную эмпирическую базу для исследований в этом регионе

Сценарии применения

1. Финансовые учреждения развивающихся экономик: Особенно подходит для финансовых сред, сталкивающихся с частыми внешними потрясениями
2. Управление кредитным риском: Повышение робастности модели в критических задачах, таких как прогнозирование дефолта
3. Макроэкономически нестабильные регионы: Любые рынки, сталкивающиеся с политической и экономической неопределенностью
4. Активное управление рисками: Сценарии, требующие упреждающего предотвращения, а не пассивного реагирования

Библиография

Статья цитирует 31 связанную работу, включая в основном:

1. Фундаментальные исследования дрейфа модели: Обзорные работы Hinder et al. (2024), Halstead et al. (2022) и других о концептуальном дрейфе
2. Методы обнаружения дрейфа: Алгоритм ADWIN (Bifet & Gavaldà, 2007), методы онлайн-обучения и т.д.
3. Генерация синтетических данных: Работы, связанные с GAN (Goodfellow et al., 2014), фреймворк TabOOD (Puranik et al., 2024)
4. Модели машинного обучения: Оригинальные статьи основных моделей CatBoost, XGBoost, LightGBM и т.д.
5. Статистические методы: Теория экстремальных значений (de Haan & Ferreira, 2006), тест Колмогорова-Смирнова и т.д.

Общая оценка: Это высококачественная статья, предлагающая инновационное решение важной, но игнорируемой проблемы применения (финансовая стабильность в развивающихся экономиках). Методология новаторская, эксперименты полные, результаты имеют важное значение для практического применения, но есть возможности для улучшения в теоретической глубине и универсальности.