Mitigación de la Deriva del Modelo en Economías en Desarrollo Utilizando Datos Sintéticos y Valores Atípicos

Información Básica

• ID del Artículo: 2510.09294
• Título: Mitigación de la Deriva del Modelo en Economías en Desarrollo Utilizando Datos Sintéticos y Valores Atípicos
• Autores: Ilyas Varshavskiy, Bonu Boboeva, Shuhrat Khalilbekov, Azizjon Azimi, Sergey Shulgin, Akhlitdin Nizamitdinov, Haitz Sáez de Ocáriz Borde
• Clasificación: cs.LG (Aprendizaje Automático)
• Conferencia de Publicación: 39ª Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS 2025) Taller: IA Generativa en Finanzas
• Enlace del Artículo: https://arxiv.org/abs/2510.09294

Resumen

Los modelos de aprendizaje automático en el sector financiero son extremadamente susceptibles a la deriva del modelo, es decir, la degradación del rendimiento predictivo cuando la distribución de datos cambia. Este problema es particularmente grave en economías en desarrollo, especialmente en Asia Central y el Cáucaso (incluyendo Tayikistán, Uzbekistán, Kazajstán y Azerbaiyán), donde los choques macroeconómicos frecuentes e impredecibles comprometen la estabilidad de los datos financieros. Según el conocimiento de los autores, este es uno de los primeros estudios que investiga métodos de mitigación de la deriva en conjuntos de datos financieros de estas regiones. El artículo examina el uso de valores atípicos sintéticos, un método fundamentalmente poco explorado, para mejorar la estabilidad del modelo frente a choques inesperados. Para evaluar la efectividad, los autores introducen un marco de dos capas que mide tanto el grado de degradación del rendimiento como la gravedad del choque. Los experimentos en conjuntos de datos tabulares macroeconómicos demuestran que agregar una pequeña cantidad de valores atípicos sintéticos generalmente mejora la estabilidad en comparación con modelos de referencia, aunque la cantidad óptima varía según el conjunto de datos y el modelo.

Contexto de Investigación y Motivación

Definición del Problema

Esta investigación aborda el problema de la deriva del modelo en modelos de aprendizaje automático financiero cuando enfrentan cambios en la distribución, particularmente en economías en desarrollo donde los frecuentes choques macroeconómicos causan una degradación aguda del rendimiento del modelo.

Importancia del Problema

1. Impacto Económico Severo: En economías en desarrollo, el costo del fallo del modelo puede ser extremadamente alto, particularmente en aplicaciones financieras críticas como la evaluación del riesgo crediticio
2. Choques Frecuentes e Impredecibles: Asia Central y el Cáucaso enfrentan frecuentemente conflictos comerciales, conflictos armados y otros choques externos que causan cambios abruptos en la distribución de datos
3. Vacío de Investigación: La investigación existente sobre deriva del modelo se concentra principalmente en mercados financieros maduros, con atención insuficiente a economías en desarrollo

Limitaciones de Métodos Existentes

1. Respuesta Pasiva: Los métodos tradicionales como monitoreo de métricas y reentrenamiento solo actúan después de que ocurre la deriva
2. Dependencia de Datos: Requiere esperar datos del mundo real para reentrenar el modelo
3. Especificidad Regional Insuficiente: Carece de soluciones diseñadas para las circunstancias especiales de economías en desarrollo

Motivación de la Investigación

Los autores proponen una estrategia proactiva mediante la introducción de valores atípicos sintéticos durante la fase de entrenamiento para permitir que el modelo se adapte anticipadamente a situaciones extremas, mejorando así la robustez frente a choques desconocidos.

Contribuciones Principales

1. Propone un nuevo marco de evaluación de estabilidad: Incluye dos métricas: Puntuación de Estabilización (SS) y Mejora de Estabilización (SU), que cuantifican el rendimiento de estabilidad del modelo bajo choques
2. Uso innovador de valores atípicos sintéticos: Utiliza valores atípicos sintéticos generados por zGAN para mejorar la robustez del modelo frente a choques repentinos
3. Cierra la brecha de investigación regional: Primer estudio sistemático de métodos de mitigación de deriva del modelo en conjuntos de datos financieros de Asia Central y el Cáucaso
4. Proporciona implementación de código abierto: Publica código completo, métricas y experimentos, incluyendo datos sintéticos

Explicación Detallada del Método

Definición de la Tarea

Entrada: Datos tabulares financieros (tarea de predicción de riesgo crediticio) Salida: Resultado de clasificación binaria (incumplimiento/normal) Objetivo: Mantener la estabilidad del rendimiento predictivo del modelo cuando enfrenta cambios en la distribución de datos causados por choques externos

Marco del Método Principal

1. Definición de Choque y Medición del Cambio de Distribución

El choque se define como un evento repentino en el proceso de generación de datos que causa un cambio significativo inmediato en la distribución de características. El cambio de distribución (DS) se calcula mediante:

$DS = \frac{1}{|C|+|N|}\left(\sum_{c \in C} d_{TV}(P_{baseline}(c), P_{shocked}(c)) + \sum_{n \in N} d_{KS}(P_{baseline}(n), P_{shocked}(n))\right) \geq \tau$

donde C y N representan características categóricas y numéricas respectivamente, y $d_{TV}$ y $d_{KS}$ representan la distancia de variación total y la estadística de Kolmogorov-Smirnov respectivamente.

2. Puntuación de Estabilización (SS)

Cuantifica la capacidad del modelo de mantener el rendimiento predictivo bajo deriva:

$SS = 1 - \frac{|\hat{A}_{base} - \hat{A}_{shock}|}{1 + \log(1 + DS + \varepsilon)} \in [0.5, 1]$

donde $\hat{A}_{base}$ y $\hat{A}_{shock}$ representan el rendimiento del modelo en datos de referencia y datos bajo choque respectivamente.

3. Mejora de Estabilización (SU)

Compara la ventaja relativa de dos modelos bajo deriva:

$SU = w \cdot (w'_B \cdot SS_B - w'_A \cdot SS_A)$

donde los pesos se calculan mediante funciones sigmoides, considerando la estabilidad interna del modelo y su superioridad relativa.

4. Generación de Valores Atípicos Sintéticos

Utiliza el generador zGAN, que incluye:

• Componentes GAN Estándar: Arquitectura generador-discriminador
• Generador de Covarianza Condicional de Valores Atípicos (covGEN): Muestrea valores atípicos macroeconómicos de distribuciones multivariadas compatibles con la teoría de valores extremos
• VAE Condicional: Proporciona matrices de covarianza
• Filtro de Similitud Hash: Evita similitud excesiva con registros reales

Puntos de Innovación Técnica

1. Estrategia de Estabilización Proactiva: En lugar de esperar a que ocurra la deriva, el modelo se expone a situaciones extremas durante el entrenamiento
2. Marco de Evaluación de Dos Capas: SS mide la estabilidad de un modelo individual, SU compara la ventaja relativa entre modelos
3. Diseño Específico Regional: Método diseñado considerando las características de choques macroeconómicos en economías en desarrollo
4. Optimización No Monótona: Descubre que la proporción óptima de valores atípicos generalmente está en el rango de 5-10%, no necesariamente más es mejor

Configuración Experimental

Conjuntos de Datos

Los experimentos utilizan conjuntos de datos privados de riesgo crediticio de 5 economías en desarrollo:

• A1 (Tayikistán): Choque de conflicto comercial, DS=0.2250
• A4 (Uzbekistán): Sin choque claro, DS=0.0050
• A5 (Kazajstán): Choque de conflicto armado, DS=0.1212
• A6 (Jordania): Sin choque claro, DS=0.0026
• A9 (Azerbaiyán): Choque de conflicto armado, DS=0.1802
• Conjunto de Datos Abierto (Lending Club): Choque de conflicto comercial, DS=0.1193

Todas las tareas son predicción binaria de incumplimiento con desbalance de clases (aproximadamente 2-12%).

Métricas de Evaluación

• AUC_base: Rendimiento antes del choque
• AUC_shock: Rendimiento después del choque
• SS: Puntuación de Estabilización
• SU: Mejora de Estabilización

Métodos de Comparación

Se probaron 8 modelos de aprendizaje automático:

• CatBoost, TabPFN, FT-Transformer, HGBoosting
• NGBoost, XGBoost, LightGBM, TabNet

Detalles de Implementación

• División de datos: División entrenamiento/prueba 80/20
• Proporción de datos sintéticos: Mezcla real/sintética 50/50
• Proporción de valores atípicos: 0%, 1%, 3%, 5%, 7%, 10%, 50%, 100%
• Evaluación Monte Carlo: 51 divisiones aleatorias
• Hiperparámetros globales: (k1, k2, k3) = (100, 1000, 1000)

Resultados Experimentales

Resultados Principales

Según los mejores resultados de la Tabla 1:

• A1 (Tayikistán): TabNet sin valores atípicos alcanza SU=0.8441
• A4 (Uzbekistán): TabPFN con 50% de valores atípicos alcanza SU=0.7449
• A9 (Azerbaiyán): TabPFN con 5% de valores atípicos alcanza SU=0.9981
• Conjunto de Datos Abierto: FT-Transformer con 100% de valores atípicos alcanza SU=0.8884

Hallazgos Clave

1. Arquitecturas Flexibles se Benefician Más: TabPFN y FT-Transformer generalmente obtienen los valores SU más altos bajo choques
2. Proporción de Valores Atípicos No Monótona: La inyección de cantidad media (5-10%) frecuentemente maximiza SU, mientras que cantidades muy pequeñas o muy grandes debilitan los beneficios
3. Beneficios Correlacionados con Intensidad de Choque: Las mejoras máximas ocurren en conjuntos de datos con DS más alto (A1, A9), mientras que las mejoras son limitadas cuando DS es mínimo (A4, A6)

Análisis Estadístico

En todos los pares modelo-conjunto de datos:

• 53% de los casos: Agregar una proporción de valores atípicos no nula mejora la estabilidad (135/256)
• 83% de las mejores configuraciones: El entrenamiento con valores atípicos supera al entrenamiento sin valores atípicos (10/12)
• Diferencias de Modelo Significativas: HGBoosting, NGBoost, XGBoost, LightGBM se benefician en 50% de los casos, FT-Transformer en 75% de los casos, CatBoost, TabPFN, TabNet en 100% de los casos

Análisis de Casos

Del análisis de características de tipo de cambio "tjs/usd" del conjunto de datos de Tayikistán se puede observar:

• Los valores atípicos sintéticos forman valores extremos razonables en las colas de la distribución
• La proporción de 5-10% de valores atípicos proporciona exposición a valores extremos suficiente mientras mantiene la autenticidad
• La proyección UMAP muestra que los datos sintéticos son altamente similares a los datos reales, con valores atípicos distribuidos apropiadamente en regiones fronterizas

Trabajo Relacionado

Métodos de Detección y Adaptación de Deriva

• Deriva Temporal: Las relaciones de dependencia evolucionan gradualmente con el tiempo
• Deriva Condicional: Nuevos datos provienen de regiones insuficientemente representadas en el espacio de características
• Deriva Contextual: Las relaciones entrada-salida cambian repentinamente debido a choques externos

Los métodos tradicionales incluyen el algoritmo ADWIN, aprendizaje incremental, ventanas deslizantes, etc., siendo principalmente estrategias de respuesta pasiva.

Investigación de Datos Sintéticos

El trabajo relacionado incluye el marco TabOOD para generar muestras tabulares fuera de distribución y datos sintéticos para detección de deriva en procesos empresariales, pero la investigación sobre el uso específico de valores atípicos sintéticos para mitigar la deriva sigue siendo escasa.

Conclusiones y Discusión

Conclusiones Principales

1. Valores Atípicos Sintéticos Efectivos: En la mayoría de los casos pueden mejorar la estabilidad del modelo bajo choques repentinos
2. Existe Proporción Óptima: Generalmente en el rango de 5-10%, equilibrando la exposición a valores extremos y la calidad de datos
3. Sensibilidad de Arquitectura: Las arquitecturas de redes neuronales flexibles pueden aprovechar mejor la información de valores atípicos que los modelos de árboles tradicionales
4. Aplicabilidad Regional: El método muestra efectividad en conjuntos de datos de múltiples países en economías en desarrollo

Limitaciones

1. Falta de Reglas Universales: No se encontró un método universal para seleccionar el porcentaje óptimo de valores atípicos
2. Restricciones de Conjunto de Datos: Principalmente validado en tareas de riesgo crediticio, la aplicabilidad a otras tareas financieras es desconocida
3. Limitación de Tipos de Choque: Principalmente dirigido a choques macroeconómicos, el efecto en otros tipos de deriva no está claro
4. Costo Computacional: Requiere entrenar modelos generativos adicionales, aumentando el costo computacional

Direcciones Futuras

1. Proporción de Valores Atípicos Adaptativa: Desarrollar métodos heurísticos que determinen automáticamente la proporción óptima de valores atípicos
2. Múltiples Tipos de Choque: Extender a más tipos de escenarios de cambio de distribución
3. Adaptación en Tiempo Real: Combinar con aprendizaje en línea para ajuste dinámico
4. Análisis Teórico: Proporcionar garantías teóricas más profundas y análisis

Evaluación Profunda

Fortalezas

1. Importancia del Problema Destacada: Se enfoca en economías en desarrollo, un escenario de aplicación importante pero descuidado
2. Innovación Metodológica Fuerte: La estrategia de inyección proactiva de valores atípicos tiene novedad y valor práctico
3. Marco de Evaluación Completo: Las métricas SS y SU están bien diseñadas y pueden evaluar integralmente la estabilidad del modelo
4. Diseño Experimental Riguroso: Experimentos Monte Carlo de 51 repeticiones, múltiples conjuntos de datos, comparación de múltiples modelos
5. Contribución de Código Abierto: Proporciona código y datos completos, mejorando la reproducibilidad

Insuficiencias

1. Privacidad de Conjuntos de Datos: Los conjuntos de datos principales no pueden ser públicos, limitando la verificabilidad de resultados
2. Base Teórica Débil: Carece de análisis teórico profundo sobre por qué los valores atípicos pueden mejorar la estabilidad
3. Sensibilidad de Hiperparámetros: La selección de parámetros k1, k2, k3 de la métrica SU carece de orientación teórica suficiente
4. Rango de Aplicabilidad Poco Claro: Principalmente validado en datos tabulares, la aplicabilidad a otros tipos de datos es desconocida
5. Eficiencia Computacional: No analiza el costo computacional y escalabilidad del método

Impacto

1. Contribución Académica: Proporciona nuevas perspectivas y métodos para investigación de deriva del modelo
2. Valor Práctico: Tiene valor de aplicación directa para instituciones financieras en economías en desarrollo
3. Inspiración Metodológica: La estrategia de estabilización proactiva puede inspirar más investigación relacionada
4. Valor del Conjunto de Datos: Aunque privado, proporciona base empírica importante para investigación en la región

Escenarios de Aplicación

1. Instituciones Financieras en Economías en Desarrollo: Particularmente adecuado para ambientes financieros que enfrentan choques externos frecuentes
2. Gestión de Riesgo Crediticio: Mejora la robustez del modelo en tareas críticas como predicción de incumplimiento
3. Regiones con Inestabilidad Macroeconómica: Cualquier mercado que enfrenta incertidumbre política y económica
4. Gestión Proactiva de Riesgos: Escenarios que requieren prevención anticipada en lugar de respuesta pasiva

Referencias

El artículo cita 31 referencias relacionadas, incluyendo principalmente:

1. Investigación Fundamental sobre Deriva del Modelo: Trabajos de síntesis de Hinder et al. (2024), Halstead et al. (2022) sobre deriva conceptual
2. Métodos de Detección de Deriva: Algoritmo ADWIN (Bifet & Gavaldà, 2007), métodos de aprendizaje en línea, etc.
3. Generación de Datos Sintéticos: Trabajos relacionados con GAN (Goodfellow et al., 2014), marco TabOOD (Puranik et al., 2024)
4. Modelos de Aprendizaje Automático: Artículos originales de CatBoost, XGBoost, LightGBM y otros modelos principales
5. Métodos Estadísticos: Teoría de valores extremos (de Haan & Ferreira, 2006), prueba de Kolmogorov-Smirnov, etc.

Evaluación General: Este es un artículo de alta calidad que propone una solución innovadora en un dominio de aplicación importante pero descuidado (estabilidad financiera en economías en desarrollo). El método es novedoso, los experimentos son suficientes y tiene valor importante para aplicaciones prácticas, aunque todavía hay espacio para mejora en profundidad teórica y generalidad.