Intervalos Conformales Umbralados para Regresión Eficiente

Información Básica

• ID del Artículo: 2407.14495
• Título: Conformal Thresholded Intervals for Efficient Regression
• Autores: Rui Luo (City University of Hong Kong), Zhixin Zhou (Alpha Benito Research)
• Clasificación: cs.LG, stat.ML
• Fecha de Publicación/Conferencia: AAAI 2025
• Enlace del Artículo: https://arxiv.org/abs/2407.14495
• Enlace del Código: https://github.com/luo-lorry/CTI

Resumen

Este artículo propone Intervalos Conformales Umbralados (Conformal Thresholded Intervals, CTI), un método novedoso de regresión conformal diseñado para producir conjuntos de predicción lo más pequeños posible mientras se garantiza la cobertura. A diferencia de los métodos existentes que dependen del marco conformal anidado y la estimación completa de la distribución condicional, CTI utiliza regresión de cuantiles multioutput lista para usar con el fin de estimar la densidad de probabilidad condicional de que la nueva respuesta caiga en cada intervalo intercuantílico. Al aprovechar la relación inversa entre la longitud del intervalo y la densidad de probabilidad, CTI construye conjuntos de predicción umbralando intervalos intercuantílicos estimados basándose en su longitud. Se utiliza un conjunto de calibración para determinar el umbral óptimo que asegure cobertura marginal, equilibrando efectivamente el compromiso entre el tamaño del conjunto de predicción y la cobertura.

Contexto de Investigación y Motivación

Contexto del Problema

La predicción conformal es un marco robusto para construir conjuntos de predicción con garantías de cobertura en muestras finitas. Los métodos conformales de regresión existentes se dividen principalmente en dos categorías:

1. Uso directo de modelos de regresión de cuantiles para predecir los puntos finales inferior y superior del intervalo
2. Estimación primero de la distribución condicional completa, seguida de inversión para obtener conjuntos de predicción

Limitaciones de Métodos Existentes

1. Métodos de regresión de cuantiles: Típicamente producen intervalos de cola igual, pero para distribuciones condicionales sesgadas, el intervalo efectivo más corto puede ser desequilibrado
2. Métodos de estimación de densidad: Pueden adaptarse al sesgo, pero generalmente implican muchos parámetros de ajuste, son difíciles de interpretar y complejos para los profesionales

Motivación de la Investigación

• Los métodos existentes pueden producir conjuntos de predicción subóptimos cuando la distribución condicional es sesgada
• Se necesita un método que se adapte a la densidad local de los datos y sea computacionalmente eficiente
• Se desea evitar la complejidad de estimar la distribución condicional completa

Contribuciones Principales

1. Propuesta del Método CTI: Un nuevo método de predicción conformal para regresión que utiliza regresión de cuantiles multioutput para estimar intervalos intercuantílicos condicionales, construyendo conjuntos de predicción mediante umbralización de estos intervalos
2. Análisis Teórico: Demostración de que CTI garantiza cobertura marginal y puede lograr cobertura condicional deseada y longitud mínima esperada del intervalo de predicción bajo condiciones específicas
3. Verificación Experimental: Extensos experimentos numéricos en datos simulados y conjuntos de datos reales que demuestran que CTI produce conjuntos de predicción más pequeños mientras mantiene cobertura efectiva
4. Practicidad: El método es simple de implementar e interpretar, atractivo para profesionales que buscan cuantificación confiable de la incertidumbre

Explicación Detallada del Método

Definición de la Tarea

Dado un conjunto de datos de regresión $\{(x_i, y_i)\}_{i=1}^n$, donde $x_i \in \mathcal{X} \subseteq \mathbb{R}^d$, $y_i \in \mathcal{Y} \subseteq \mathbb{R}$. El objetivo es construir un predictor conformal que para cada entrada de prueba $x$ produzca un conjunto de predicción $C(x) \subseteq \mathcal{Y}$, satisfaciendo: $P(Y \in C(X)) \geq 1-\alpha$ mientras se minimiza el tamaño esperado del conjunto de predicción.

Arquitectura del Modelo

Idea Central

La idea clave de CTI es aprovechar la relación inversa entre la longitud del intervalo y la densidad de probabilidad. Para la densidad de probabilidad condicional $f(y|x)$, si la regresión de cuantiles es suficientemente precisa, entonces: $f(y|x) \approx \frac{1}{K \cdot \mu(I_k(x))}$ donde $\mu(I_k(x))$ es la longitud del intervalo $I_k(x)$.

Flujo del Algoritmo

Paso 1: Regresión de Cuantiles Multioutput Aplicar regresión de cuantiles en el conjunto de entrenamiento para predecir el cuantil $\tau$ de la distribución condicional $Y|X=x$: $\hat{q}_k(x) \text{ para } k = 0, 1, \ldots, K$ donde $\tau = k/K$.

Paso 2: Definición de Intervalos Intercuantílicos$I_k(x) = (\hat{q}_{k-1}(x), \hat{q}_k(x)] \text{ para } k = 1, \ldots, K$

Paso 3: Construcción del Conjunto de Predicción Umbralización basada en la longitud del intervalo: $C(x) = \bigcup\{I_k(x) : \mu(I_k(x)) \leq t, k = 1, \ldots, K\}$

Paso 4: Determinación del Umbral Utilizar el conjunto de calibración para determinar el umbral $t$: $t = \text{cuantil}(1-\alpha) \text{ de } \frac{1}{1+|\mathcal{I}_{cal}|}\sum_{i \in \mathcal{I}_{cal}} \delta_{\mu(I_{k(y_i)}(x_i))} + \delta_\infty$

Puntos de Innovación Técnica

1. Estrategia de Umbralización Directa: A diferencia de CHR que requiere binning explícito del espacio de respuesta, CTI entrena directamente un modelo de regresión de cuantiles multioutput
2. Umbralización Global: CTI adopta una perspectiva global para umbralizar intervalos intercuantílicos para todos los valores de $x$, mejorando la eficiencia de la cobertura marginal
3. Optimalidad Teórica: Basado en el lema de Neyman-Pearson, CTI se aproxima teóricamente a conjuntos de predicción óptimos

Configuración Experimental

Conjuntos de Datos

Datos Simulados:

• Generación de $n = 10000$ muestras, $X_i \sim \text{Uniforme}[0,1]$
• Variable de respuesta: $y \sim \text{Triangular}(0, x, x)$
• Densidad condicional: $f(y|x) = \frac{2y}{x^2}\mathbf{1}\{y \in (0,x)\}$

Conjuntos de Datos Reales (13 conjuntos): bike, bio, blog, community, concrete, facebook1, facebook2, homes, meps19, meps20, meps21, star, etc.

Métricas de Evaluación

1. Cobertura (Coverage): Proporción de conjuntos de predicción que contienen el valor real
2. Tamaño del Conjunto de Predicción (Size): Longitud/medida promedio del conjunto de predicción

Métodos de Comparación

• Split Conformal: Método conformal de división básico
• CQR (Conformal Quantile Regression): Regresión de cuantiles conformal
• CHR (Conformal Histogram Regression): Regresión de histograma conformal

Detalles de Implementación

• División de datos: 20% prueba, 70% entrenamiento y 30% calibración del resto
• Número de cuantiles: $K = 100$
• Modelo base: Bosque Aleatorio (RF) y Red Neuronal (NN)
• Ejecuciones independientes: 10 repeticiones
• Nivel de significancia: $\alpha = 0.1$ (cobertura del 90%)

Resultados Experimentales

Resultados Principales

Resultados en Datos Simulados:

• Tamaño esperado teórico del conjunto CTI: 0.317
• Tamaño esperado teórico del conjunto CHR: 0.342
• Tamaño esperado teórico del conjunto CQR: 0.376
• Desempeño real de CTI: CTI(RF) 0.345±0.005, CTI(NN) 0.369±0.015
• Todos los métodos alcanzaron aproximadamente 90% de cobertura

Resultados en Conjuntos de Datos Reales: En 11 de los 13 conjuntos de datos, CTI produjo conjuntos de predicción más pequeños que otros métodos, manteniendo simultáneamente el nivel de cobertura deseado.

Hallazgos Clave

1. Ventaja Consistente: CTI supera a los métodos de referencia en la mayoría de los conjuntos de datos
2. Dependencia del Modelo: La eficiencia de CTI depende de la calidad del modelo de regresión de cuantiles subyacente
3. Desafío en Conjuntos Pequeños: En conjuntos de datos con tamaño de muestra pequeño (como star, n=2161), CQR puede tener mejor desempeño

Experimentos de Ablación

Análisis de Longitud de Intervalo: Mediante la comparación de la distribución de longitudes de intervalos de respuesta con la distribución de todas las longitudes de intervalo, se descubre que el desempeño de CTI depende del conjunto de datos específico y del modelo de regresión de cuantiles subyacente. Teóricamente, la diferencia de medias entre las dos distribuciones debería ser cero, pero existe desviación en la práctica, destacando la dependencia del método respecto a los datos y el modelo.

Trabajo Relacionado

Métodos de Regresión de Cuantiles

• Métodos Tradicionales: Hunter & Lange (2000), Meinshausen (2006), etc.
• Estimación de Múltiples Cuantiles: Cho et al. (2017) proponen que estimar múltiples cuantiles simultáneamente es más efectivo que estimarlos individualmente
• Restricciones de No Cruzamiento: Moon et al. (2021), Brando et al. (2022), etc. abordan el problema del cruzamiento de cuantiles

Métodos de Predicción Conformal

• Predicción Conformal Anidada: Romano et al. (2019), Sesia & Candès (2020), etc.
• Métodos de Estimación de Densidad: Izbicki et al. (2020), Sesia & Romano (2021), etc.
• Innovación de Este Trabajo: Estimación directa de la densidad de probabilidad condicional en lugar de la distribución condicional completa

Conclusiones y Discusión

Conclusiones Principales

1. CTI proporciona un método de regresión conformal simple y efectivo
2. Mediante la umbralización de intervalos intercuantílicos, CTI puede producir conjuntos de predicción más pequeños que los métodos existentes
3. El método está respaldado teóricamente por el lema de Neyman-Pearson, garantizando optimalidad
4. La verificación experimental demuestra la efectividad del método en múltiples conjuntos de datos

Limitaciones

1. Restricción de Intervalo: La implementación actual no garantiza que los conjuntos de predicción siempre tengan forma de intervalo
2. Dependencia del Modelo: El desempeño depende altamente de la precisión del modelo de regresión de cuantiles subyacente
3. Desafío en Muestras Pequeñas: Puede no ser tan efectivo como métodos tradicionales en conjuntos de datos pequeños
4. Selección de Parámetros: La elección del número de cuantiles K requiere equilibrar capacidad expresiva y eficiencia computacional

Direcciones Futuras

1. Desarrollar variantes de CTI que produzcan conjuntos de predicción en forma de intervalo
2. Mejorar el desempeño en situaciones de muestras pequeñas
3. Investigar métodos para seleccionar adaptativamente el número de cuantiles K
4. Integración con otros métodos de cuantificación de incertidumbre

Evaluación Profunda

Ventajas

1. Fundamento Teórico Sólido: Garantía de optimalidad teórica basada en el lema de Neyman-Pearson
2. Método Conciso: Evita la complejidad de la estimación de distribución condicional completa
3. Experimentación Exhaustiva: Verificación amplia en datos simulados y conjuntos de datos reales
4. Alto Valor Práctico: Fácil de implementar e interpretar, adecuado para profesionales
5. Innovación Fuerte: Aplicación exitosa de ideas de umbralización de clasificación a problemas de regresión

Deficiencias

1. Rango de Aplicabilidad: El desempeño puede ser deficiente en conjuntos de datos con muestras pequeñas
2. Forma del Conjunto de Predicción: No puede garantizar que los conjuntos de predicción tengan forma de intervalo, pudiendo producir conjuntos de predicción discontinuos
3. Sensibilidad a Hiperparámetros: Relativamente sensible a la elección del número de cuantiles K
4. Análisis Teórico: Algunos resultados teóricos se basan en condiciones de supuestos relativamente fuertes

Impacto

1. Contribución Académica: Proporciona nuevas perspectivas y métodos para el campo de predicción conformal
2. Valor Práctico: Las características simples y eficientes sugieren buenas perspectivas de aplicación
3. Reproducibilidad: Proporciona código de código abierto, facilitando la reproducción y extensión

Escenarios de Aplicación

1. Conjuntos de Datos Medianos a Grandes: El efecto es óptimo cuando hay suficientes muestras
2. Cuantificación de Incertidumbre: Tareas de regresión que requieren intervalos de confianza confiables
3. Aplicaciones en Tiempo Real: Escenarios con altos requisitos de eficiencia computacional
4. Problemas con Distribuciones Sesgadas: Problemas de regresión donde la distribución condicional es sesgada

Referencias

1. Romano, Y., Patterson, E., and Candès, E. (2019). Conformalized quantile regression. NeurIPS.
2. Sesia, M., and Romano, Y. (2021). Conformal prediction using conditional histograms. NeurIPS.
3. Meinshausen, N. (2006). Quantile regression forests. JMLR.
4. Sadinle, M., Lei, J., and Wasserman, L. (2019). Least ambiguous set-valued classifiers with bounded error levels. JASA.