Inferencia Variacional para Regresión Semiparamétrica con Respuesta de Conteo: Una Solución Convexa

Información Básica

• ID del Artículo: 2510.12356
• Título: Variational Inference for Count Response Semiparametric Regression: A Convex Solution
• Autores: Virginia Murru (Università di Padova), Matt P. Wand (University of Technology Sydney)
• Clasificación: stat.ME (Estadística - Metodología)
• Fecha de Publicación: 14 de octubre de 2025
• Enlace del Artículo: https://arxiv.org/abs/2510.12356

Resumen

Este artículo desarrolla un método de inferencia variacional para modelos bayesianos de regresión con respuesta de conteo, con excelentes propiedades de convexidad y actualizaciones de forma cerrada. La convexidad garantiza un algoritmo de ajuste numéricamente estable, mientras que las actualizaciones de forma cerrada hacen que el método sea rápido y fácil de implementar. El núcleo del método utiliza la verosimilitud binomial negativa aumentada por Pólya-Gamma, priors de valor finito para parámetros de forma y un esquema de Bayes variacional de campo medio estructurado. El método es aplicable a casos generales de respuesta de conteo y se especializa específicamente en modelos lineales generalizados mixtos dentro de la categoría de regresión semiparamétrica. El artículo también describe un algoritmo de ajuste en tiempo real.

Antecedentes y Motivación de la Investigación

Definición del Problema

Esta investigación aborda principalmente el problema de la inferencia bayesiana en regresión semiparamétrica con respuesta de conteo. Los métodos tradicionales de cadena de Markov Monte Carlo (MCMC) presentan cuellos de botella en velocidad y escalabilidad, mientras que los métodos de inferencia variacional existentes sufren de problemas de inestabilidad numérica causados por no convexidad.

Motivación de la Investigación

1. Problemas de Estabilidad Numérica: Aunque el método variacional de forma fija de Luts & Wand (2015) tiene buena precisión, la no convexidad puede causar problemas numéricos. En estudios de simulación, el método variacional de forma fija para regresión no paramétrica de Poisson no convergió correctamente en el 13.6% de las réplicas.
2. Demanda de Eficiencia Computacional: Los métodos existentes implican pasos de integración numérica, mientras que el método propuesto tiene actualizaciones completamente de forma cerrada, permitiendo algoritmos rápidos y estables.
3. Demanda de Aplicaciones en Tiempo Real: En aplicaciones de datos en flujo, se necesitan métodos que puedan actualizar parámetros del modelo en línea sin necesidad de almacenar todos los datos históricos.

Contribuciones Principales

1. Propone un Marco de Inferencia Variacional Convexa: Desarrolla un método de inferencia variacional donde todos los problemas de optimización de componentes son convexos, asegurando estabilidad numérica.
2. Implementa Actualizaciones de Forma Cerrada: A través de la técnica de aumento de Pólya-Gamma, todos los pasos de actualización tienen soluciones de forma cerrada, evitando integración numérica.
3. Construye un Esquema de Bayes Variacional de Campo Medio Estructurado: Mediante discretización del parámetro de forma κ, combinado con promediado de modelos de Bayes variacional para abordar el problema difícil de inferencia del parámetro de forma en la distribución binomial negativa.
4. Desarrolla un Algoritmo Puramente en Línea en Tiempo Real: Propone un algoritmo en tiempo real que solo necesita actualizar y almacenar estadísticas suficientes, pudiendo descartar los datos después del procesamiento.

Explicación Detallada del Método

Definición de la Tarea

Considere el siguiente modelo bayesiano de regresión semiparamétrica con respuesta de conteo:

$y_i|\beta,u,\kappa \stackrel{ind.}{\sim} \text{Binomial-Negativa}(\exp\{(X\beta + Zu)_i\}, \kappa), \quad 1 \leq i \leq n$

donde $y_i$ es la variable de respuesta de conteo, y $X$ y $Z$ son matrices de diseño para efectos fijos y aleatorios, respectivamente.

Arquitectura del Modelo

1. Aumento de Pólya-Gamma

Se introducen variables auxiliares de Pólya-Gamma: $\alpha_i|y_i,\beta,u,\kappa \stackrel{ind.}{\sim} \text{Pólya-Gamma}(y_i + \kappa, (X\beta + Zu)_i + \log(\kappa))$

2. Especificación de Priors

• Coeficientes de regresión: $\beta \sim N(0, \sigma_\beta^2 I_p)$
• Efectos aleatorios: $u|\sigma_1^2,\ldots,\sigma_r^2 \sim N(0, \text{blockdiag}(\sigma_1^2 I_{K_1}, \ldots, \sigma_r^2 I_{K_r}))$
• Parámetros de varianza: $\sigma_j \stackrel{ind.}{\sim} \text{Cauchy-Semiinfinita}(s_\sigma)$
• Parámetro de forma: $\kappa$ tiene un prior discreto con conjunto de átomos $\mathcal{K}$ y probabilidades $p(\kappa)$

3. Bayes Variacional de Campo Medio Estructurado

Se utiliza la siguiente forma de densidad de producto restringida: $q(\beta,u,\kappa,\alpha,\sigma^2,a) = q(\beta,u,a|\kappa)q(\sigma^2,\alpha|\kappa)q(\kappa)$

Algoritmo Principal

Algoritmo 1: Los pasos de actualización clave del algoritmo de Bayes variacional de campo medio estructurado incluyen:

1. Actualización de Parámetros de Pólya-Gamma: $\mu_q(\alpha|\kappa) \leftarrow 2(y + \kappa\mathbf{1}) \odot \lambda_{JJ}(c_q(\alpha|\kappa))$
2. Actualización de Parámetros de Regresión: $\Sigma_q(\beta,u|\kappa) \leftarrow \{C^T\text{diag}(\mu_q(\alpha|\kappa))C + M_q(1/\sigma^2|\kappa)\}^{-1}$
3. Actualización de Parámetros de Varianza: Se actualiza mediante estadísticas suficientes de la distribución Gamma inversa

donde $\lambda_{JJ}(x) = \frac{\tanh(x/2)}{4x}$ es la función de Jaakkola-Jordan.

Puntos de Innovación Técnica

1. Garantía de Convexidad: Cada problema de optimización de campo medio individual (para $\kappa \in \mathcal{K}$) es convexo, asegurando soluciones óptimas globales.
2. Actualizaciones de Forma Cerrada: Gracias a las propiedades especiales del aumento de Pólya-Gamma, se evita la integración numérica y todas las actualizaciones tienen soluciones analíticas.
3. Estrategia de Discretización: El parámetro de forma continua $\kappa$ se discretiza a un conjunto finito, procesándose mediante promediado de modelos de Bayes variacional.

Configuración Experimental

Conjuntos de Datos

1. Datos Simulados:
   • Tamaño de muestra: n=500
   • Modelo aditivo binomial negativo: $\eta_{\text{true},1}(x) = \cos(4\pi x) + 2x$, $\eta_{\text{true},2}(x) = 0.4\phi(x;0.38,0.08) - 1.02x + 0.018x^2 + 0.08\phi(x;0.75,0.03)$
   • Parámetro de forma verdadero: $\kappa_{\text{true}} = 3.8$
2. Datos Reales: Datos de conteo de polen de ambrosía en Kalamazoo, Michigan, EE.UU. (1991-1994) (n=334)

Métricas de Evaluación

Se utiliza la puntuación de precisión definida como: $\text{precisión}(q^*) = 100\left(1 - \frac{1}{2}\int_{-\infty}^{\infty}|q^*(θ) - p(θ|y)|dθ\right)\%$

Métodos de Comparación

• Referencia MCMC: Utilizando el motor de inferencia bayesiana JAGS, longitud de cadena 10000, burn-in 5000, factor de rarefacción 5
• Método Variacional Existente: Método de Bayes variacional de campo medio semiparamétrico de Luts & Wand (2015)

Detalles de Implementación

• Conjunto de átomos $\mathcal{K}$: 50 puntos de secuencia geométrica, rango $[\kappa_{\text{true}}/10, 10\kappa_{\text{true}}]$
• Criterio de convergencia: cambio relativo menor que $10^{-10}$
• Funciones base de spline: Utilizando bases de spline O'Sullivan, número de funciones base $K_1 = K_2 = 17$

Resultados Experimentales

Resultados Principales

Evaluación de Precisión

Los estudios de simulación muestran que este método logra precisión satisfactoria en todos los indicadores:

• Precisión de estimación de función: La precisión de estimación de valores de función en diferentes cuantiles está entre 89%-94%
• Estimación de parámetros de varianza: La precisión de $\sigma_1^2$ y $\sigma_2^2$ es 80% y 73%, respectivamente
• Estimación de parámetro de forma: La precisión de $\kappa$ alcanza 99%

En comparación con el método de Luts & Wand (2015), este método muestra mejoras en todos los parámetros, siendo la mejora en $\kappa$ la más significativa.

Comparación de Velocidad

Se logra una mejora significativa en eficiencia computacional:

• Método MCMC: Promedio 117.8 segundos (desviación estándar 1.876 segundos)
• Método Propuesto: Promedio 2.088 segundos (desviación estándar 0.1440 segundos)

Mejora de velocidad de aproximadamente 56 veces, manteniendo buena precisión de inferencia.

Evaluación del Algoritmo en Tiempo Real

Algoritmo 2 Los resultados de ajuste en tiempo real muestran:

• Durante el proceso de crecimiento del tamaño de muestra de 100 a 1000, las estimaciones en tiempo real son altamente consistentes con las estimaciones por lotes
• Para diferentes valores de $\kappa_{\text{true}}$ (5, 10, 20, 40), el algoritmo muestra desempeño estable
• La inferencia en tiempo real se enfoca principalmente en la estructura de media, siendo la inferencia en tiempo real del parámetro $\kappa$ relativamente difícil

Aplicación a Datos Reales

La aplicación a datos de conteo de polen de ambrosía muestra:

• Todos los coeficientes de efectos lineales son significativamente diferentes de cero
• La distribución posterior del parámetro de forma $\kappa$ se concentra entre 2-5, apoyando la aplicabilidad del modelo de respuesta binomial negativa
• Las curvas de tendencia de cuatro años muestran comportamiento similar: alcanzan un pico alrededor del día 20 de la temporada, seguido de una tendencia descendente

Trabajo Relacionado

Direcciones de Investigación Principales

1. Métodos de Inferencia Variacional: Métodos de respuesta binaria de Jaakkola & Jordan (2000), Durante & Rigon (2019)
2. Aumento de Pólya-Gamma: Métodos de aumento de verosimilitud binomial negativa de Polson et al. (2013), Zhou et al. (2012), Miao et al. (2020)
3. Regresión Semiparamétrica: Inferencia variacional de regresión semiparamétrica con respuesta de conteo de Luts & Wand (2015)

Ventajas de Este Artículo

1. Comparado con Zhou et al. (2012) y Miao et al. (2020): El método de este artículo se basa en la divergencia KL mínima de una única distribución conjunta, con fundamentos teóricos más sólidos
2. Comparado con Luts & Wand (2015): Resuelve el problema de no convexidad, proporcionando actualizaciones completamente de forma cerrada
3. Comparado con MCMC tradicional: Mejora significativa en velocidad computacional manteniendo precisión razonable

Conclusiones y Discusión

Conclusiones Principales

1. Se desarrolló exitosamente un método de inferencia variacional para regresión semiparamétrica con respuesta de conteo con convexidad y actualizaciones de forma cerrada
2. Mediante aumento de Pólya-Gamma y Bayes variacional de campo medio estructurado, se implementó un algoritmo numéricamente estable
3. Se proporciona un algoritmo de ajuste puramente en línea en tiempo real, aplicable a aplicaciones de datos en flujo

Limitaciones

1. Pérdida de Precisión: La aproximación variacional tiene cierta pérdida de precisión comparada con MCMC, particularmente en la estimación del ancho de la distribución posterior
2. Impacto de la Discretización: La discretización del parámetro de forma $\kappa$ puede afectar la precisión de la inferencia
3. Reducción del Conjunto de Átomos en Algoritmo en Línea: El algoritmo en línea necesita ajustar dinámicamente el conjunto de átomos, mecanismo que requiere investigación adicional

Direcciones Futuras

1. Extensión a modelos de efectos aleatorios con parámetros de matriz de covarianza
2. Mejora de la calidad de inferencia del parámetro $\kappa$ en el algoritmo en tiempo real
3. Investigación de fundamentos teóricos del mecanismo de reducción del conjunto de átomos

Evaluación Profunda

Fortalezas

1. Innovación Teórica: Combina aumento de Pólya-Gamma con Bayes variacional de campo medio estructurado, resolviendo problemas técnicos difíciles en regresión con respuesta de conteo
2. Estabilidad Numérica: La convexidad garantiza estabilidad y confiabilidad del algoritmo
3. Eficiencia Computacional: Las actualizaciones de forma cerrada y el algoritmo en tiempo real mejoran significativamente la eficiencia computacional
4. Valor Práctico: El método tiene amplio rango de aplicación y es fácil de implementar

Insuficiencias

1. Análisis Teórico Incompleto: Falta análisis teórico del error de aproximación variacional
2. Orientación en Selección de Parámetros: Falta orientación sistemática para la selección del conjunto de átomos $\mathcal{K}$
3. Rango Experimental Limitado: Los escenarios de experimentos de simulación son relativamente limitados

Impacto

1. Contribución Académica: Proporciona una nueva ruta técnica para inferencia variacional en modelos con respuesta de conteo
2. Valor Práctico: Tiene importancia significativa en aplicaciones de big data e inferencia en tiempo real
3. Reproducibilidad: La descripción del algoritmo es detallada y fácil de reproducir e implementar

Escenarios Aplicables

1. Análisis de datos de conteo que requiere inferencia bayesiana rápida
2. Modelado en tiempo real en entornos de datos en flujo
3. Problemas de regresión semiparamétrica con respuesta de conteo a gran escala
4. Escenarios de aplicación con altos requisitos de estabilidad numérica

Referencias Bibliográficas

Las referencias principales incluyen:

• Luts, J. and Wand, M.P. (2015). Variational inference for count response semiparametric regression. Bayesian Analysis, 10, 991–1023.
• Polson, N.G., Scott, J.G. & Windle, J. (2013). Bayesian inference for logistic models using Pólya-Gamma latent variables. Journal of the American Statistical Association, 108, 1339–1349.
• Durante, D. & Rigon, T. (2019). Conditionally conjugate mean-field variational Bayes for logistic models. Statistical Science, 34, 472–485.

Este artículo realiza contribuciones importantes en el campo de la inferencia variacional para regresión semiparamétrica con respuesta de conteo, resolviendo problemas clave de métodos existentes mediante una combinación ingeniosa de técnicas, proporcionando nuevas direcciones para el desarrollo de este campo.