NUBO: Un Paquete Python Transparente para Optimización Bayesiana

Información Básica

• ID del Artículo: 2305.06709
• Título: NUBO: A Transparent Python Package for Bayesian Optimization
• Autores: Mike Diessner, Kevin Wilson, Richard D. Whalley (Newcastle University)
• Clasificación: cs.LG (Aprendizaje Automático), cs.MS (Software Matemático), stat.ML (Estadística - Aprendizaje Automático)
• Fecha de Publicación: arXiv v2, 3 de junio de 2024
• Enlace del Artículo: https://arxiv.org/abs/2305.06709
• Dirección de Código Abierto: www.nubopy.com
• Licencia: BSD 3-Clause

Resumen

NUBO (Newcastle University Bayesian Optimization) es un marco de optimización bayesiana diseñado específicamente para optimizar funciones de caja negra costosas, aplicable a experimentos físicos y simuladores computacionales. El marco realiza modelado sustituto mediante procesos gaussianos, utilizando funciones de adquisición para guiar la selección de puntos candidatos, aproximándose al óptimo global con el mínimo número de evaluaciones de función. NUBO enfatiza la transparencia y la experiencia del usuario, asegurando transparencia mediante código claro, citas precisas y documentación exhaustiva; garantizando una buena experiencia de usuario mediante diseño modular, sintaxis intuitiva y algoritmos seleccionados. El marco admite optimización secuencial de un punto, paralela de múltiples puntos y asincrónica, siendo aplicable a espacios de parámetros acotados, restringidos e híbridos (discretos y continuos). Contiene únicamente algoritmos completamente probados y validados, manteniendo la compacidad del paquete y evitando la sobrecarga de opciones.

Antecedentes de Investigación y Motivación

1. Problema Central a Resolver

Muchos campos científicos e ingenieriles enfrentan problemas de optimización de funciones de caja negra costosas:

• La función no tiene expresión matemática conocida o analítica
• Cada evaluación de función es costosa (costo de materiales, costo computacional, costo de tiempo)
• No se puede obtener información de derivadas
• No es adecuado para un gran número de evaluaciones de función

Los escenarios de aplicación típicos incluyen:

• Optimización de parámetros en dinámica de fluidos computacional
• Diseño molecular y descubrimiento de fármacos en ingeniería química
• Ajuste de hiperparámetros de modelos de aprendizaje automático
• Búsqueda de arquitectura de redes neuronales

2. Importancia del Problema

Los algoritmos de optimización tradicionales (como Adam, L-BFGS-B, evolución diferencial) dependen de:

• Información de derivadas (típicamente no disponible)
• Un gran número de evaluaciones de función (no factible para funciones costosas)

La optimización bayesiana proporciona una alternativa eficiente en muestras, pero las implementaciones existentes presentan problemas.

3. Limitaciones de Métodos Existentes

Mediante análisis comparativo detallado (Tabla 1), los paquetes Python existentes presentan los siguientes problemas:

Problemas Clave:

• Complejidad vs Transparencia: BoTorch es poderoso pero el código es complejo (160 archivos), difícil de entender para usuarios no expertos
• Limitaciones Funcionales: La mayoría de paquetes no admiten optimización paralela/asincrónica
• Sobrecarga de Opciones: Proporciona muchas opciones, difícil para usuarios no expertos tomar decisiones

4. Motivación de la Investigación

Proporcionar a investigadores interdisciplinarios (no expertos en estadística/informática):

• Transparencia: Código conciso (solo 1,322 líneas, 20 archivos)
• Facilidad de Uso: Diseño modular, sintaxis intuitiva
• Eficiencia: Admite optimización paralela/asincrónica/restringida/híbrida
• Confiabilidad: Contiene solo algoritmos verificados

Contribuciones Principales

1. Implementación Ligera: Implementa un marco completo de optimización bayesiana con 1,322 líneas de código, siendo solo el 3.4% del volumen de código de BoTorch, pero proporcionando funcionalidad comparable
2. Soporte Integral de Estrategias de Optimización:
   • Optimización secuencial de un punto (sequential single-point)
   • Optimización paralela de múltiples puntos (parallel multi-point)
   • Optimización asincrónica (asynchronous)
   • Optimización restringida (constrained)
   • Optimización de parámetros híbridos (mixed discrete-continuous)
3. Filosofía de Diseño Transparente:
   • Estructura de código clara
   • Citas académicas precisas
   • Documentación exhaustiva (artículo + sitio web)
4. Arquitectura Modular Amigable con el Usuario:
   • Diseño de bloques de construcción flexible
   • Sintaxis Python intuitiva
   • Algoritmos eficientes seleccionados
5. Verificación de Rendimiento: En pruebas comparativas con paquetes principales (BoTorch, SMAC3, etc.), el rendimiento es comparable o superior, demostrando que la simplicidad no sacrifica el rendimiento
6. Ecosistema de Código Abierto: Basado en el ecosistema PyTorch (Torch, GPyTorch), asegurando buena escalabilidad y soporte de aceleración GPU

Explicación Detallada de Métodos

Definición de Tarea

La optimización bayesiana tiene como objetivo resolver un problema de maximización en d dimensiones:

$x^* = \arg\max_{x \in X} f(x)$

Donde:

• Espacio de Entrada $X \in [a,b]^d$: Típicamente espacio continuo acotado en forma de hiperrrectángulo
• Función Objetivo $f(x)$: Función de caja negra costosa, sin derivadas
• Observaciones $y_i = f(x_i) + \epsilon$: Con ruido $\epsilon \sim \mathcal{N}(0, \sigma^2)$
• Datos de Entrenamiento $D_n = \{(x_i, y_i)\}_{i=1}^n$

Tareas Extendidas (admitidas por NUBO):

• Optimización Restringida: $\text{sujeto a } g_i(x) = 0, \quad h_j(x) \geq 0$
• Parámetros Híbridos: Algunas dimensiones son valores discretos

Arquitectura del Modelo

Flujo General del Algoritmo (Algoritmo 1)

Entrada: Presupuesto de evaluación N, número de puntos iniciales n₀, 
         modelo sustituto M, función de adquisición α
1. Muestrear n₀ puntos iniciales mediante diseño de llenado de espacio, 
   obtener observaciones
2. Establecer datos de entrenamiento D_n = {X₀, y₀}
3. Mientras n ≤ N - n₀:
   a. Entrenar modelo sustituto M (proceso gaussiano) con D_n
   b. Maximizar función de adquisición α para encontrar punto candidato x*_n
   c. Evaluar x*_n para obtener y*_n, agregar a D_n
   d. n = n + 1
4. Retornar punto correspondiente al valor observado más alto x*

Componentes Principales

1. Modelo Sustituto: Proceso Gaussiano (Gaussian Process)

Distribución Previa: $f(X_n) \sim \mathcal{N}(m(X_n), K(X_n, X_n))$

Configuración de NUBO:

• Función Media: Media constante $\mu_{\text{constant}}(x) = c$
• Núcleo de Covarianza: Núcleo Matérn 5/2 ARD $\Sigma_{\text{Matérn}}(x, x') = \sigma_f^2 \left(1 + \frac{\sqrt{5}r}{l} + \frac{5r^2}{3l^2}\right) \exp\left(-\frac{\sqrt{5}r}{l}\right)$ Donde $r = |x - x'|$

Determinación Automática de Relevancia (ARD):

• Cada dimensión de entrada tiene una escala de longitud independiente $l_d$
• Escala de longitud grande → dimensión no importante
• Escala de longitud pequeña → dimensión importante

Distribución Posterior: $f(X^*) | D_n, X^* \sim \mathcal{N}(\mu_n(X^*), \sigma_n^2(X^*))$

$\mu_n(X^*) = K(X^*, X_n)[K(X_n, X_n) + \sigma_y^2 I]^{-1}(y - m(X_n)) + m(X^*)$

$\sigma_n^2(X^*) = K(X^*, X^*) - K(X^*, X_n)[K(X_n, X_n) + \sigma_y^2 I]^{-1}K(X_n, X^*)$

Estimación de Hiperparámetros: Mediante maximización de la verosimilitud marginal logarítmica (MLE): $\log P(y_n | X_n) = -\frac{1}{2}(y_n - m(X_n))^\top[K + \sigma_y^2 I]^{-1}(y_n - m(X_n)) - \frac{1}{2}\log|K + \sigma_y^2 I| - \frac{n}{2}\log 2\pi$

2. Funciones de Adquisición (Acquisition Functions)

Funciones de Adquisición Analíticas (para optimización secuencial de un punto)

Mejora Esperada (Expected Improvement, EI): $\alpha_{\text{EI}}(X^*) = (\mu_n(X^*) - y_{\text{best}})\Phi(z) + \sigma_n(X^*)\phi(z)$ Donde $z = \frac{\mu_n(X^*) - y_{\text{best}}}{\sigma_n(X^*)}$

Límite de Confianza Superior (Upper Confidence Bound, UCB): $\alpha_{\text{UCB}}(X^*) = \mu_n(X^*) + \sqrt{\beta}\sigma_n(X^*)$

Optimizador: L-BFGS-B (acotado) o SLSQP (restringido)

Funciones de Adquisición Monte Carlo (para optimización paralela/asincrónica)

Mediante técnica de reparametrización: $\alpha_{\text{EI}}^{\text{MC}}(X^*) = \max(\text{ReLU}(\mu_n(X^*) + Lz - y_{\text{best}}))$

$\alpha_{\text{UCB}}^{\text{MC}}(X^*) = \max\left(\mu_n(X^*) + \sqrt{\frac{\beta\pi}{2}}|Lz|\right)$

Donde:

• $L$: Matriz triangular inferior de la descomposición Cholesky de la matriz de covarianza $LL^\top = K$
• $z \sim \mathcal{N}(0, I)$: Muestra normal estándar

Estrategia de Optimización en Lotes:

1. Optimización Conjunta (joint): Optimizar simultáneamente todos los puntos del lote
2. Secuencial Codicioso (sequential): Optimizar punto por punto, fijando puntos anteriores (mejor rendimiento empírico)

Optimizador: Adam (estocástico) o L-BFGS-B/SLSQP (muestra base fija)

Puntos de Innovación Técnica

1. Equilibrio entre Transparencia y Simplicidad

• Comparación de Líneas de Código: NUBO (1,322 líneas) vs BoTorch (38,419 líneas)
• Comparación de Archivos: 20 vs 160
• Filosofía de Diseño: Evitar abstracción excesiva, mantener funciones y objetos fáciles de rastrear

2. Diseño Modular

Los usuarios pueden construir un ciclo de optimización personalizado en 4 pasos:

# 1. Definir espacio de entrada
bounds = torch.tensor([[0., 0., ...], [1., 1., ...]])

# 2. Entrenar proceso gaussiano
gp = GaussianProcess(x_train, y_train, likelihood)
fit_gp(x_train, y_train, gp, likelihood)

# 3. Definir función de adquisición
acq = UpperConfidenceBound(gp=gp, beta=4)

# 4. Optimizar función de adquisición
x_new, _ = single(func=acq, method="L-BFGS-B", bounds=bounds)

3. Solución Práctica para Optimización Híbrida

• Estrategia: Enumerar todas las combinaciones discretas, optimizar parámetros continuos para cada combinación
• Implementación: Especificar dimensiones discretas y valores posibles mediante diccionario
• Limitación: Computacionalmente costoso cuando hay muchas dimensiones o valores discretos (la documentación lo reconoce claramente)

4. Soporte para Optimización Asincrónica

• Escenario: Continuar optimización cuando el tiempo de evaluación es incierto
• Implementación: Pasar puntos pendientes de evaluación como puntos fijos en x_pending
• Ventaja: Utilizar plenamente los recursos computacionales

5. Diagrama de Flujo de Decisión (Figura 3)

Proporciona una guía clara para la selección de algoritmos:

• ¿Es asincrónico? → ¿Es paralelo? → ¿Es restringido?
• Cada rama recomienda combinaciones específicas de función de adquisición y optimizador

Configuración Experimental

Conjunto de Datos

Se utilizan dos funciones de referencia estándar (de la biblioteca de experimentos virtuales24):

1. Función Levy 2D:
   • Dimensión: 2
   • Características: Multimodal, múltimos óptimos locales
   • Óptimo global: 0.00
2. Función Hartmann 6D:
   • Dimensión: 6
   • Características: Múltiples mínimos locales, un mínimo global
   • Óptimo global: 3.32237
   • Espacio de entrada: 0,1⁶

Ambas funciones se negaron para convertirse en problemas de maximización.

Métricas de Evaluación

1. Valor Observado Óptimo: Mejor salida en la iteración actual (promedio ± error estándar)
2. Velocidad de Convergencia: Número de evaluaciones necesarias para alcanzar el óptimo global
3. Tiempo por Iteración: Costo computacional del algoritmo

Métodos de Comparación

Se comparan 5 paquetes Python principales:

1. BoTorch (v0.8.4): Funcionalidad más completa
2. bayes_opt (v1.4.3): Ligero
3. SMAC3 (v2.0.0): Complejidad media
4. pyGPGO (v0.5.0): Ligero
5. NUBO (v1.0.3): Método propuesto

Configuración Unificada:

• Modelo sustituto: Proceso gaussiano
• Función de adquisición: Límite de confianza superior (UCB)
• Número de ejecuciones: 10 experimentos repetidos
• Hardware: Apple Mac mini (M2, 16GB)

Detalles de Implementación

Optimización Secuencial

• Puntos iniciales: Generados mediante muestreo de hipercubo latino
• Levy: 30 evaluaciones
• Hartmann: 60 evaluaciones

Optimización Paralela

• Tamaño de lote: 4
• Levy: 30 evaluaciones (7.5 lotes)
• Hartmann: 100 evaluaciones (25 lotes)

Resultados Experimentales

Resultados Principales

Tabla 2: Comparación de Rendimiento Final

Hallazgos Clave:

1. NUBO está más cerca del valor óptimo real en todas las pruebas (Levy: 0.00, Hartmann: 3.32)
2. Varianza Mínima: Mejor estabilidad de resultados
3. Mejor entre Paquetes Ligeros: Supera a bayes_opt y pyGPGO
4. Competitivo con Paquetes Complejos: Comparable a BoTorch y SMAC3

Tabla 3: Comparación de Eficiencia Computacional

Análisis:

• NUBO requiere más tiempo por iteración (máximo 2.20s)
• Pero es insignificante para funciones de caja negra costosas:
  • Experimentos físicos: pueden requerir horas/días
  • Simulaciones complejas: pueden requerir minutos/horas
  • Los 2 segundos adicionales son insignificantes en comparación con el costo de evaluación

Análisis de Curvas de Convergencia (Figura 1)

A) Optimización Secuencial Levy 2D:

• NUBO converge rápidamente al óptimo global
• bayes_opt y pyGPGO muestran mayor variabilidad
• SMAC3 tiene peor rendimiento

B) Optimización Secuencial Hartmann 6D:

• Todos los métodos convergen
• NUBO y BoTorch están más cerca del óptimo real
• SMAC3 y pyGPGO tienen mayor varianza

C) Optimización Paralela Levy 2D:

• NUBO y BoTorch tienen rendimiento similar
• La estrategia paralela es efectiva

D) Optimización Paralela Hartmann 6D:

• NUBO es ligeramente más lento que BoTorch en alcanzar valores altos
• Pero el valor final es más óptimo y más estable

Resultados de Estudio de Caso (Sección 4)

Tarea: Función Hartmann 6D, primera dimensión como parámetro discreto (11 valores)

Configuración:

• Puntos iniciales: 30 (5×dimensión)
• Iteraciones de optimización: 10
• Tamaño de lote: 4
• Función de adquisición: MC-UCB (β=4, 128 muestras)

Resultados:

• Encuentra la solución óptima en la evaluación 53
• Entrada: 0.4, 0.9136, 1.0, 0.5669, 0.0, 0.0802
• Salida: 3.2133 (óptimo real 3.32237)
• Error: Solo 3.3%

Comparación con Muestreo Aleatorio y LHS (Figura 5):

• NUBO supera significativamente al muestreo aleatorio y al muestreo de hipercubo latino
• Después de 70 evaluaciones está más cerca del óptimo real

Hallazgos Experimentales

1. Simplicidad sin Sacrificar Rendimiento: 1,322 líneas de código logran rendimiento comparable al BoTorch de 38,419 líneas
2. Ventaja de Estabilidad: Error estándar mínimo, adecuado para aplicaciones prácticas
3. Estrategia Paralela Efectiva: La estrategia secuencial codicioso funciona bien en problemas reales
4. Optimización Híbrida Viable: Maneja exitosamente espacios de parámetros híbridos discreto-continuos
5. Costo Computacional Aceptable: Para funciones de caja negra costosas, el costo adicional de segundos es insignificante

Trabajo Relacionado

Comparación de Implementaciones Python

Implementaciones en Otros Lenguajes

• Lenguaje R:
  • rBayesianOptimization: Funcionalidad básica
  • ParBayesianOptimization: Admite paralelismo

Direcciones Principales de Investigación

1. Optimización de Hiperparámetros: Ajuste de modelos de aprendizaje automático (Spearmint, SMAC3)
2. Búsqueda de Arquitectura Neural: BANANAS y similares
3. Aplicaciones Científicas: Dinámica de fluidos, ingeniería química, diseño de materiales

Posicionamiento de NUBO

• Usuarios Objetivo: Investigadores interdisciplinarios (no expertos en ML)
• Filosofía de Diseño: Transparencia > Riqueza de Funcionalidades
• Escenarios de Aplicación: Optimización de experimentos físicos y simulaciones

Conclusiones y Discusión

Conclusiones Principales

1. NUBO logra exitosamente el equilibrio entre transparencia y rendimiento:
   • Implementa funcionalidad completa con código mínimo (1,322 líneas)
   • Rendimiento comparable o superior a paquetes complejos (BoTorch)
2. Soporte Funcional Integral:
   • Optimización secuencial/paralela/asincrónica
   • Espacios de parámetros restringidos e híbridos
   • Arquitectura modular fácil de personalizar
3. Adecuado para Aplicaciones Interdisciplinarias:
   • Documentación y código claros
   • Diseño de API intuitivo
   • Algoritmos confiables seleccionados
4. Buen Ecosistema de Código Abierto:
   • Basado en ecosistema PyTorch
   • Licencia BSD 3-Clause
   • Mantenimiento activo

Limitaciones

Limitaciones Reconocidas Honestamente por los Autores:

1. Eficiencia Computacional:
   • Cada iteración es aproximadamente 10 veces más lenta que BoTorch
   • Pero insignificante para funciones de caja negra costosas
2. Escalabilidad de Optimización Híbrida:
   • La estrategia de enumeración no es viable con muchas dimensiones/valores discretos
   • No se proporciona alternativa más eficiente
3. Cobertura de Funcionalidades:
   • No admite optimización multifidelidad (multi-fidelity)
   • No admite optimización multiobjetivo (multi-objective)
   • No incluye métodos especializados para alta dimensionalidad
4. Selección Limitada de Algoritmos:
   • Solo dos funciones de adquisición (EI, UCB)
   • No incluye métodos populares más recientes (como gradiente de conocimiento, búsqueda de entropía)

Problemas Potenciales:

1. Pruebas Comparativas Limitadas:
   • Solo 2 funciones sintéticas
   • Falta de casos de aplicación real
   • No se prueban problemas de alta dimensionalidad (>10D)
2. Sensibilidad a Hiperparámetros:
   • Falta de orientación automática para selección de parámetro β
   • Impacto del número de muestras Monte Carlo no suficientemente analizado
3. Verificación de Escalabilidad Insuficiente:
   • No se prueba paralelismo a gran escala (lotes >4)
   • Capacidades de aceleración GPU no demostradas

Direcciones Futuras

Planes de extensión claramente propuestos en el artículo:

1. Optimización Multifidelidad: Aprovechar simulaciones de diferentes precisiones para acelerar optimización
2. Optimización Multiobjetivo: Optimizar simultáneamente múltiples objetivos conflictivos
3. Optimización de Alta Dimensionalidad: Desarrollar métodos especializados para espacios de alta dimensionalidad (como incrustación, incrustación aleatoria, etc.)

Evaluación Profunda

Fortalezas

1. Novedad del Método (Media)

• Sin Novedad Algorítmica: No propone nuevos algoritmos de optimización bayesiana
• Novedad en Ingeniería: Encuentra excelente equilibrio entre simplicidad y funcionalidad
• Novedad en Diseño: La arquitectura modular reduce la barrera de entrada

2. Suficiencia Experimental (Buena)

✓ Fortalezas:

• Comparación horizontal con 5 paquetes principales
• 10 experimentos repetidos, proporciona significancia estadística
• Incluye escenarios secuencial y paralelo
• Estudio de caso detallado

✗ Insuficiencias:

• Solo 2 funciones de referencia, dimensionalidad baja
• Falta comparación con aplicaciones reales
• No se prueban escenarios extremos (alta dimensionalidad, lotes grandes)

3. Convincencia de Resultados (Fuerte)

• Evidencia Cuantitativa: Alcanza óptimo o cercano a óptimo en todas las pruebas
• Estabilidad: Error estándar mínimo
• Comparación de Líneas de Código: Cuantifica objetivamente ventaja de simplicidad
• Reporte Honesto: Reconoce honestamente desventaja de eficiencia computacional

4. Claridad de Escritura (Excelente)

• Estructura clara: Antecedentes → Método → Experimentos → Caso
• Fórmulas detalladas: Derivaciones matemáticas completas
• Ejemplos de código abundantes: Cada funcionalidad tiene fragmento de código
• Visualizaciones efectivas: Diagramas de flujo, curvas de convergencia, gráficos comparativos

5. Reproducibilidad (Excelente)

• Código abierto y documentación
• Configuración experimental detallada
• Materiales de reproducción proporcionados
• Información clara de versión

Insuficiencias

1. Limitaciones del Método

• Ineficiencia de Estrategia de Enumeración: Optimización híbrida no viable con muchas dimensiones discretas
• Selección Conservadora de Algoritmos: Solo EI y UCB, no incluye métodos más modernos (como qKG, MES)
• Falta de Estrategias Adaptativas: Parámetros como β requieren ajuste manual

2. Defectos en Diseño Experimental

• Pruebas Comparativas Débiles:
  • Solo 2 funciones sintéticas
  • Dimensionalidad máxima solo 6D
  • Falta pruebas de robustez a ruido
• Comparación Incompleta:
  • No compara con paquetes R
  • No prueba aceleración GPU
  • No evalúa consumo de memoria
• Limitación de Estudio de Caso:
  • Aún es función sintética
  • No demuestra aplicación científica real

3. Análisis Teórico Insuficiente

• Sin análisis de garantías de convergencia
• Sin análisis de complejidad de muestras
• No discute propiedades teóricas de estrategia codicioso

4. Problemas de Rendimiento

• Eficiencia Computacional: 10 veces más lento que BoTorch
• Escalabilidad Desconocida:
  • ¿Rendimiento con lotes grandes?
  • ¿Rendimiento en alta dimensionalidad?
  • ¿Estabilidad numérica en ejecuciones largas?

Impacto

1. Contribución al Campo (Media)

• Contribución en Ingeniería Significativa: Reduce barrera de entrada para usuarios interdisciplinarios
• Contribución Algorítmica Limitada: No propone nuevos métodos
• Valor Educativo Alto: Implementación clara puede servir como material de aprendizaje

2. Valor Práctico (Alto)

Escenarios Aplicables:

• ✓ Optimización de experimentos físicos (evaluación costosa)
• ✓ Ingeniería de simulación (escala media de parámetros)
• ✓ Enseñanza y desarrollo de prototipos
• ✓ Investigación que requiere entender detalles de algoritmo

Escenarios No Aplicables:

• ✗ Búsqueda de hiperparámetros a gran escala (requisitos de eficiencia altos)
• ✗ Optimización de alta dimensionalidad (>20D)
• ✗ Investigación competitiva que requiere algoritmos más avanzados

3. Reproducibilidad (Excelente)

• Código completo de código abierto
• Documentación detallada
• Instalación simple con pip
• Mantenimiento activo

4. Base de Usuarios Potencial

• Usuarios Principales: Científicos experimentales, ingenieros
• Usuarios Secundarios: Investigadores de ML (desarrollo de prototipos)
• Usuarios Educativos: Estudiantes y profesores

Escenarios Aplicables

Se Recomienda Usar NUBO en Estos Casos:

1. Evaluación Extremadamente Costosa:
   • Experimentos físicos (escala de horas/días)
   • Simulaciones de alta precisión (escala de minutos/horas)
   • En este caso, el costo de 2 segundos del algoritmo es insignificante
2. Necesidad de Entender Algoritmo:
   • Proyectos de investigación que requieren modificar algoritmo
   • Propósitos de enseñanza y aprendizaje
   • Necesidad de depuración y explicación de resultados
3. Problemas de Escala Media:
   • Dimensionalidad de parámetros ≤ 10
   • Paralelismo de lote ≤ 10
   • Parámetros discretos ≤ 3 dimensiones
4. Necesidad de Funcionalidades Específicas:
   • Optimización restringida
   • Espacio de parámetros híbrido
   • Evaluación asincrónica

Se Recomienda Usar Otras Herramientas en Estos Casos:

1. Usar BoTorch:
   • Necesidad de algoritmos más avanzados
   • Problemas de alta dimensionalidad (>20D)
   • Paralelismo a gran escala
   • Aceleración GPU crítica
2. Usar SMAC3:
   • Optimización de hiperparámetros
   • Necesidad de herramienta madura de nivel industrial
3. Usar bayes_opt:
   • Optimización secuencial simple
   • Necesidad de mínimas dependencias

Referencias (Seleccionadas)

Fundamentos de Optimización Bayesiana

• 1 Frazier (2018): A tutorial on Bayesian optimization
• 9 Jones et al. (1998): Efficient global optimization - Artículo original de EI
• 10 Snoek et al. (2012): Practical Bayesian optimization - Trabajo fundacional de BO moderno
• 11 Shahriari et al. (2015): Taking the human out of the loop - Artículo de revisión

Procesos Gaussianos

• 28 Gramacy (2020): Surrogates - Material didáctico práctico de GP
• 30 Rasmussen & Williams (2006): Gaussian Processes for Machine Learning - Material clásico

Funciones de Adquisición

• 27 Wilson et al. (2018): Maximizing acquisition functions - Estrategia de optimización en lotes
• 32 Srinivas et al. (2010): GP optimization in the bandit setting - Fundamento teórico de UCB

Software Relacionado

• 22 BoTorch (Balandat et al., 2020): Principal competidor
• 21 SMAC3 (Lindauer et al., 2022): Optimización de hiperparámetros
• 35 GPyTorch (Gardner et al., 2018): Backend de GP de NUBO

Puntuación General

Evaluación Integral: Este es un excelente artículo de herramientas, que logra exitosamente su objetivo central: proporcionar una herramienta de optimización bayesiana transparente y fácil de usar para investigadores interdisciplinarios. Aunque la novedad algorítmica es limitada, hace contribuciones significativas en diseño de ingeniería y experiencia de usuario. Particularmente adecuado para entender detalles de algoritmos, optimizar funciones de caja negra costosas en aplicaciones científicas e ingenieriles. El alto estándar de calidad de código y documentación merece ser aprendido por otros proyectos de código abierto.