GFlowNets Conscientes de la Simetría

Información Básica

• ID del Artículo: 2506.02685
• Título: Symmetry-Aware GFlowNets
• Autores: Hohyun Kim, Seunggeun Lee, Min-hwan Oh (Universidad Nacional de Seúl)
• Clasificación: stat.ML cs.LG
• Conferencia de Publicación: ICML 2025 (42ª Conferencia Internacional sobre Aprendizaje Automático)
• Enlace del Artículo: https://arxiv.org/abs/2506.02685

Resumen

Las redes de flujo generativo (GFlowNets) proporcionan un marco sólido para el muestreo de grafos proporcional a la recompensa. Sin embargo, los métodos existentes sufren sesgos sistemáticos debido a inexactitudes en el cálculo de probabilidades de transición de estado. Estos sesgos tienen raíces en la simetría inherente de los grafos, afectando tanto esquemas de generación basados en átomos como en fragmentos. Para abordar este desafío, este artículo introduce GFlowNets Conscientes de la Simetría (SA-GFN), que incorpora correcciones de simetría en el proceso de aprendizaje mediante escalado de recompensas. Al integrar directamente la corrección de sesgo en la estructura de recompensas, SA-GFN elimina la necesidad de cálculos explícitos de transición de estado. Los resultados experimentales demuestran que SA-GFN logra muestreo insesgado, mientras mejora la diversidad y genera consistentemente grafos de alta recompensa que coinciden estrechamente con la distribución objetivo.

Antecedentes de Investigación y Motivación

Problema Central

GFlowNets enfrenta el problema de acciones equivalentes en tareas de generación de grafos: diferentes acciones pueden resultar en grafos estructuralmente idénticos. Por ejemplo, al añadir un nuevo nodo a un grafo, las acciones de conectarse a dos nodos simétricos, aunque diferentes, producen grafos isomorfos. En este caso, la probabilidad de transición de estado debe considerar todas las acciones equivalentes, pero el cálculo es costoso.

Importancia del Problema

1. Sesgo en la Generación Molecular: En el descubrimiento molecular, más del 50% de las moléculas poseen múltiples simetrías, y el 18% contiene cuatro o más simetrías. Ignorar la simetría conduce a modelado incorrecto y reducción en la precisión de generación de estructuras moleculares.
2. Sesgo Sistemático: El sesgo es sistemático, favoreciendo grafos con menor simetría en generación de nodos y componentes con mayor simetría en generación de fragmentos.
3. Complejidad Computacional: El cálculo preciso de probabilidades de transición de estado requiere pruebas costosas de isomorfismo de grafos.

Limitaciones de Métodos Existentes

• Ma et al. (2024) propone usar codificación posicional para aproximar la detección de acciones equivalentes, pero requiere aplicación en cada transición, con gran carga computacional y soluciones solo aproximadas.
• Los objetivos tradicionales de GFlowNet (TB, DB, etc.) no pueden evitar el problema de acciones equivalentes, ya que se basan en formalización de transiciones de estado.

Contribuciones Principales

1. Contribución Teórica: Proporciona formalización rigurosa de generación de grafos autoregresiva bajo el marco GFlowNet, abordando explícitamente el problema de acciones equivalentes
2. Solución Simple y Efectiva: Propone método de escalado de recompensas basado en el tamaño del grupo de automorfismos, requiriendo solo modificaciones mínimas a algoritmos de entrenamiento existentes
3. Estimador Insesgado: Deriva estimador insesgado de la verosimilitud del modelo
4. Verificación Experimental: Valida resultados teóricos mediante experimentos, demostrando efectividad del método en generación de muestras diversas y de alta recompensa

Explicación Detallada del Método

Definición de Tarea

Dada una función de recompensa R(x), el objetivo de GFlowNets es entrenar una política p_A tal que la probabilidad de muestreo de estados terminales sea proporcional a su recompensa: p̄_A(x) = R(x)/Z, donde Z es la constante de normalización.

Marco Teórico Central

1. Isomorfismo de Grafos y Relaciones de Equivalencia

• Isomorfismo de Grafos: Dos grafos G y G' son isomorfos (G ≅ G') si existe una permutación π tal que π(E) = E'
• Grupo de Automorfismos: El grupo de automorfismos de un grafo G, Aut(G), es el conjunto de todas las permutaciones que preservan la estructura del grafo
• Órbita: La órbita del nodo u es Orb(G,u) = {v ∈ V : ∃π ∈ Aut(G), π(u) = v}

2. Formalización de Acciones Equivalentes

Definición 4.1 (Equivalencia de Transición): Las transiciones de grafo (G₁,G'₁) y (G₂,G'₂) son equivalentes en transición si G₁ ≅ G₂ y G'₁ ≅ G'₂.

Definición 4.2 (Equivalencia de Órbita): Las acciones de grafo (G₁,t₁,u₁) y (G₂,t₂,u₂) son equivalentes en órbita si tienen el mismo tipo de acción y existe una permutación π tal que π(G₁) = G₂ y π(u₁) = u₂.

Teorema 4.3: Las acciones equivalentes en órbita conducen a transiciones equivalentes en transición.

3. Resultados Teóricos Clave

Lema 4.5: Para acciones AddEdge, se cumple $\frac{|\text{Orb}(G,u,v)|}{|\text{Orb}(G',u,v)|} = \frac{|\text{Aut}(G)|}{|\text{Aut}(G')|}$

Teorema 4.6 (Corrección de Automorfismo): Si se utiliza una función equivariante a permutaciones, entonces $\frac{p_{\bar{A}}(a|s)}{q_{\bar{A}}(a|s')} = \frac{|\text{Aut}(G)|}{|\text{Aut}(G')|} \cdot \frac{p_E(G'|G)}{q_E(G|G')}$

Método de Corrección Consciente de Simetría

1. Escalado de Recompensas para Generación de Nodos

Corolario 5.1 (Corrección TB): La pérdida de equilibrio de trayectoria debe ser $L_{TB}(\tau) = \left(\log \frac{Z\prod_{t=0}^{n-1} p_E(G_{t+1}|G_t)}{|\text{Aut}(G_n)|R(G_n)\prod_{t=0}^{n-1} q_E(G_t|G_{t+1})}\right)^2$

Solución: Escalar la recompensa como $\tilde{R}(G) = |\text{Aut}(G)|R(G)$

2. Corrección para Generación de Fragmentos

Teorema 5.3 (Corrección de Fragmentos): Para un estado terminal G generado por conexión de k fragmentos {C₁,...,Cₖ}: $\tilde{R}(G) = \frac{|\text{Aut}(G)|R(G)}{\prod_{i=1}^k |\text{Aut}(C_i)|}$

3. Estimador Insesgado de Verosimilitud del Modelo

$\bar{p}_A(x) = \mathbb{E}_{\tau \sim q_E(\tau|G_n)}\left[\frac{p_E(\tau)}{|\text{Aut}(G_n)|q_E(\tau|G_n)}\right]$

Puntos de Innovación Técnica

1. Elegancia Teórica: Simplifica la corrección compleja a nivel de transición en escalado de recompensas de estado terminal
2. Eficiencia Computacional: Evita pruebas costosas de isomorfismo de grafos en línea, requiriendo solo un cálculo único del tamaño del grupo de automorfismos
3. Universalidad: Aplicable a múltiples objetivos de GFlowNet como TB, DB, FM
4. Precisión: Proporciona solución exacta en lugar de aproximada

Configuración Experimental

Conjuntos de Datos

1. Ejemplos Ilustrativos: Estado inicial de 6 nodos desconectados, 112 estados terminales
2. Grafos Sintéticos: Grafos heterogéneos con hasta 7 nodos, 72,296 estados terminales
3. Generación Molecular:
   • Nivel Atómico: Tarea de predicción de brecha HOMO-LUMO
   • Nivel de Fragmentos: Tarea de predicción de energía de unión a objetivo sEH

Métricas de Evaluación

• Error L1: Error L1 entre probabilidad objetivo y probabilidad terminal del modelo
• Diversidad: Distancia promedio de Tanimoto entre moléculas
• Indicadores Top K: Diversidad y recompensa de las K moléculas de mayor recompensa
• Unicidad: Proporción de moléculas únicas en muestras generadas

Métodos de Comparación

1. GFlowNets Vanilla: Sin considerar simetría de grafos
2. Corrección de Transición: Identificación de acciones de transición equivalentes mediante múltiples pruebas de isomorfismo
3. PE (Ma et al., 2024): Identificación aproximada de acciones de órbita equivalente usando codificación posicional
4. Escalado de Recompensas (Este Trabajo): Corrección mediante modificación de señal de recompensa
5. Escalado de Flujo (Este Trabajo): Multiplicación por razón de simetría en cada transición

Resultados Experimentales

Resultados Principales

1. Experimentos Ilustrativos

• El modelo Vanilla muestra probabilidades terminales agrupadas por |x|, con sesgo evidente
• Escalado de Recompensas logra el mismo efecto que Corrección de Transición
• Constante de normalización estimada Z: Escalado de Recompensas = 112 (valor verdadero), Vanilla = 26,706

2. Experimentos con Grafos Sintéticos

• Objetivo TB: Escalado de Recompensas reduce significativamente error L1, rendimiento comparable a Corrección de Transición
• Objetivo DB: Escalado de Recompensas converge más lentamente, pero alcanza precisión idéntica finalmente
• Método PE como solución aproximada, rendimiento entre Vanilla y métodos exactos

3. Experimentos de Generación Molecular

Resultados de Generación a Nivel Atómico:

• Diversidad: 0.929→0.959 (Vanilla→Escalado de Recompensas)
• Unicidad: 0.93→1.0

Resultados de Generación a Nivel de Fragmentos:

• Recompensa Top K: 0.941→0.952 (Vanilla→Escalado de Recompensas Exacto)
• Uso de fragmento ciclohexano: 5220→1042 (reducción significativa de uso excesivo de fragmentos simétricos)

Experimentos de Ablación

• Corrección Aproximada vs Exacta: Método aproximado ya produce mejora significativa en rendimiento
• Diferentes Objetivos: TB y DB pueden corregirse efectivamente mediante escalado de recompensas

Análisis de Eficiencia Computacional

• Tiempo de cálculo de automorfismo: 0.010ms en conjunto QM9, 0.022ms en conjunto ZINC250k
• Comparado con propagación hacia adelante de red neuronal en muestreo de trayectoria, carga computacional es despreciable
• Comparación de tiempo de entrenamiento: Escalado de Recompensas aproximadamente 15% más rápido que Corrección de Transición

Trabajo Relacionado

Generación Autoregresiva de Grafos

• Métodos de Matriz de Adyacencia: Preservan información de orden de nodos, menos propensos a problema de acciones equivalentes
• Métodos de Secuencia de Grafos: Fácilmente generan acciones equivalentes, problema se acentúa cuando se requieren probabilidades de transición de estado

GFlowNets

• Los objetivos existentes (coincidencia de flujo, balance detallado, balance de trayectoria, etc.) no pueden evitar problema de acciones equivalentes
• Ma et al. (2024) identifica por primera vez el problema pero solo proporciona solución aproximada

Capacidad Expresiva de Redes Neuronales de Grafos

• Equivariancia a permutaciones causa que nodos en la misma órbita tengan representaciones idénticas
• Capacidad expresiva limitada puede causar superposición de representaciones de acciones en órbitas diferentes

Conclusiones y Discusión

Conclusiones Principales

1. Contribución Teórica: Primer análisis riguroso del problema de acciones equivalentes en GFlowNets, demostrando que causa sesgo sistemático
2. Solución Práctica: Escalado de recompensas proporciona método simple, exacto y eficiente de corrección
3. Aplicabilidad Amplia: Método aplicable a generación a nivel atómico y fragmentario, así como múltiples objetivos de entrenamiento

Limitaciones

1. Dependencia del Diseño de Acciones: Garantías teóricas dependen de conjunto específico de acciones de grafo predefinidas
2. Especificidad de Tarea: Validación principalmente en conjuntos de datos relacionados con descubrimiento molecular
3. Capacidad Expresiva de GNN: Capacidad expresiva limitada de GNN puede introducir sesgo adicional

Direcciones Futuras

1. Exploración de tareas con patrones de simetría diferentes y estructuras de recompensa
2. Diseño de arquitecturas GNN con mayor capacidad expresiva
3. Extensión a escenarios de generación de grafos más complejos

Evaluación Profunda

Fortalezas

1. Rigor Teórico: Proporciona marco matemático completo y análisis teórico riguroso
2. Simplicidad del Método: Solución extremadamente simple, fácil de implementar e integrar
3. Valor Práctico: Demuestra efectos reales en aplicaciones importantes como generación molecular
4. Eficiencia Computacional: Evita pruebas costosas de isomorfismo de grafos en línea
5. Universalidad Fuerte: Aplicable a múltiples objetivos de entrenamiento de GFlowNet

Insuficiencias

1. Alcance Experimental: Principalmente concentrado en tareas de generación molecular, validación limitada en otras tareas de generación de grafos
2. Supuestos Teóricos: Depende de diseño específico de acciones y supuestos de arquitectura GNN
3. Método Aproximado: Corrección aproximada para generación de fragmentos carece de garantías teóricas
4. Escalabilidad: Para grafos muy grandes, cálculo de automorfismo puede convertirse en cuello de botella

Impacto

1. Valor Académico: Proporciona suplemento importante a teoría de GFlowNets, resolviendo problema fundamental
2. Valor Práctico: Contribución directa a campos de aplicación como descubrimiento farmacéutico
3. Reproducibilidad: Método simple, fácil de reproducir y aplicar
4. Inspiración: Proporciona ideas para manejo de simetría en otros modelos generativos

Escenarios de Aplicación

1. Diseño Molecular: Descubrimiento farmacéutico, diseño de materiales y otras aplicaciones de quimioinformática
2. Generación de Grafos: Tareas de generación de grafos que requieren considerar simetría estructural
3. Optimización Combinatoria: Problemas de optimización combinatoria con restricciones de simetría
4. Aprendizaje por Refuerzo: Tareas de RL con espacio de estados que posee simetría

Referencias

1. Bengio et al. (2021) - Fundamentos de GFlowNet
2. Ma et al. (2024) - Identificación inicial del problema de acciones equivalentes
3. Malkin et al. (2022) - Objetivo de balance de trayectoria
4. Jain et al. (2023) - Aplicaciones de GFlowNets multiobjetivo

Evaluación General: Este es un artículo excelente que combina teoría y práctica, resolviendo un problema fundamental importante pero previamente pasado por alto en GFlowNets. El método es simple y elegante, el análisis teórico es riguroso, y la verificación experimental es completa. Realiza contribuciones importantes tanto al desarrollo teórico de GFlowNets como a aplicaciones prácticas, con impacto duradero esperado en campos relacionados.