सममिति-जागरूक GFlowNets

बुनियादी जानकारी

• पेपर ID: 2506.02685
• शीर्षक: Symmetry-Aware GFlowNets
• लेखक: Hohyun Kim, Seunggeun Lee, Min-hwan Oh (सियोल नेशनल विश्वविद्यालय)
• वर्गीकरण: stat.ML cs.LG
• प्रकाशन सम्मेलन: ICML 2025 (42वां अंतर्राष्ट्रीय मशीन लर्निंग सम्मेलन)
• पेपर लिंक: https://arxiv.org/abs/2506.02685

सारांश

जनरेटिव फ्लो नेटवर्क (GFlowNets) पुरस्कार अनुपात के अनुसार ग्राफ़ नमूना लेने के लिए एक शक्तिशाली ढांचा प्रदान करते हैं। हालांकि, मौजूदा विधियों में स्थिति संक्रमण संभावना गणना की अशुद्धि के कारण व्यवस्थित पूर्वाग्रह होता है। ये पूर्वाग्रह ग्राफ़ की अंतर्निहित सममिति में निहित हैं, जो परमाणु-आधारित और खंड-आधारित जनन योजनाओं को प्रभावित करते हैं। इस चुनौती को संबोधित करने के लिए, यह पेपर सममिति-जागरूक GFlowNets (SA-GFN) प्रस्तुत करता है, जो पुरस्कार स्केलिंग के माध्यम से सममिति सुधार को सीखने की प्रक्रिया में शामिल करता है। पूर्वाग्रह सुधार को सीधे पुरस्कार संरचना में एकीकृत करके, SA-GFN स्पष्ट स्थिति संक्रमण गणना की आवश्यकता को समाप्त करता है। प्रायोगिक परिणाम दर्शाते हैं कि SA-GFN निष्पक्ष नमूनाकरण प्राप्त कर सकता है, जबकि विविधता को बढ़ाता है और लगातार लक्ष्य वितरण के साथ निकटता से मेल खाने वाले उच्च पुरस्कार ग्राफ़ उत्पन्न करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्या

GFlowNets ग्राफ़ जनन कार्यों में समतुल्य कार्रवाई समस्या (equivalent action problem) का सामना करते हैं: विभिन्न कार्रवाइयां संरचनात्मक रूप से समान ग्राफ़ की ओर ले जा सकती हैं। उदाहरण के लिए, ग्राफ़ में नया नोड जोड़ते समय, दो सममित नोड्स से जुड़ने की कार्रवाइयां, हालांकि अलग हैं, समरूप ग्राफ़ उत्पन्न करती हैं। इस स्थिति में, स्थिति संक्रमण संभावना को सभी समतुल्य कार्रवाइयों पर विचार करना चाहिए, लेकिन गणना महंगी है।

समस्या की महत्ता

1. आणविक जनन में पूर्वाग्रह: आणविक खोज में, 50% से अधिक अणुओं में कई सममितियां होती हैं, 18% में 4 या अधिक सममितियां होती हैं। सममिति को नजरअंदाज करने से गलत मॉडलिंग और आणविक संरचना जनन सटीकता में कमी आती है।
2. व्यवस्थित पूर्वाग्रह: पूर्वाग्रह व्यवस्थित है, नोड जनन में कम सममिति वाले ग्राफ़ की ओर पक्षपाती है, खंड जनन में सममित घटकों की ओर।
3. कम्प्यूटेशनल जटिलता: स्थिति संक्रमण संभावना की सटीक गणना के लिए महंगे ग्राफ़ समरूपता परीक्षण की आवश्यकता होती है।

मौजूदा विधियों की सीमाएं

• Ma et al. (2024) ने समतुल्य कार्रवाइयों का पता लगाने के लिए स्थिति एन्कोडिंग का उपयोग करने का प्रस्ताव दिया, लेकिन प्रत्येक संक्रमण पर इसे लागू करने की आवश्यकता है, जिससे कम्प्यूटेशनल ओवरहेड बड़ा है और यह केवल एक अनुमानित समाधान है।
• पारंपरिक GFlowNet उद्देश्य फ़ंक्शन (TB, DB आदि) सभी समतुल्य कार्रवाई समस्या से बच नहीं सकते, क्योंकि वे स्थिति संक्रमण औपचारिकता पर आधारित हैं।

मुख्य योगदान

1. सैद्धांतिक योगदान: GFlowNet ढांचे के तहत स्वचालित ग्राफ़ जनन की कठोर औपचारिकता प्रदान करता है, समतुल्य कार्रवाई समस्या को स्पष्ट रूप से संबोधित करता है
2. सरल और प्रभावी समाधान: स्वचालित समूह आकार के आधार पर पुरस्कार स्केलिंग विधि प्रस्तावित करता है, जिसमें मौजूदा प्रशिक्षण एल्गोरिदम में न्यूनतम संशोधन की आवश्यकता है
3. निष्पक्ष अनुमानक: मॉडल संभावना के लिए निष्पक्ष अनुमानक प्राप्त करता है
4. प्रायोगिक सत्यापन: सैद्धांतिक परिणामों को प्रायोगिक रूप से सत्यापित करता है, विविध उच्च पुरस्कार नमूने उत्पन्न करने में विधि की प्रभावशीलता को साबित करता है

विधि विवरण

कार्य परिभाषा

दिए गए पुरस्कार फ़ंक्शन R(x) को देखते हुए, GFlowNets का उद्देश्य नीति pA को प्रशिक्षित करना है ताकि टर्मिनल स्थिति का नमूना संभावना इसके पुरस्कार के अनुपात में हो: p̄A(x) = R(x)/Z, जहां Z सामान्यीकरण स्थिरांक है।

मुख्य सैद्धांतिक ढांचा

1. ग्राफ़ समरूपता और समतुल्य संबंध

• ग्राफ़ समरूपता: दो ग्राफ़ G और G' समरूप हैं (G ≅ G'), यदि कोई क्रमचय π मौजूद है जैसे कि π(E) = E'
• स्वचालित समूह: ग्राफ़ G का स्वचालित समूह Aut(G) सभी क्रमचयों का समूह है जो ग्राफ़ संरचना को अपरिवर्तित रखते हैं
• कक्षा: नोड u की कक्षा Orb(G,u) = {v ∈ V : ∃π ∈ Aut(G), π(u) = v}

2. समतुल्य कार्रवाइयों की औपचारिकता

परिभाषा 4.1 (संक्रमण समतुल्यता): यदि G₁ ≅ G₂ और G'₁ ≅ G'₂, तो ग्राफ़ संक्रमण (G₁,G'₁) और (G₂,G'₂) संक्रमण समतुल्य हैं।

परिभाषा 4.2 (कक्षा समतुल्यता): यदि कार्रवाई प्रकार समान हैं और कोई क्रमचय π मौजूद है जैसे कि π(G₁) = G₂ और π(u₁) = u₂, तो ग्राफ़ कार्रवाइयां (G₁,t₁,u₁) और (G₂,t₂,u₂) कक्षा समतुल्य हैं।

प्रमेय 4.3: कक्षा समतुल्य कार्रवाइयां संक्रमण समतुल्य संक्रमण की ओर ले जाती हैं।

3. मुख्य सैद्धांतिक परिणाम

लेम्मा 4.5: AddEdge कार्रवाई के लिए, $\frac{|\text{Orb}(G,u,v)|}{|\text{Orb}(G',u,v)|} = \frac{|\text{Aut}(G)|}{|\text{Aut}(G')|}$

प्रमेय 4.6 (स्वचालित सुधार): यदि क्रमचय समतुल्य फ़ंक्शन का उपयोग किया जाता है, तो $\frac{p_{\bar{A}}(a|s)}{q_{\bar{A}}(a|s')} = \frac{|\text{Aut}(G)|}{|\text{Aut}(G')|} \cdot \frac{p_E(G'|G)}{q_E(G|G')}$

सममिति-जागरूक सुधार विधि

1. नोड जनन के लिए पुरस्कार स्केलिंग

अनुमान 5.1 (TB सुधार): प्रक्षेपवक्र संतुलन हानि को निम्नलिखित होना चाहिए: $L_{TB}(\tau) = \left(\log \frac{Z\prod_{t=0}^{n-1} p_E(G_{t+1}|G_t)}{|\text{Aut}(G_n)|R(G_n)\prod_{t=0}^{n-1} q_E(G_t|G_{t+1})}\right)^2$

समाधान: पुरस्कार को स्केल करें $\tilde{R}(G) = |\text{Aut}(G)|R(G)$

2. खंड जनन के लिए सुधार

प्रमेय 5.3 (खंड सुधार): k खंडों {C₁,...,Cₖ} को जोड़कर उत्पन्न टर्मिनल स्थिति G के लिए: $\tilde{R}(G) = \frac{|\text{Aut}(G)|R(G)}{\prod_{i=1}^k |\text{Aut}(C_i)|}$

3. मॉडल संभावना का निष्पक्ष अनुमान

$\bar{p}_A(x) = \mathbb{E}_{\tau \sim q_E(\tau|G_n)}\left[\frac{p_E(\tau)}{|\text{Aut}(G_n)|q_E(\tau|G_n)}\right]$

तकनीकी नवाचार बिंदु

1. सैद्धांतिक सुंदरता: जटिल संक्रमण-स्तरीय सुधार को टर्मिनल स्थिति के पुरस्कार स्केलिंग में सरल बनाता है
2. कम्प्यूटेशनल दक्षता: प्रत्येक चरण पर ग्राफ़ समरूपता परीक्षण से बचता है, केवल एक बार स्वचालित समूह आकार की गणना करता है
3. सार्वभौमिकता: TB, DB, FM आदि कई GFlowNet उद्देश्य फ़ंक्शन पर लागू होता है
4. सटीकता: अनुमानित समाधान के बजाय सटीक समाधान प्रदान करता है

प्रायोगिक सेटअप

डेटासेट

1. व्याख्यात्मक उदाहरण: 6 डिस्कनेक्ट किए गए नोड्स की प्रारंभिक स्थिति, 112 टर्मिनल स्थितियां
2. सिंथेटिक ग्राफ़: अधिकतम 7 नोड्स वाले विषम ग्राफ़, 72,296 टर्मिनल स्थितियां
3. आणविक जनन:
   • परमाणु-स्तर: HOMO-LUMO अंतराल भविष्यवाणी कार्य
   • खंड-स्तर: sEH लक्ष्य बंधन ऊर्जा भविष्यवाणी कार्य

मूल्यांकन मेट्रिक्स

• L1 त्रुटि: लक्ष्य संभावना और मॉडल टर्मिनल संभावना के बीच L1 त्रुटि
• विविधता: अणुओं के बीच औसत Tanimoto दूरी
• शीर्ष K संकेतक: शीर्ष K उच्च पुरस्कार अणुओं की विविधता और पुरस्कार
• अद्वितीयता: उत्पन्न नमूनों में अद्वितीय अणुओं का अनुपात

तुलना विधियां

1. Vanilla GFlowNets: ग्राफ़ सममिति पर विचार नहीं करता
2. Transition Correction: संक्रमण समतुल्य कार्रवाइयों की पहचान के लिए कई समरूपता परीक्षण के माध्यम से
3. PE (Ma et al., 2024): कक्षा समतुल्य कार्रवाइयों की पहचान के लिए स्थिति एन्कोडिंग का उपयोग करता है
4. Reward Scaling (यह पेपर): संशोधित पुरस्कार संकेत के माध्यम से सुधार
5. Flow Scaling (यह पेपर): प्रत्येक संक्रमण पर सममिति अनुपात से गुणा करता है

प्रायोगिक परिणाम

मुख्य परिणाम

1. व्याख्यात्मक प्रयोग

• Vanilla मॉडल की टर्मिनल संभावना |x| द्वारा क्लस्टर की जाती है, स्पष्ट पूर्वाग्रह दिखाता है
• Reward Scaling Transition Correction के समान प्रभाव प्राप्त करता है
• अनुमानित सामान्यीकरण स्थिरांक Z: Reward Scaling के लिए 112 (सही मान), Vanilla के लिए 26,706

2. सिंथेटिक ग्राफ़ प्रयोग

• TB उद्देश्य: Reward Scaling L1 त्रुटि में महत्वपूर्ण कमी, Transition Correction के समान प्रदर्शन
• DB उद्देश्य: Reward Scaling धीमी अभिसरण, लेकिन अंततः समान सटीकता प्राप्त करता है
• PE विधि अनुमानित समाधान के रूप में, Vanilla और सटीक विधि के बीच प्रदर्शन

3. आणविक जनन प्रयोग

परमाणु-स्तरीय जनन परिणाम:

• विविधता: 0.929→0.959 (Vanilla→Reward Scaling)
• अद्वितीयता: 0.93→1.0

खंड-स्तरीय जनन परिणाम:

• शीर्ष K पुरस्कार: 0.941→0.952 (Vanilla→Reward Scaling Exact)
• साइक्लोहेक्सेन खंड उपयोग: 5220→1042 (सममित खंडों के अत्यधिक उपयोग में महत्वपूर्ण कमी)

विलोपन प्रयोग

• अनुमानित सुधार बनाम सटीक सुधार: अनुमानित विधि पहले से ही प्रदर्शन में महत्वपूर्ण सुधार कर सकती है
• विभिन्न उद्देश्य फ़ंक्शन: TB और DB दोनों पुरस्कार स्केलिंग के माध्यम से प्रभावी रूप से सुधार कर सकते हैं

कम्प्यूटेशनल दक्षता विश्लेषण

• स्वचालित गणना समय: QM9 डेटासेट 0.010ms, ZINC250k डेटासेट 0.022ms
• प्रक्षेपवक्र नमूनाकरण के तंत्रिका नेटवर्क फॉरवर्ड प्रसार की तुलना में, कम्प्यूटेशनल ओवरहेड नगण्य है
• प्रशिक्षण समय तुलना: Reward Scaling Transition Correction से लगभग 15% तेज है

संबंधित कार्य

स्वचालित ग्राफ़ जनन

• आसन्न मैट्रिक्स विधि: नोड क्रम जानकारी को संरक्षित करता है, समतुल्य कार्रवाई समस्या से बचना आसान है
• ग्राफ़ अनुक्रम विधि: समतुल्य कार्रवाइयां उत्पन्न करना आसान है, स्थिति संक्रमण संभावना की आवश्यकता होने पर समस्या स्पष्ट होती है

GFlowNets

• मौजूदा उद्देश्य फ़ंक्शन (प्रवाह मिलान, विस्तृत संतुलन, प्रक्षेपवक्र संतुलन आदि) सभी समतुल्य कार्रवाई समस्या से बच नहीं सकते
• Ma et al. (2024) ने पहली बार समस्या की पहचान की लेकिन केवल अनुमानित समाधान प्रदान किया

ग्राफ़ तंत्रिका नेटवर्क अभिव्यक्ति क्षमता

• क्रमचय समतुल्यता समान कक्षा नोड्स को समान प्रतिनिधित्व देता है
• सीमित अभिव्यक्ति क्षमता विभिन्न कक्षा कार्रवाइयों के प्रतिनिधित्व में ओवरलैप का कारण बन सकती है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. सैद्धांतिक योगदान: GFlowNets में समतुल्य कार्रवाई समस्या का पहली बार कठोर विश्लेषण, यह साबित करता है कि यह व्यवस्थित पूर्वाग्रह का कारण बनता है
2. व्यावहारिक समाधान: पुरस्कार स्केलिंग सरल, सटीक, कुशल सुधार विधि प्रदान करता है
3. व्यापक प्रयोज्यता: विधि परमाणु-स्तरीय और खंड-स्तरीय जनन, और कई प्रशिक्षण उद्देश्यों पर लागू होती है

सीमाएं

1. कार्रवाई डिजाइन निर्भरता: सैद्धांतिक गारंटी विशिष्ट पूर्वनिर्धारित ग्राफ़ कार्रवाई सेट पर निर्भर करती है
2. कार्य विशिष्टता: मुख्य रूप से आणविक खोज संबंधित डेटासेट पर सत्यापित
3. GNN अभिव्यक्ति क्षमता: सीमित GNN अभिव्यक्ति क्षमता अतिरिक्त पूर्वाग्रह का परिचय दे सकती है

भविष्य की दिशाएं

1. विभिन्न सममिति पैटर्न और पुरस्कार संरचना वाले कार्यों की खोज करें
2. अधिक मजबूत अभिव्यक्ति क्षमता वाली GNN आर्किटेक्चर डिजाइन करें
3. अधिक जटिल ग्राफ़ जनन परिदृश्यों तक विस्तार करें

गहन मूल्यांकन

शक्तियां

1. सैद्धांतिक कठोरता: पूर्ण गणितीय ढांचा और कठोर सैद्धांतिक विश्लेषण प्रदान करता है
2. विधि सरलता: समाधान अत्यंत सरल है, कार्यान्वयन और एकीकरण में आसान
3. व्यावहारिक मूल्य: आणविक जनन जैसे महत्वपूर्ण अनुप्रयोगों में वास्तविक प्रभाव प्रदर्शित करता है
4. कम्प्यूटेशनल दक्षता: महंगे ऑनलाइन ग्राफ़ समरूपता परीक्षण से बचता है
5. मजबूत सार्वभौमिकता: कई GFlowNet प्रशिक्षण उद्देश्यों पर लागू होता है

कमियां

1. प्रयोग सीमा: मुख्य रूप से आणविक जनन कार्यों पर केंद्रित, अन्य ग्राफ़ जनन कार्यों का सत्यापन सीमित
2. सैद्धांतिक धारणाएं: विशिष्ट कार्रवाई डिजाइन और GNN आर्किटेक्चर धारणाओं पर निर्भर करता है
3. अनुमानित विधि: खंड जनन का अनुमानित सुधार सैद्धांतिक गारंटी की कमी है
4. स्केलेबिलिटी: बहुत बड़े ग्राफ़ के लिए, स्वचालित गणना एक बाधा बन सकती है

प्रभाव

1. शैक्षणिक मूल्य: GFlowNets सिद्धांत के लिए महत्वपूर्ण पूरक, मौलिक समस्या का समाधान करता है
2. व्यावहारिक मूल्य: दवा खोज आदि अनुप्रयोग क्षेत्रों में सीधा योगदान
3. पुनरुत्पादनीयता: विधि सरल है, पुनरुत्पादन और अनुप्रयोग में आसान
4. प्रेरणा: अन्य जनन मॉडल की सममिति प्रक्रिया के लिए विचार प्रदान करता है

प्रयोज्य परिदृश्य

1. आणविक डिजाइन: दवा खोज, सामग्री डिजाइन आदि रासायनिक सूचना विज्ञान अनुप्रयोग
2. ग्राफ़ जनन: संरचनात्मक सममिति पर विचार करने वाले ग्राफ़ जनन कार्य
3. संयोजी अनुकूलन: सममिति बाधा वाली संयोजी अनुकूलन समस्याएं
4. सुदृढ़ शिक्षा: स्थिति स्थान सममिति वाले RL कार्य

संदर्भ

1. Bengio et al. (2021) - GFlowNet आधार
2. Ma et al. (2024) - समतुल्य कार्रवाई समस्या की पहली पहचान
3. Malkin et al. (2022) - प्रक्षेपवक्र संतुलन उद्देश्य
4. Jain et al. (2023) - बहु-उद्देश्य GFlowNets अनुप्रयोग

समग्र मूल्यांकन: यह एक उत्कृष्ट पेपर है जो सिद्धांत और व्यवहार को संतुलित करता है, जो GFlowNets में एक महत्वपूर्ण लेकिन अनदेखी मौलिक समस्या को हल करता है। विधि सरल और सुंदर है, सैद्धांतिक विश्लेषण कठोर है, प्रायोगिक सत्यापन पर्याप्त है। GFlowNets सिद्धांत विकास और व्यावहारिक अनुप्रयोग दोनों में महत्वपूर्ण योगदान देता है, संबंधित क्षेत्रों पर निरंतर प्रभाव की अपेक्षा की जाती है।