Foragax: JAX पर आधारित एजेंट-आधारित मॉडलिंग फ्रेमवर्क

बुनियादी जानकारी

• पेपर ID: 2409.06345
• शीर्षक: Foragax: JAX पर आधारित एजेंट-आधारित मॉडलिंग फ्रेमवर्क
• लेखक: सिद्धार्थ चतुर्वेदी, अहमद अल-गज़्ज़ार, मार्सेल वैन गेर्वेन (राडबाउड विश्वविद्यालय)
• वर्गीकरण: cs.MA (बहु-एजेंट प्रणालियाँ)
• प्रकाशन समय: सितंबर 2024 (arXiv प्रीप्रिंट)
• पेपर लिंक: https://arxiv.org/abs/2409.06345
• कोड रिपोजिटरी: https://github.com/i-m-iron-man/Foragax.git

सारांश

भोजन खोज जीवों द्वारा साझा वातावरण में होमियोस्टेसिस बनाए रखने के लिए की जाने वाली एक सार्वभौमिक गतिविधि है। कंप्यूटेशनल मॉडलिंग के माध्यम से बहु-एजेंट भोजन खोज व्यवहार का अध्ययन करके, व्यक्तिगत और सामूहिक उद्भवशील व्यवहार को सुगम तरीके से समझा जा सकता है। एजेंट मॉडलिंग ऐसे कार्यों के अनुकरण में प्रभावी साबित हुई है, लेकिन जटिल गतिविधि वाले बड़ी संख्या में एजेंटों को समायोजित करने के लिए सिमुलेशन का विस्तार करना अभी भी चुनौतीपूर्ण है। यह पेपर Foragax प्रस्तुत करता है - एक सामान्य, स्केलेबल, हार्डवेयर-त्वरित बहु-एजेंट भोजन खोज टूलकिट। JAX लाइब्रेरी का उपयोग करके, यह टूलकिट साझा वातावरण में हजारों एजेंटों की भोजन खोज व्यवहार को अंत-से-अंत वेक्टरीकृत और अवकलनीय तरीके से अनुकरण कर सकता है। टूलकिट एजेंट मॉडलिंग उपकरण प्रदान करता है जो विभिन्न भोजन खोज कार्यों को मॉडल करते हैं, जिसमें कस्टम स्थानिक और अस्थायी एजेंट गतिविधि, नियंत्रण रणनीतियाँ, सेंसर मॉडल और सीमा शर्तें डिजाइन करने के विकल्प शामिल हैं। इसके अलावा, सिमुलेशन के दौरान कस्टम नियमों के अनुसार एजेंटों को जोड़ा या हटाया जा सकता है। यद्यपि भोजन खोज के लिए लागू किया गया है, यह टूलकिट विभिन्न अन्य बहु-एजेंट परिदृश्यों के मॉडलिंग और सिमुलेशन के लिए भी उपयोग किया जा सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

भोजन खोज सभी जीवों द्वारा जीवित रहने के लिए हल की जाने वाली सबसे पुरानी और महत्वपूर्ण व्यवहार अनुकूलन समस्याओं में से एक है। सबसे सरल बैक्टीरिया से लेकर अत्यधिक सामाजिक प्राइमेट तक, कुशल भोजन खोज की본능विकास के सभी चरणों में व्यापक है। प्रकृति में भोजन खोज मूलतः एक बहु-एजेंट गतिविधि है, क्योंकि आसन्न जीव एक ही भोजन खोज वातावरण साझा करते हैं।

मौजूदा विधियों की सीमाएँ

1. स्केलेबिलिटी समस्या: पारंपरिक एजेंट मॉडलिंग विधियों को बड़ी संख्या में एजेंटों को संभालते समय कम्प्यूटेशनल बाधाओं का सामना करना पड़ता है
2. जैविक यथार्थवाद की कमी: मौजूदा सिमुलेशन में एजेंटों की संख्या की सीमा प्रकृति में देखे गए भोजन खोज व्यवहार के साथ असंगति का कारण बनती है
3. कम्प्यूटेशनल जटिलता: प्रत्येक एजेंट की स्थिति अन्य सभी एजेंटों के व्यवहार पर निर्भर करती है, एजेंटों की संख्या बढ़ने के साथ सिमुलेशन अत्यंत कठिन हो जाता है

अनुसंधान प्रेरणा

लेखकों का उद्देश्य भोजन खोज कार्य मॉडलर्स को एक ही वातावरण में एक साथ बड़ी संख्या (हजारों) में एजेंटों का अनुकरण करने की क्षमता प्रदान करना है। यह बड़े पैमाने पर सिमुलेशन क्षमता जटिल सामूहिक व्यवहार के उद्भव को समझने के लिए महत्वपूर्ण है और सैद्धांतिक अनुसंधान और प्राकृतिक अवलोकन के बीच की खाई को कम कर सकती है।

मुख्य योगदान

1. Foragax फ्रेमवर्क का प्रस्ताव: JAX पर आधारित एक सामान्य, स्केलेबल, हार्डवेयर-त्वरित बहु-एजेंट भोजन खोज मॉडलिंग टूलकिट
2. बड़े पैमाने पर समानांतर सिमुलेशन का कार्यान्वयन: अंत-से-अंत वेक्टरीकरण विधि के माध्यम से हजारों एजेंटों का अनुकरण करने की क्षमता
3. लचीला मॉडलिंग इंटरफेस प्रदान करना: कस्टम स्थानिक और अस्थायी गतिविधि, नियंत्रण रणनीतियाँ, सेंसर मॉडल और सीमा शर्तों का समर्थन
4. गतिशील एजेंट प्रबंधन का समर्थन: सिमुलेशन के दौरान कस्टम नियमों के अनुसार एजेंटों को जोड़ने या हटाने की क्षमता
5. गैर-एपिसोडिक निरंतर सिमुलेशन का कार्यान्वयन: वातावरण और एजेंट स्थिति को रीसेट किए बिना दीर्घकालीन सिमुलेशन का समर्थन

विधि विवरण

कार्य परिभाषा

Foragax साझा वातावरण में बड़ी संख्या में एजेंटों की भोजन खोज व्यवहार का अनुकरण करने पर केंद्रित है, जबकि होमियोस्टेसिस बनाए रखता है। कार्य की विशेषताओं में शामिल हैं:

• इनपुट: एजेंट प्रारंभिक स्थिति, वातावरण कॉन्फ़िगरेशन, संसाधन वितरण
• आउटपुट: एजेंट व्यवहार प्रक्षेपवक्र, सामूहिक उद्भवशील व्यवहार पैटर्न
• बाधाएँ: संसाधन सीमितता, एजेंट अंतःक्रिया, वातावरण सीमा शर्तें

फ्रेमवर्क आर्किटेक्चर

Foragax पाँच मुख्य अमूर्तता स्तरों के वर्ग डिजाइन पर आधारित है:

1. नीति (Policy)

• स्थिति चर और पैरामीटर के समुच्चय द्वारा प्रतिनिधित्व किया जाता है
• वातावरण में एजेंट व्यवहार उत्पन्न करने के लिए उपयोग किया जाता है
• कई मॉडलों का समर्थन करता है: विल्सन-कोवान मॉडल, पुनरावर्ती तंत्रिका नेटवर्क, बहु-परत परसेप्ट्रॉन
• नियतात्मक या स्टोकेस्टिक प्रकृति के रूप में मॉडल किया जा सकता है

2. एजेंट (Agent)

• स्थिति चर और पैरामीटर के समुच्चय द्वारा प्रतिनिधित्व किया जाता है
• कस्टम अस्थायी और स्थानिक गतिविधि का समर्थन करता है
• अद्वितीय सूचकांक और सक्रिय स्थिति (1 सक्रिय के लिए, 0 निष्क्रिय के लिए) बनाए रखता है
• गतिविधि इसकी नीति द्वारा नियंत्रित की जा सकती है

3. एजेंट-समुच्चय (Agent-set)

• एजेंटों का समुच्चय प्रतिनिधित्व
• सभी एजेंट समान स्थिति चर, पैरामीटर और नीति संरचना साझा करते हैं
• चयन, छँटाई, एजेंट जोड़ने या हटाने की क्रिया का समर्थन करता है
• शून्य पैडिंग के माध्यम से डेटा संरचना आकार को स्थिर रखता है, JAX के JIT और स्वचालित वेक्टरीकरण विशेषता को बनाए रखता है

4. सीखने के एल्गोरिदम (Learning Algorithms)

• नीति और एजेंट पैरामीटर को ट्यून करने के लिए एल्गोरिदम का समुच्चय प्रदान करता है
• वर्तमान कार्यान्वयन ग्रेडिएंट-मुक्त तंत्रिका विकास विधि पर आधारित है
• ग्रेडिएंट-आधारित सुदृढ़ शिक्षण विधियों तक विस्तार की योजना है

5. कार्य (Tasks)

• कस्टम सीमा शर्तों और दीवार प्लेसमेंट के साथ भोजन खोज वातावरण डिजाइन करने की अनुमति देता है
• टकराव पहचान के लिए रे-कास्टिंग एल्गोरिदम पर आधारित है

तकनीकी नवाचार बिंदु

1. JAX बैकएंड अनुकूलन

• JAX के तत्काल संकलन (JIT) और स्वचालित वेक्टरीकरण (AV) का लाभ उठाता है
• अंत-से-अंत वेक्टरीकृत और अवकलनीय कम्प्यूटेशन को लागू करता है
• हार्डवेयर त्वरण (GPU/TPU) का समर्थन करता है

2. शून्य पैडिंग रणनीति

• अधिकतम आकार के डेटा संरचना को पूर्व-आवंटित करके
• शून्य पैडिंग का उपयोग करके स्थिर आकार बनाए रखता है
• एजेंट समुच्चय संचालन में JAX अनुकूलन विशेषता को बनाए रखता है

3. निरंतर गैर-एपिसोडिक सिमुलेशन

• वातावरण और एजेंट स्थिति को रीसेट नहीं करता है
• जनसंख्या आकार में उतार-चढ़ाव का समर्थन करता है
• खुली-अंत अनुकूलन व्यवहार के उद्भव को बढ़ावा देता है

प्रायोगिक सेटअप

प्रायोगिक कॉन्फ़िगरेशन

• एजेंट संख्या: 1000 एजेंट
• तंत्रिका नेटवर्क आकार: प्रत्येक एजेंट के लिए 50 न्यूरॉन का दर-आधारित तंत्रिका जनसंख्या मॉडल
• संसाधन संख्या: 300 संसाधन पैच
• सिमुलेशन चरण: 10 लाख चरण
• कम्प्यूटिंग प्लेटफॉर्म: क्लस्टर कंप्यूटर

गतिविधि मॉडल

संसाधन गतिविधि

संसाधन मूल्य लोटका-वोल्टेरा गतिविधि का पालन करता है:

ṡn = ϵsn - αs²n - Σ w(xn, xm)

जहाँ:

• ϵ और α क्रमशः संसाधन की वृद्धि और क्षय दर हैं
• w(xn, xm) nवें संसाधन स्थिति xn और mवें एजेंट स्थिति xm के बीच दूरी के व्युत्क्रमानुपाती फलन को दर्शाता है

एजेंट गति मॉडल

एजेंट स्थिति और वेग दोहरे समाकलक मॉडल का उपयोग करते हैं:

q̇m = [0 1; 0 0]qm + [0; 1]um

जहाँ:

• qm = xm, ẋmᵀ एजेंट स्थिति सदिश है
• um ∈ ℝ त्वरण इनपुट है
• त्वरण 50 न्यूरॉन के पुनरावर्ती तंत्रिका नेटवर्क से रैखिक रूप से पढ़े गए औसत मान द्वारा निर्धारित किया जाता है

प्रायोगिक परिणाम

मुख्य परिणाम

• कम्प्यूटेशनल दक्षता: 1000 एजेंट, 300 संसाधन, 10 लाख चरणों का सिमुलेशन 40 मिनट में पूरा होता है
• स्केलेबिलिटी सत्यापन: 600 एजेंटों की 600 संसाधनों में भोजन खोज व्यवहार का सफल प्रदर्शन
• प्रणाली स्थिरता: सिमुलेशन के दौरान एजेंटों और संसाधनों का स्थानिक वितरण उचित रहता है

कार्यक्षमता प्रदर्शन

प्रायोगिक परिणाम दर्शाते हैं कि Foragax निम्नलिखित कर सकता है:

1. बड़े पैमाने पर बहु-एजेंट सिमुलेशन को कुशलतापूर्वक संभालना
2. वास्तविक समय कार्यक्षमता आवश्यकताओं को बनाए रखना
3. जैविक रूप से उचित भोजन खोज व्यवहार पैटर्न उत्पन्न करना

दृश्य परिणाम

पेपर 600 एजेंटों (नीले बिंदु) की 600 संसाधनों (लाल बिंदु) में बिखरी हुई भोजन खोज का दृश्य प्रदान करता है, तीर एजेंट दिशा को दर्शाते हैं, जो प्रणाली की स्थानिक संगठन विशेषता को प्रदर्शित करता है।

संबंधित कार्य

एजेंट मॉडलिंग फ्रेमवर्क

• Agents.jl: उच्च-कार्यक्षमता, सुविधा-समृद्ध एजेंट मॉडलिंग सॉफ्टवेयर
• Mesa: Python में एजेंट मॉडलिंग फ्रेमवर्क
• मौजूदा फ्रेमवर्क बड़े पैमाने पर सिमुलेशन में कार्यक्षमता बाधा का सामना करते हैं

भोजन खोज सिद्धांत अनुसंधान

• सरल बैक्टीरिया से जटिल प्राइमेट तक भोजन खोज व्यवहार अनुसंधान
• इष्टतम भोजन खोज सिद्धांत का विकास
• आंतरिक ऊर्जा भंडार का पुरस्कार प्रतिक्रियाशीलता पर प्रभाव अनुसंधान

बहु-एजेंट प्रणाली अनुप्रयोग

• रोग प्रसार मॉडलिंग
• झुंड व्यवहार सिमुलेशन
• शेड्यूलिंग अनुकूलन समस्याएँ

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. Foragax ने बड़े पैमाने पर बहु-एजेंट भोजन खोज व्यवहार के कुशल सिमुलेशन को सफलतापूर्वक लागू किया है
2. JAX बैकएंड ने कम्प्यूटेशनल कार्यक्षमता और स्केलेबिलिटी में महत्वपूर्ण सुधार किया है
3. फ्रेमवर्क विभिन्न भोजन खोज परिदृश्यों को मॉडल करने के लिए पर्याप्त लचीलापन प्रदान करता है
4. निरंतर गैर-एपिसोडिक सिमुलेशन दिलचस्प उद्भवशील व्यवहार को प्रकट कर सकता है

सीमाएँ

1. पूर्व-आवंटन सीमा: डेटा संरचना के अधिकतम आकार को पहले से जानना आवश्यक है
2. मेमोरी खपत: शून्य पैडिंग रणनीति मेमोरी उपयोग दक्षता को कम कर सकती है
3. एल्गोरिदम सीमा: वर्तमान में मुख्य रूप से तंत्रिका विकास एल्गोरिदम का समर्थन करता है, सुदृढ़ शिक्षा समर्थन में सुधार की आवश्यकता है
4. सत्यापन अपर्याप्त: वास्तविक जैविक भोजन खोज व्यवहार के साथ मात्रात्मक तुलना की कमी

भविष्य की दिशाएँ

1. ग्रेडिएंट-आधारित सुदृढ़ शिक्षण एल्गोरिदम तक विस्तार
2. मेमोरी उपयोग दक्षता में सुधार
3. अधिक जैविक यथार्थवाद सत्यापन जोड़ना
4. अधिक समृद्ध विश्लेषण उपकरण विकसित करना

गहन मूल्यांकन

शक्तियाँ

1. तकनीकी नवाचार मजबूत: JAX की उच्च-कार्यक्षमता कम्प्यूटिंग क्षमता को बहु-एजेंट मॉडलिंग क्षेत्र में लाया गया है
2. व्यावहारिक मूल्य उच्च: बड़े पैमाने पर एजेंट सिमुलेशन की महत्वपूर्ण बाधा को हल किया गया है
3. डिजाइन उचित: पाँच-स्तरीय अमूर्तता आर्किटेक्चर स्पष्ट है, विस्तार और उपयोग में आसान है
4. कार्यक्षमता उत्कृष्ट: कार्यक्षमता को बनाए रखते हुए महत्वपूर्ण कार्यक्षमता सुधार प्राप्त किए गए हैं

कमियाँ

1. सीमित प्रायोगिक सत्यापन: मुख्य रूप से तकनीकी व्यवहार्यता प्रदर्शित करता है, गहन व्यवहार विश्लेषण की कमी है
2. अपर्याप्त जैविक सत्यापन: वास्तविक भोजन खोज व्यवहार के साथ मात्रात्मक तुलना नहीं की गई है
3. सीमित सैद्धांतिक योगदान: मुख्य रूप से इंजीनियरिंग कार्यान्वयन है, सैद्धांतिक नवाचार अपेक्षाकृत कम है
4. अपर्याप्त दस्तावेज: कुछ तकनीकी विवरण पर्याप्त रूप से वर्णित नहीं हैं

प्रभाव

1. क्षेत्र योगदान: बहु-एजेंट प्रणाली अनुसंधान के लिए शक्तिशाली कम्प्यूटेशनल उपकरण प्रदान किया गया है
2. व्यावहारिक मूल्य: बड़े पैमाने पर, अधिक जटिल पारिस्थितिकी और व्यवहार अनुसंधान का समर्थन कर सकता है
3. पुनरुत्पादनीयता: खुला स्रोत कोड अनुसंधान की पुनरुत्पादनीयता और विस्तारशीलता को बढ़ाता है
4. अंतःविषय अनुप्रयोग: यद्यपि भोजन खोज पर केंद्रित है, अन्य बहु-एजेंट परिदृश्यों तक विस्तारित किया जा सकता है

लागू परिदृश्य

1. पारिस्थितिकी अनुसंधान: बड़े पैमाने पर पशु भोजन खोज व्यवहार मॉडलिंग
2. विकासवादी जीव विज्ञान: जनसंख्या विकास गतिविधि अनुसंधान
3. कृत्रिम बुद्धिमत्ता: बहु-एजेंट सुदृढ़ शिक्षण एल्गोरिदम परीक्षण
4. जटिल प्रणालियाँ: उद्भवशील व्यवहार और स्व-संगठन घटना अनुसंधान
5. सामाजिक विज्ञान: बड़े पैमाने पर सामाजिक गतिविधि मॉडलिंग

संदर्भ

पेपर कई महत्वपूर्ण क्षेत्रों के प्रमुख साहित्य का हवाला देता है, जिसमें शामिल हैं:

• JAX लाइब्रेरी की तकनीकी दस्तावेज
• भोजन खोज सिद्धांत की शास्त्रीय रचनाएँ (Stephens & Krebs, 1986)
• मौजूदा एजेंट मॉडलिंग फ्रेमवर्क (Agents.jl, Mesa)
• तंत्रिका विकास और सुदृढ़ शिक्षा की नवीनतम प्रगति

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता की प्रणाली पेपर है जो आधुनिक उच्च-कार्यक्षमता कम्प्यूटिंग तकनीक को बहु-एजेंट मॉडलिंग के साथ जोड़कर इस क्षेत्र की एक महत्वपूर्ण तकनीकी बाधा को हल करता है। यद्यपि सैद्धांतिक नवाचार के संदर्भ में अपेक्षाकृत सीमित है, इसका इंजीनियरिंग मूल्य और व्यावहारिकता इसे बहु-एजेंट प्रणाली अनुसंधान का एक महत्वपूर्ण योगदान बनाती है।