नींव अनुमान मॉडल की ओर जो ODEs को संदर्भ में सीखते हैं

बुनियादी जानकारी

• पेपर ID: 2510.12650
• शीर्षक: Towards Foundation Inference Models that Learn ODEs In-Context
• लेखक: Maximilian Mauel, Manuel Hinz, Patrick Seifner, David Berghaus, Ramsés J. Sánchez
• वर्गीकरण: cs.LG (मशीन लर्निंग)
• प्रकाशन समय/सम्मेलन: AI in Science (AIS), 2025, कोपेनहेगन, डेनमार्क
• पेपर लिंक: https://arxiv.org/abs/2510.12650

सारांश

साधारण अवकल समीकरणें (ODEs) निरंतर समय में नियतात्मक विकास वाली गतिशील प्रणालियों का वर्णन करती हैं। डेटा-संचालित दृष्टिकोण से ODE प्रणालियों का सटीक मॉडलिंग प्राकृतिक विज्ञान में एक मूल समस्या है, लेकिन विरल या शोरयुक्त डेटा की स्थिति में यह अभी भी चुनौतीपूर्ण है। यह पेपर FIM-ODE (Foundation Inference Model for ODEs) प्रस्तुत करता है, जो एक पूर्व-प्रशिक्षित तंत्रिका मॉडल है जिसे विरल और शोरयुक्त अवलोकनों से शून्य-शॉट (अर्थात् संदर्भ में) ODE अनुमान के लिए डिज़ाइन किया गया है। यह मॉडल संश्लेषित डेटा पर प्रशिक्षित है, जो मजबूत ODE अनुमान के लिए लचीले तंत्रिका ऑपरेटरों का उपयोग करता है, यहां तक कि क्षतिग्रस्त डेटा पर भी काम करता है। प्रायोगिक सत्यापन से पता चलता है कि FIM-ODE सटीक अनुमान प्रदान करता है, जिसका प्रदर्शन तंत्रिका नेटवर्क के अत्याधुनिक तरीकों के बराबर है, और वेक्टर फील्ड अनुमान की संरचना की गुणात्मक तुलना करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान द्वारा समाधान की जाने वाली मूल समस्या ODE प्रणाली पहचान समस्या है: केवल समय श्रृंखला अवलोकनों से सबसे अच्छी तरह से प्रणाली का वर्णन करने वाली ODE (अर्थात् वेक्टर फील्ड) का अनुमान लगाना। यह प्राकृतिक विज्ञान में व्यापक अनुप्रयोग रखता है, न्यूटन के गति के नियमों से लेकर जैविक प्रणालियों में जनसंख्या गतिशीलता तक, और मौसम विज्ञान में वायुमंडलीय संवहन तक।

समस्या की महत्ता

1. व्यापक प्रयोज्यता: ODEs भौतिकी, जीव विज्ञान, मौसम विज्ञान और अन्य कई क्षेत्रों में बुनियादी मॉडलिंग उपकरण हैं
2. भविष्यसूचक क्षमता: सटीक ODE मॉडल अंतर्निहित घटनाओं (जैसे निश्चित बिंदु या सीमा चक्र) को चिह्नित कर सकते हैं और भविष्य की स्थिति की भविष्यवाणी कर सकते हैं
3. वैज्ञानिक समझ: ODE मॉडल प्रणाली के आंतरिक तंत्र और गतिशील विशेषताओं को समझने में सहायता करते हैं

मौजूदा विधियों की सीमाएं

1. पारंपरिक विधियां: गैर-पैरामीट्रिक विधियां या प्रतीकात्मक प्रतिगमन-आधारित विधियां विरल, शोरयुक्त डेटा को संभालने में खराब प्रदर्शन करती हैं
2. ODEFormer सीमाएं: हालांकि यह तंत्रिका प्रतीकात्मक प्रतिगमन की नवीनतम विधि है, लेकिन यह केवल एकल प्रक्षेपवक्र को संभाल सकता है, और वैश्विक वेक्टर फील्ड भविष्यवाणी पर अनुचित रूप से जटिल पैटर्न उत्पन्न कर सकता है

अनुसंधान प्रेरणा

लेखकों ने Foundation Inference Models (FIMs) ढांचे के आधार पर, जो निरंतर समय मार्कोव श्रृंखलाओं, स्टोकेस्टिक अवकल समीकरणों और बिंदु प्रक्रिया अनुमान में अच्छे परिणाम दिखा चुका है, ODE अनुमान के लिए विशेष रूप से FIM-ODE मॉडल प्रस्तावित किया।

मुख्य योगदान

1. FIM-ODE मॉडल प्रस्तावना: Foundation Inference Models ढांचे पर आधारित पहला ODE अनुमान पूर्व-प्रशिक्षित मॉडल
2. तंत्रिका ऑपरेटर आर्किटेक्चर: लचीले वेक्टर फील्ड अनुमान के लिए DeepONet तंत्रिका ऑपरेटर का उपयोग
3. बहु-प्रक्षेपवक्र प्रसंस्करण क्षमता: एक ही प्रणाली के कई प्रक्षेपवक्रों को एक साथ संभालने की क्षमता, अनुमान सटीकता में सुधार
4. उत्कृष्ट प्रदर्शन: संश्लेषित डेटासेट पर ODEFormer को पार करता है, R² सटीकता क्रमशः 0.90 बनाम 0.65 (पुनर्निर्माण कार्य) और 0.26 बनाम 0.19 (सामान्यीकरण कार्य)
5. अधिक तर्कसंगत वैश्विक भविष्यवाणी: ODEFormer की तुलना में, अवलोकन बिंदुओं से दूर क्षेत्रों में सरल, अधिक तर्कसंगत वेक्टर फील्ड भविष्यवाणी प्रदान करता है

विधि विवरण

कार्य परिभाषा

समय श्रृंखला अवलोकनों का समूह $\mathcal{D} = \{y_k\}_{k=1}^K$ दिया गया है, जहां प्रत्येक अनुक्रम $y_k = [(t_{k1}, y_{k1}), \ldots, (t_{kL}, y_{kL})]$ है, लक्ष्य वेक्टर फील्ड $\hat{f}$ का अनुमान लगाना है, जो इन अवलोकनों को उत्पन्न करने वाली ODE प्रणाली का वर्णन कर सके:

$\frac{dx(t)}{dt} = f(t, x(t))$

मॉडल आर्किटेक्चर

1. संश्लेषित डेटा जनरेशन

• बहुभिन्नरूपी बहुपद वितरण से वेक्टर फील्ड के प्रत्येक घटक को नमूना लें (अधिकतम 3 डिग्री)
• अधिकतम 3-आयामी ODE प्रणालियों का समर्थन करता है
• अनियमित ग्रिड पर प्रणाली का अनुकरण करें और प्रशिक्षण डेटा उत्पन्न करने के लिए शोर जोड़ें

2. तंत्रिका ऑपरेटर आर्किटेक्चर (DeepONet)

FIM-ODE DeepONet तंत्रिका ऑपरेटर आर्किटेक्चर को अपनाता है, जिसमें तीन मुख्य घटक हैं:

शाखा नेटवर्क (Branch Network):

• Transformer एनकोडर का उपयोग करता है
• अवलोकन डेटा $\mathcal{D}$ को $K(L-1)$ $E$-आयामी प्रतिनिधित्व $\mathcal{D} \in \mathbb{R}^{E \times K(L-1)}$ में एनकोड करता है
• लगभग सभी अवलोकनों का स्वतंत्र एनकोडिंग बनाए रखता है

ट्रंक नेटवर्क (Trunk Network):

• रैखिक मानचित्रण, स्थिति $x \in \mathbb{R}^D$ को $h(x) \in \mathbb{R}^E$ में एनकोड करता है

संयोजन नेटवर्क (Combination Network):

• अवशिष्ट ध्यान परत अनुक्रम, Transformer डिकोडर के समान
• $\mathcal{D}$ को कुंजी और मान के रूप में उपयोग करता है, $h(x)$ को क्वेरी के रूप में
• वेक्टर फील्ड अनुमान $\hat{f}(x)$ प्राप्त करने के लिए अंतिम रैखिक प्रक्षेपण

3. प्रशिक्षण उद्देश्य

पर्यवेक्षित शिक्षण उद्देश्य को अपनाता है: $L(x, \mathcal{D}, f) = \|\hat{f}(x) - f(x)\|^2$

अवलोकन मानों के पास नमूना किए गए बिंदुओं $x$ पर भविष्यसूचक और वास्तविक वेक्टर फील्ड से मेल खाता है।

तकनीकी नवाचार बिंदु

1. संदर्भ सीखने की क्षमता: आगे के प्रशिक्षण या सूक्ष्म-ट्यूनिंग के बिना नई ODE प्रणालियों को संभालने में सक्षम
2. बहु-प्रक्षेपवक्र संलयन: कई प्रक्षेपवक्रों को एक साथ संभाल सकता है, सभी उपलब्ध जानकारी को प्रभावी ढंग से निकालता और संयोजित करता है
3. लचीला कार्य सन्निकटन: प्रतीकात्मक प्रतिगमन की तुलना में तंत्रिका ऑपरेटर विरल, शोरयुक्त डेटा को संभालने में अधिक लचीले हैं
4. स्थानीय-वैश्विक संतुलन: अवलोकन बिंदुओं के पास जटिल भविष्यवाणी प्रदान करता है, अवलोकन से दूर क्षेत्रों में सरल तर्कसंगत भविष्यवाणी प्रदान करता है

प्रायोगिक सेटअप

डेटासेट

• प्रशिक्षण डेटा: 600,000 संश्लेषित ODE समीकरण, लगभग 20 मिलियन पैरामीटर वाले मॉडल
• परीक्षण डेटा: 4,000 बहुपद वेक्टर फील्ड ODEs (अधिकतम 3 डिग्री, अधिकतम 3-आयामी)
• प्रक्षेपवक्र सेटअप: प्रत्येक ODE 9 प्रक्षेपवक्र उत्पन्न करता है, प्रारंभिक स्थिति $N(0,1)$ से नमूना लिया जाता है
• अवलोकन सेटअप: प्रत्येक प्रक्षेपवक्र 200 अवलोकन बिंदु, नियमित ग्रिड, समय अंतराल $\Delta\tau = 0.05$

मूल्यांकन मेट्रिक्स

R² सटीकता का उपयोग करता है: R² स्कोर 0.9 से अधिक के साथ प्रतिशत

तुलना विधियां

ODEFormer: पूर्व-प्रशिक्षित तंत्रिका प्रतीकात्मक प्रतिगमन विधि, 50 मिलियन समीकरणों पर प्रशिक्षित, 86 मिलियन पैरामीटर के साथ

प्रायोगिक कार्य

1. पुनर्निर्माण कार्य: संदर्भ प्रक्षेपवक्रों पर पुनर्निर्माण प्रदर्शन को मापता है
2. सामान्यीकरण कार्य: आरक्षित प्रक्षेपवक्रों पर पुनर्निर्माण प्रदर्शन को मापता है

प्रायोगिक परिणाम

मुख्य परिणाम

मुख्य निष्कर्ष:

• FIM-ODE दोनों कार्यों पर ODEFormer से काफी बेहतर है
• सामान्यीकरण कार्य पुनर्निर्माण कार्य की तुलना में अधिक चुनौतीपूर्ण है, जो सहज है
• हालांकि ODEFormer व्यापक वितरण पर प्रशिक्षित है और अधिक पैरामीटर हैं, FIM-ODE अभी भी बेहतर प्रदर्शन करता है

बहु-प्रक्षेपवक्र संदर्भ विश्लेषण

चित्र 1 विभिन्न संख्या में संदर्भ प्रक्षेपवक्रों के तहत FIM-ODE के वेक्टर फील्ड अनुमान को दर्शाता है:

• एकल प्रक्षेपवक्र: अवलोकन से दूर स्थानों पर अनुमान अनुचित है
• बहु-प्रक्षेपवक्र: प्रक्षेपवक्रों की संख्या बढ़ने के साथ, FIM-ODE इन अनुमानों को सुधार सकता है, प्रभावी रूप से बड़े स्थान को कवर करता है

स्थानीय और वैश्विक भविष्यवाणी तुलना

चित्र 2 FIM-ODE और ODEFormer के वेक्टर फील्ड अनुमान की तुलना करता है:

• FIM-ODE:
  • स्थानीय: अवलोकन बिंदुओं पर प्रक्षेपवक्र को पुनर्निर्माण करने के लिए जटिल पैटर्न की भविष्यवाणी करता है
  • वैश्विक: अवलोकन बिंदुओं से दूर होने पर सरल भविष्यवाणी करता है
• ODEFormer: अधिक जटिल वेक्टर फील्ड की भविष्यवाणी करता है, जिससे वैश्विक पैटर्न भविष्यवाणी जटिल हो जाती है और एकल सरल प्रक्षेपवक्र का समर्थन नहीं होता है

संरचना अंतर विश्लेषण

दोनों मॉडलों के बीच अंतर विभिन्न वेक्टर फील्ड पैरामीटराइजेशन से उत्पन्न होता है:

• ODEFormer: (तर्कसंगत) बहुपद प्रतीकात्मक समीकरणों तक सीमित, विरल या शोरयुक्त अवलोकनों के तहत सरल अभिव्यक्तियों के लिए डिफ़ॉल्ट नहीं हो सकता है
• FIM-ODE: तंत्रिका ऑपरेटर इन स्थितियों को अधिक लचीले ढंग से संभाल सकता है

संबंधित कार्य

पारंपरिक ODE अनुमान विधियां

1. गैर-पैरामीट्रिक विधियां: जैसे गाऊसी प्रक्रिया आदि
2. प्रतीकात्मक प्रतिगमन विधियां: आनुवंशिक एल्गोरिदम या अन्य अनुकूलन विधियों पर आधारित पारंपरिक प्रतीकात्मक प्रतिगमन

Foundation Inference Models ढांचा

• FIM-CTMC: निरंतर समय मार्कोव श्रृंखला अनुमान
• FIM-SDE: स्टोकेस्टिक अवकल समीकरण अनुमान
• FIM-PP: बिंदु प्रक्रिया अनुमान
• इस पेपर का FIM-ODE ODE अनुमान पर इस ढांचे का विस्तार है

तंत्रिका प्रतीकात्मक प्रतिगमन

ODEFormer: समय श्रृंखला अवलोकनों को प्रतीकात्मक समीकरणों में परिवर्तित करने की पूर्व-प्रशिक्षित तंत्रिका विधि

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. FIM-ODE ने Foundation Inference Models ढांचे को ODE अनुमान समस्या तक सफलतापूर्वक विस्तारित किया है
2. संश्लेषित डेटासेट पर, FIM-ODE मौजूदा अत्याधुनिक विधि ODEFormer से काफी बेहतर है
3. तंत्रिका ऑपरेटर की लचीलापन FIM-ODE को अधिक तर्कसंगत वैश्विक वेक्टर फील्ड भविष्यवाणी प्रदान करने में सक्षम बनाती है
4. बहु-प्रक्षेपवक्र प्रसंस्करण क्षमता ODEFormer की तुलना में FIM-ODE का महत्वपूर्ण लाभ है

सीमाएं

1. डेटा वितरण प्रतिबंध: वर्तमान में केवल बहुपद वेक्टर फील्ड पर सत्यापित, वास्तविक प्रणालियां अधिक जटिल हो सकती हैं
2. आयाम प्रतिबंध: वर्तमान प्रयोग केवल 3-आयामी प्रणालियों तक सीमित हैं
3. मूल्यांकन सीमा: व्यापक ODE प्रणालियों पर सत्यापन की आवश्यकता है
4. कम्प्यूटेशनल दक्षता: पेपर कम्प्यूटेशनल जटिलता और अनुमान गति पर विस्तार से चर्चा नहीं करता है

भविष्य की दिशाएं

1. ODEBench मूल्यांकन: 63 हाथ से चुनी गई ODEs वाले बेंचमार्क डेटासेट पर विधियों की तुलना करना
2. अव्यक्त गतिशीलता खोज: पूर्व-प्रशिक्षित FIM-ODE का उपयोग करके अव्यक्त गतिशीलता खोज की खोज करना
3. अनुप्रयोग विस्तार:
   • तंत्रिका जनसंख्या गतिशीलता
   • रासायनिक प्रतिक्रिया गतिशीलता
   • प्राकृतिक भाषा सामग्री विकास

गहन मूल्यांकन

शक्तियां

1. विधि नवाचार: FIM ढांचे को ODE अनुमान पर पहली बार लागू करना, आर्किटेक्चर डिजाइन तर्कसंगत है
2. तकनीकी लाभ:
   • बहु-प्रक्षेपवक्र प्रसंस्करण क्षमता
   • लचीले तंत्रिका ऑपरेटर आर्किटेक्चर
   • संदर्भ सीखने की क्षमता
3. प्रायोगिक पर्याप्तता:
   • मजबूत आधारभूत के साथ प्रत्यक्ष तुलना
   • बहु-कोण विश्लेषण (पुनर्निर्माण बनाम सामान्यीकरण, स्थानीय बनाम वैश्विक)
   • दृश्य विश्लेषण समझ को बढ़ाता है
4. परिणाम विश्वसनीयता: सभी मेट्रिक्स पर तुलना विधि से काफी बेहतर

कमियां

1. प्रायोगिक सीमा:
   • केवल संश्लेषित बहुपद डेटा पर सत्यापित
   • वास्तविक दुनिया के डेटा का सत्यापन नहीं
   • आयाम और जटिलता सीमित है
2. अपर्याप्त तुलना:
   • केवल ODEFormer के साथ तुलना, अन्य पारंपरिक विधियों की कमी
   • कम्प्यूटेशनल दक्षता की तुलना नहीं की गई
3. सैद्धांतिक विश्लेषण की कमी:
   • अभिसरण या सामान्यीकरण क्षमता के लिए सैद्धांतिक गारंटी की कमी
   • विधि के सैद्धांतिक लाभों का विश्लेषण नहीं
4. तकनीकी विवरण अपर्याप्त:
   • प्रशिक्षण विवरण विवरण संक्षिप्त है
   • हाइपरपैरामीटर चयन की व्याख्या की कमी है

प्रभाव

1. शैक्षणिक योगदान:
   • FIM ढांचे के अनुप्रयोग सीमा का विस्तार
   • ODE अनुमान के लिए नई तंत्रिका नेटवर्क विधि प्रदान करता है
2. व्यावहारिक मूल्य:
   • शून्य-शॉट अनुमान क्षमता में वास्तविक अनुप्रयोग क्षमता है
   • बहु-प्रक्षेपवक्र प्रसंस्करण वास्तविक परिदृश्यों में अधिक व्यावहारिक है
3. पुनरुत्पादनीयता:
   • मौजूदा FIM-SDE आर्किटेक्चर पर आधारित, तकनीकी मार्ग स्पष्ट है
   • लेकिन विस्तृत कार्यान्वयन विवरण की कमी है

लागू परिदृश्य

1. वैज्ञानिक कम्प्यूटिंग: भौतिकी, जीव विज्ञान, रसायन विज्ञान आदि क्षेत्रों में गतिशील प्रणाली मॉडलिंग
2. इंजीनियरिंग अनुप्रयोग: नियंत्रण प्रणाली, सिग्नल प्रसंस्करण आदि जहां प्रणाली पहचान की आवश्यकता है
3. विरल डेटा परिदृश्य: विशेष रूप से अवलोकन डेटा सीमित या शोरयुक्त होने की स्थिति में उपयुक्त
4. बहु-प्रक्षेपवक्र डेटा: जब एक ही प्रणाली के कई अवलोकन प्रक्षेपवक्र हों तो लाभ स्पष्ट है

संदर्भ

यह पेपर मुख्य रूप से निम्नलिखित महत्वपूर्ण कार्यों का संदर्भ देता है:

• d'Ascoli et al. (2024): ODEFormer का मूल पेपर
• Seifner et al. (2025a): FIM-SDE ढांचा
• Lu et al. (2021): DeepONet तंत्रिका ऑपरेटर
• Berghaus et al. (2024): FIM ढांचे का मूल कार्य

समग्र मूल्यांकन: यह तकनीकी रूप से ठोस पेपर है जो Foundation Inference Models ढांचे को ODE अनुमान समस्या तक सफलतापूर्वक विस्तारित करता है। हालांकि प्रायोगिक सीमा सीमित है, लेकिन निर्धारित सेटिंग में स्पष्ट लाभ प्रदर्शित करता है। यह कार्य वैज्ञानिक कम्प्यूटिंग में प्रणाली पहचान समस्या के लिए मूल्यवान नई विधि प्रदान करता है, और इसमें अच्छी विकास संभावनाएं हैं।