2025-11-10T02:56:05.378036

Implementing SIAv2 Over Rubin Observatory's Data Butler

Jenness, Voutsinas, Dubois-Felsmann et al.

The IVOA Simple Image Access version 2 protocol defines an easy way to provide community access to a collection of data. At the Vera C. Rubin Observatory we currently enable ObsTAP access to our data holdings via an ObsCore export or view of our Data Butler repositories. This approach comes with some deployment constraints, such as requiring pgsphere and compatibility with our CADC TAP implementation, so recently we decided to see whether we could instead provide an SIAv2 service that talks directly to our Data Butler. Here we describe our motivation, implementation strategies, and current deployment status, as well as discussing some metadata mismatches between the Butler data models and SIAv2.

academic

Rubin Observatory के Data Butler पर SIAv2 को लागू करना

मूल जानकारी

पेपर ID: 2501.00544
शीर्षक: Rubin Observatory के Data Butler पर SIAv2 को लागू करना
लेखक: Tim Jenness, Stelios Voutsinas, Gregory P. Dubois-Felsmann, Andrei Salnikov
वर्गीकरण: astro-ph.IM (खगोल भौतिकी - उपकरण और विधियाँ)
प्रकाशन तिथि: 31 दिसंबर 2024
पेपर लिंक: https://arxiv.org/abs/2501.00544

सारांश

IVOA सरल छवि अभिगम प्रोटोकॉल संस्करण 2 (SIAv2) समुदाय को डेटा संग्रह तक पहुंचने का एक सरल तरीका प्रदान करता है। Vera C. Rubin Observatory में, हम वर्तमान में Data Butler भंडार के ObsCore निर्यात या दृश्य के माध्यम से ObsTAP डेटा पहुंच को लागू करते हैं। हालांकि, इस दृष्टिकोण में कुछ तैनाती बाधाएं हैं, जैसे pgsphere समर्थन की आवश्यकता और CADC TAP कार्यान्वयन के साथ संगतता। इसलिए, हमने यह पता लगाने का निर्णय लिया कि क्या हम Data Butler के साथ सीधे संचार करने वाली SIAv2 सेवा प्रदान कर सकते हैं। यह पेपर हमारी प्रेरणा, कार्यान्वयन रणनीति, वर्तमान तैनाती स्थिति, और Butler डेटा मॉडल तथा SIAv2 के बीच कुछ मेटाडेटा असंगतता समस्याओं का वर्णन करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या की पृष्ठभूमि

Rubin Observatory की Data Butler प्रणाली मेटाडेटा रजिस्ट्री और फ़ाइल डेटा भंडार से बनी है, जिसमें रजिस्ट्री में ObsCore रिकॉर्ड बनाने के लिए पर्याप्त जानकारी है। पहले ObsCore तालिका प्रदान करने के दो तरीके थे:

रिकॉर्ड को CSV या Parquet फ़ाइल के रूप में निर्यात करना और स्थिर डेटाबेस में लोड करना
रजिस्ट्री बैकएंड हुक का उपयोग करके ObsCore तालिका में वास्तविक समय सिंक्रोनाइजेशन प्रदान करना

मौजूदा विधियों की सीमाएं

स्थिर निर्यात विधि: औपचारिक डेटा प्रकाशन के लिए उपयुक्त और उच्च-प्रदर्शन Qserv डेटाबेस में एकीकृत हो सकता है, लेकिन प्रत्येक रात के तेजी से उत्पादों जैसे गतिशील डेटा सेट के लिए उपयुक्त नहीं है
वास्तविक समय ObsCore विधि: तैनाती वातावरण को pgsphere समर्थन की आवश्यकता है, और कॉन्फ़िगरेशन परिवर्तन के समय पूरी तालिका को पुनः बनाना पड़ता है

अनुसंधान प्रेरणा

ये सीमाएं अनुसंधान दल को Butler प्रणाली पर सीधे आधारित एक सरल लेकिन मानकीकृत क्वेरी परत खोजने के लिए प्रेरित करती हैं। IVOA की SIAv2 प्रोटोकॉल स्पष्ट पसंद बन गई क्योंकि:

Butler इंटरफेस के साथ सीधा संचार अधिक लचीलापन प्रदान करता है
कॉन्फ़िगरेशन परिवर्तन के लिए केवल सरल सेवा पुनरारंभ की आवश्यकता है
किसी भी Butler भंडार के साथ तुरंत काम कर सकता है

मुख्य योगदान

SIAv2 से Butler तक सीधा इंटरफेस डिजाइन और कार्यान्वयन: पारंपरिक ObsCore तालिका की मध्यवर्ती परत को दरकिनार करना
स्तरीय आर्किटेक्चर विकसित करना: सेवा परत को SIAv2 क्वेरी प्रसंस्करण से अलग करना, परीक्षणीयता में सुधार
dax_obscore लाइब्रेरी बनाना: कमांड-लाइन इंटरफेस प्रदान करना, उपयोगकर्ताओं को सीखने और प्रयोग के लिए सुविधा देना
उत्पादन-तैयार सेवा तैनात करना: Rubin विज्ञान मंच पर तैनात और डिबग डेटा के लिए उपलब्ध
डेटा मॉडल असंगतता समस्याओं की पहचान और विश्लेषण करना: भविष्य के सुधार के लिए स्पष्ट रोडमैप प्रदान करना

विधि विवरण

कार्य परिभाषा

IVOA SIAv2 प्रोटोकॉल क्वेरी को Rubin Data Butler क्वेरी प्रणाली में सीधे मैप करना, मानकीकृत खगोलीय डेटा पहुंच इंटरफेस को लागू करना, साथ ही पारंपरिक ObsCore तालिका विधि की तैनाती बाधाओं से बचना।

सिस्टम आर्किटेक्चर

HTTP GET → Nginx → SIAv2 Service → dax_obscore → Butler Repo
sia/dp02/query?POS=..     ↓              ↓            ↓
                    Query Processing  Butler Query  Results
                         ↓              ↓            ↓
                    ObsCore VOTable ← Results ← DatasetRefs

मुख्य घटक डिजाइन

SIAv2 सेवा परत
- Python और FastAPI का उपयोग करके विकसित
- Rubin मानक आंतरिक विकास मंच Phalanx पर आधारित
- मानक प्रमाणीकरण परत और तैनाती क्षमता प्रदान करता है
- कच्चे SIAv2 पैरामीटर को संभालता है और परिणाम को एनकैप्सुलेट करता है
dax_obscore लाइब्रेरी
- SIAv2 पैरामीटर को पार्स करता है
- पैरामीटर को Butler क्वेरी में परिवर्तित करता है
- क्वेरी को निष्पादित करता है और मानकीकृत परिणाम लौटाता है
- Astropy VOTable प्रारूप के अनुरूप आउटपुट उत्पन्न करता है
- तालिका संरचना को परिभाषित करने के लिए Felis डेटा मॉडल का उपयोग करके स्थिरता सुनिश्चित करता है
Butler इंटरफेस संगतता
- मूल "प्रत्यक्ष" Butler और नई क्लाइंट/सर्वर दूरस्थ Butler को पारदर्शी रूप से समर्थन करता है
- Butler के मूल क्षेत्र और समय क्वेरी समर्थन का लाभ उठाता है

तकनीकी नवाचार बिंदु

स्तरीय डिजाइन के लाभ
- सेवा परत को क्वेरी प्रसंस्करण से अलग करना, परीक्षणीयता में सुधार
- dax_obscore को स्वतंत्र रूप से स्थापित और उपयोग किया जा सकता है
- समानांतर विकास और रखरखाव का समर्थन करता है
सीधी Butler पहुंच
- ObsCore तालिका की मध्यवर्ती परत को दरकिनार करता है
- तैनाती निर्भरता को कम करता है (pgsphere की आवश्यकता नहीं)
- कॉन्फ़िगरेशन परिवर्तन प्रतिक्रिया तेजी से होती है
मानकीकृत आउटपुट
- परिणाम स्थिरता सुनिश्चित करने के लिए Felis डेटा मॉडल का उपयोग करता है
- IVOA मानक के अनुरूप VOTable प्रारूप
- मानक SIAv2 पैरामीटर सेट का समर्थन करता है

प्रायोगिक सेटअप

समर्थित क्वेरी पैरामीटर

वर्तमान में dax_obscore पैकेज निम्नलिखित SIAv2 क्वेरी पैरामीटर का समर्थन करता है:

MAXREC: अधिकतम रिकॉर्ड संख्या सीमा
INSTRUMENT: उपकरण फ़िल्टरिंग
POS: स्थान/क्षेत्र क्वेरी
TIME: समय सीमा क्वेरी
BAND: तरंग दैर्ध्य बैंड फ़िल्टरिंग
EXPTIME: एक्सपोजर समय
CALIB: कैलिब्रेशन प्रकार

शीघ्र ही समर्थित पैरामीटर

ID: पहचानकर्ता क्वेरी
TARGET: लक्ष्य वस्तु
FACILITY: सुविधा नाम ("Rubin:Simonyi" और "Rubin:1.2m" का उपयोग करने की योजना)
COLLECTION: डेटा संग्रह

तैनाती वातावरण

Rubin विज्ञान मंच पर तैनात
डिबग डेटा पहुंच के लिए उपलब्ध
PyPI स्थापना के लिए कमांड-लाइन उपकरण का समर्थन करता है

प्रायोगिक परिणाम

वर्तमान तैनाती स्थिति

सेवा उपलब्धता: Rubin विज्ञान मंच पर सफलतापूर्वक तैनात और उपयोग में
कार्यक्षमता सत्यापन: मुख्य SIAv2 पैरामीटर क्वेरी कार्यक्षमता सामान्य रूप से काम करती है
संगतता: प्रत्यक्ष Butler और दूरस्थ Butler पहुंच दोनों मोड का समर्थन करता है
उपयोगकर्ता उपकरण: स्थानीय प्रयोग और सीखने के लिए कमांड-लाइन इंटरफेस प्रदान करता है

प्रदर्शन लाभ

तैनाती सरलीकरण: pgsphere निर्भरता की आवश्यकता नहीं
कॉन्फ़िगरेशन लचीलापन: परिवर्तन के लिए केवल सेवा पुनरारंभ की आवश्यकता है
तत्काल उपलब्धता: किसी भी Butler भंडार के साथ तुरंत काम कर सकता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

कार्यान्वयन व्यवहार्यता: Data Butler के ऊपर SIAv2 को लागू करना एक अपेक्षाकृत सरल प्रक्रिया है
आर्किटेक्चर लाभ: स्तरीय विकास रणनीति समानांतर विकास को लागू करती है और अतिरिक्त कमांड-लाइन उपकरण प्रदान करती है
तैनाती सफलता: सेवा सफलतापूर्वक तैनात हुई है और उत्पादन वातावरण के लिए उपलब्ध है

डेटा मॉडल असंगतता समस्याएं

1. सह-ढेर के लिए उपकरण जानकारी की कमी

समस्या: Butler रजिस्ट्री में सह-ढेर (co-adds) के साथ कोई संबंधित उपकरण जानकारी नहीं है
प्रभाव: LATISS और LSSTCam डेटा वाले भंडार में डेटा स्रोत को अलग नहीं किया जा सकता
समाधान: भविष्य में पूर्ण वंशावली ट्रैकिंग के माध्यम से मूल डेटा सेट के उपकरण को निर्धारित करना

2. सह-ढेर का एक्सपोजर समय

समस्या: सह-ढेर का माध्यिका एक्सपोजर समय एक व्युत्पन्न मात्रा है, Butler समन्वय स्थान परिभाषा के समय अज्ञात है
समाधान: भविष्य के विकास रोडमैप में व्युत्पन्न मेटाडेटा भंडारण का समर्थन करने की योजना

3. सह-ढेर की अवलोकन तिथि

समस्या: सह-ढेर व्यक्तिगत अवलोकन की तिथि जानकारी खो देता है
समाधान: भविष्य में Butler वंशावली प्रणाली कार्यान्वयन के बाद तिथि सीमा को प्राप्त किया जा सकता है

4. डेटा सेट प्रकार मानकीकरण

समस्या: Butler के डेटा सेट प्रकार (जैसे visit_image, difference_image) के लिए SIAv2 में कोई मानकीकृत क्वेरी विधि नहीं है
समाधान: DPSUBTYPE क्वेरी पैरामीटर एक्सटेंशन जोड़ने पर विचार करना, संभवतः lsst उपसर्ग का उपयोग करना

भविष्य की दिशा

व्युत्पन्न मेटाडेटा समर्थन: गणना की गई मेटाडेटा के लिए क्वेरी समर्थन को लागू करना
पूर्ण वंशावली प्रणाली: वंशावली जानकारी के माध्यम से सह-ढेर की मेटाडेटा कमी समस्या को हल करना
विस्तारित पैरामीटर समर्थन: ID, TARGET, FACILITY, COLLECTION पैरामीटर के कार्यान्वयन को पूरा करना
कस्टम एक्सटेंशन: DPSUBTYPE जैसे Rubin-विशिष्ट क्वेरी पैरामीटर को लागू करना

गहन मूल्यांकन

शक्तियां

उत्कृष्ट आर्किटेक्चर डिजाइन
- स्तरीय डिजाइन सिस्टम की रखरखाव क्षमता और परीक्षणीयता में सुधार करता है
- सीधी Butler इंटरफेस मध्यवर्ती परत की जटिलता से बचाता है
- कई Butler तैनाती मोड का समर्थन करता है
उच्च व्यावहारिक मूल्य
- वास्तविक तैनाती में विशिष्ट समस्याओं को हल करता है (pgsphere निर्भरता, कॉन्फ़िगरेशन लचीलापन)
- मानकीकृत डेटा पहुंच इंटरफेस प्रदान करता है
- कमांड-लाइन उपकरण सिस्टम की उपयोगिता बढ़ाता है
मानक संगतता
- IVOA SIAv2 मानक का कड़ाई से पालन करता है
- मानक VOTable प्रारूप आउटपुट का उपयोग करता है
- मौजूदा खगोलीय डेटा पहुंच पारिस्थितिकी तंत्र के साथ संगत है

कमियां

डेटा मॉडल सीमाएं
- कई महत्वपूर्ण मेटाडेटा असंगतता समस्याएं अभी तक हल नहीं हुई हैं
- सह-ढेर की क्वेरी क्षमता सीमित है
- Butler प्रणाली के आगे विकास की प्रतीक्षा करने की आवश्यकता है
कार्यक्षमता पूर्णता
- कुछ SIAv2 पैरामीटर अभी तक लागू नहीं हुए हैं
- कस्टम एक्सटेंशन अभी भी योजना चरण में हैं
- जटिल क्वेरी के लिए समर्थन सीमित हो सकता है
दस्तावेज़ गहराई
- प्रदर्शन बेंचमार्क डेटा की कमी
- त्रुटि हैंडलिंग और सीमांत मामलों की चर्चा अपर्याप्त है
- अन्य प्रणालियों के साथ विस्तृत तुलनात्मक विश्लेषण सीमित है

प्रभाव

खगोलीय डेटा प्रबंधन में योगदान
- बड़ी खगोलीय सर्वेक्षण परियोजनाओं के लिए मानकीकृत डेटा पहुंच का व्यावहारिक मामला प्रदान करता है
- दिखाता है कि आधुनिक डेटा प्रबंधन प्रणाली पर पारंपरिक प्रोटोकॉल कैसे लागू करें
- अन्य वेधशालाओं के समान कार्यान्वयन के लिए संदर्भ प्रदान करता है
तकनीकी प्रचार मूल्य
- ओपन सोर्स कार्यान्वयन (dax_obscore पैकेज) समुदाय को अपनाने और सुधार के लिए सुविधा देता है
- स्तरीय आर्किटेक्चर डिजाइन अन्य समान परियोजनाओं पर लागू किया जा सकता है
- कमांड-लाइन उपकरण उपयोगकर्ता सीखने की लागत को कम करता है

लागू दृश्य

बड़ी खगोलीय सर्वेक्षण परियोजनाएं: मानकीकृत डेटा पहुंच इंटरफेस की आवश्यकता वाली परियोजनाएं
डेटा केंद्र और वेधशालाएं: IVOA-संगत सेवा प्रदान करने की इच्छा रखने वाली संस्थाएं
अनुसंधान समुदाय: खगोलीय डेटा तक प्रोग्रामेटिक पहुंच की आवश्यकता वाले शोधकर्ता
शैक्षणिक उद्देश्य: SIAv2 प्रोटोकॉल के सीखने और प्रयोग वातावरण

संदर्भ

यह पेपर निम्नलिखित मुख्य साहित्य का हवाला देता है:

Dowler, P., et al. (2015). IVOA Simple Image Access Version 2.0 - SIAv2 मानक प्रोटोकॉल को परिभाषित करता है
Jenness, T., et al. (2022). Rubin Data Butler प्रणाली के मुख्य आर्किटेक्चर पेपर
Louys, M., et al. (2017). ObsCore डेटा मॉडल और TAP कार्यान्वयन मानक
Salnikov, A. (2022). Butler रजिस्ट्री दृश्य के रूप में ObsCore की तकनीकी नोट

सारांश: यह पेपर एक सफल इंजीनियरिंग अभ्यास का मामला प्रदर्शित करता है, जो वास्तविक तैनाती समस्याओं को हल करते हुए अंतर्राष्ट्रीय मानकों के साथ संगतता बनाए रखता है। हालांकि कुछ डेटा मॉडल असंगतता चुनौतियां हैं, समग्र कार्यान्वयन खगोलीय डेटा प्रबंधन क्षेत्र के लिए मूल्यवान संदर्भ और उपकरण प्रदान करता है।