2025-11-10T02:56:05.378036

Implementing SIAv2 Over Rubin Observatory's Data Butler

Jenness, Voutsinas, Dubois-Felsmann et al.
The IVOA Simple Image Access version 2 protocol defines an easy way to provide community access to a collection of data. At the Vera C. Rubin Observatory we currently enable ObsTAP access to our data holdings via an ObsCore export or view of our Data Butler repositories. This approach comes with some deployment constraints, such as requiring pgsphere and compatibility with our CADC TAP implementation, so recently we decided to see whether we could instead provide an SIAv2 service that talks directly to our Data Butler. Here we describe our motivation, implementation strategies, and current deployment status, as well as discussing some metadata mismatches between the Butler data models and SIAv2.
academic

تطبيق SIAv2 على نظام Data Butler في مرصد روبين

المعلومات الأساسية

  • معرّف الورقة: 2501.00544
  • العنوان: تطبيق SIAv2 على نظام Data Butler في مرصد روبين
  • المؤلفون: Tim Jenness, Stelios Voutsinas, Gregory P. Dubois-Felsmann, Andrei Salnikov
  • التصنيف: astro-ph.IM (الفيزياء الفلكية - الأدوات والطرق)
  • تاريخ النشر: 31 ديسمبر 2024
  • رابط الورقة: https://arxiv.org/abs/2501.00544

الملخص

يحدد بروتوكول الوصول البسيط للصور الإصدار الثاني (SIAv2) من منظمة IVOA طريقة سهلة لتوفير الوصول إلى مجموعات البيانات للمجتمع العلمي. في مرصد فيرا سي. روبين، نقوم حالياً بتطبيق الوصول إلى بيانات ObsTAP من خلال تصدير أو عروض ObsCore من مستودع Data Butler. ومع ذلك، تواجه هذه الطريقة بعض قيود النشر، مثل الحاجة إلى دعم pgsphere والتوافقية مع تطبيق CADC TAP. لذلك، قررنا استكشاف ما إذا كان يمكننا توفير خدمة SIAv2 تتواصل مباشرة مع Data Butler. تصف هذه الورقة دوافعنا واستراتيجية التطبيق وحالة النشر الحالية وبعض مشاكل عدم التطابق في البيانات الوصفية بين نموذج بيانات Butler و SIAv2.

الخلفية البحثية والدوافع

خلفية المشكلة

يتكون نظام Data Butler في مرصد روبين من سجل البيانات الوصفية وتخزين بيانات الملفات، حيث يحتوي السجل على معلومات كافية لبناء سجلات ObsCore. كانت هناك طريقتان سابقتان لتوفير جدول ObsCore:

  1. تصدير السجلات كملفات CSV أو Parquet وتحميلها في قاعدة بيانات ثابتة
  2. استخدام خطافات واجهة خلفية للسجل لتوفير مزامنة فورية مع جدول ObsCore

قيود الطرق الموجودة

  1. طريقة التصدير الثابت: مناسبة للإصدارات الرسمية للبيانات ويمكن دمجها في قاعدة بيانات Qserv عالية الأداء، لكنها غير مناسبة لمجموعات البيانات الديناميكية مثل المنتجات السريعة كل ليلة
  2. طريقة ObsCore الفورية: تتطلب بيئة نشر تدعم pgsphere، وتحتاج إلى إعادة بناء الجدول بالكامل عند تغيير التكوين

دوافع البحث

دفعت هذه القيود فريق البحث إلى البحث عن طبقة استعلام أبسط لكن موحدة، تعتمد مباشرة على نظام Butler. أصبح بروتوكول SIAv2 من IVOA الخيار الواضح لأن:

  • توفير واجهة مباشرة مع Butler مرونة أكبر
  • تغييرات التكوين تتطلب فقط إعادة تشغيل الخدمة البسيطة
  • يعمل فوراً مع أي مستودع Butler

المساهمات الأساسية

  1. تصميم وتطبيق واجهة مباشرة من SIAv2 إلى Butler: تجاوز الطبقة الوسيطة من جدول ObsCore التقليدي
  2. تطوير معمارية متعددة الطبقات: فصل طبقة الخدمة عن معالجة استعلامات SIAv2، مما يحسن القابلية للاختبار
  3. إنشاء مكتبة dax_obscore: توفير واجهة سطر أوامر لتسهيل تعلم واختبار المستخدمين
  4. نشر خدمة جاهزة للإنتاج: تم نشرها بالفعل على منصة Rubin العلمية وتتوفر لتصحيح البيانات
  5. تحديد وتحليل مشاكل عدم التطابق في نماذج البيانات: توفير خارطة طريق واضحة للتحسينات المستقبلية

شرح الطريقة

تعريف المهمة

تعيين استعلامات بروتوكول IVOA SIAv2 مباشرة إلى نظام استعلام Rubin Data Butler، مع تطبيق واجهة وصول بيانات فلكية موحدة، مع تجنب قيود النشر لطريقة جدول ObsCore التقليدية.

معمارية النظام

HTTP GET → Nginx → خدمة SIAv2 → dax_obscore → مستودع Butler
sia/dp02/query?POS=..     ↓              ↓            ↓
                    معالجة الاستعلام  استعلام Butler  النتائج
                         ↓              ↓            ↓
                    VOTable ObsCore ← النتائج ← DatasetRefs

تصميم المكونات الأساسية

  1. طبقة خدمة SIAv2
    • تم التطوير باستخدام Python و FastAPI
    • مبني على منصة التطوير الداخلية القياسية Phalanx من Rubin
    • توفير طبقة مصادقة قياسية وقدرات نشر
    • معالجة معاملات SIAv2 الأولية وتغليف النتائج المرجعة
  2. مكتبة dax_obscore
    • تحليل معاملات SIAv2
    • تحويل المعاملات إلى استعلامات Butler
    • تنفيذ الاستعلامات وإرجاع النتائج الموحدة
    • توليد مخرجات بصيغة VOTable متوافقة مع Astropy
    • استخدام نموذج بيانات Felis لتعريف هيكل الجدول لضمان الاتساق
  3. توافقية واجهة Butler
    • دعم شفاف لـ Butler "المباشر" الأصلي و Butler البعيد الجديد من نوع العميل/الخادم
    • الاستفادة من دعم الاستعلامات الإقليمية والزمنية الأصلي في Butler

نقاط الابتكار التقني

  1. مزايا التصميم متعدد الطبقات
    • فصل طبقة الخدمة عن معالجة الاستعلام، مما يحسن القابلية للاختبار
    • يمكن تثبيت dax_obscore واستخدامه بشكل مستقل
    • دعم التطوير والصيانة المتوازية
  2. الوصول المباشر إلى Butler
    • تجاوز الطبقة الوسيطة من جدول ObsCore
    • تقليل تبعيات النشر (بدون الحاجة إلى pgsphere)
    • استجابة أسرع لتغييرات التكوين
  3. المخرجات الموحدة
    • استخدام نموذج بيانات Felis لضمان اتساق النتائج
    • صيغة VOTable متوافقة مع معايير IVOA
    • دعم مجموعة معاملات SIAv2 القياسية

إعداد التجارب

معاملات الاستعلام المدعومة

تدعم حزمة dax_obscore حالياً معاملات استعلام SIAv2 التالية:

  • MAXREC: حد أقصى لعدد السجلات
  • INSTRUMENT: تصفية الأداة
  • POS: استعلام الموقع/المنطقة
  • TIME: استعلام نطاق زمني
  • BAND: تصفية النطاق الموجي
  • EXPTIME: وقت التعريض
  • CALIB: نوع المعايرة

المعاملات المخطط دعمها

  • ID: استعلام المعرّف
  • TARGET: الهدف الفلكي
  • FACILITY: اسم المنشأة (مخطط استخدام "Rubin:Simonyi" و "Rubin:1.2m")
  • COLLECTION: مجموعة البيانات

بيئة النشر

  • النشر على منصة Rubin العلمية
  • متاح للوصول إلى بيانات التصحيح
  • دعم أداة سطر أوامر قابلة للتثبيت من PyPI

نتائج التجارب

حالة النشر الحالية

  1. توفر الخدمة: تم نشرها بنجاح على منصة Rubin العلمية وقيد الاستخدام
  2. التحقق من الوظائف: وظائف استعلام معاملات SIAv2 الأساسية تعمل بشكل صحيح
  3. التوافقية: دعم أنماط الوصول المباشر و Butler البعيد
  4. أدوات المستخدم: توفير واجهة سطر أوامر لتسهيل التجارب والتعلم المحلي

مزايا الأداء

  1. تبسيط النشر: بدون تبعية pgsphere
  2. مرونة التكوين: التغييرات تتطلب فقط إعادة تشغيل الخدمة
  3. التوفر الفوري: يعمل فوراً مع أي مستودع Butler

الأعمال ذات الصلة

معايير IVOA

  • بروتوكول SIAv2: معيار موصى به من IVOA حدده Dowler وآخرون في 2015
  • خدمة ObsTAP: بروتوكول الوصول إلى الجداول المستندة إلى ObsCore، موحد بواسطة Louys وآخرين في 2017

مجموعة تقنيات مرصد Rubin

  • نظام Data Butler: نظام إدارة البيانات الذي طوره Jenness وآخرون في 2022
  • قاعدة بيانات Qserv: قاعدة بيانات موزعة عالية الأداء طورها Mueller وآخرون في 2023
  • Butler البعيد: معمارية العميل/الخادم التي طورها Jenness وآخرون في 2024

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. جدوى التطبيق: تطبيق SIAv2 على Data Butler هو عملية بسيطة نسبياً
  2. مزايا المعمارية: استراتيجية التطوير متعددة الطبقات تحقق التطوير المتوازي وتوفر أدوات سطر أوامر إضافية
  3. نجاح النشر: تم نشر الخدمة بنجاح وتتوفر للبيئة الإنتاجية

مشاكل عدم التطابق في نموذج البيانات

1. نقص معلومات الأداة في المكدسات المشتركة

  • المشكلة: لا توجد معلومات أداة مرتبطة بالمكدسات المشتركة (co-adds) في سجل Butler
  • التأثير: عدم القدرة على التمييز بين مصادر البيانات في المستودعات التي تحتوي على بيانات LATISS و LSSTCam
  • الحل: تحديد الأداة من مجموعات البيانات الأصلية من خلال تتبع النسب الكامل في المستقبل

2. وقت التعريض للمكدسات المشتركة

  • المشكلة: وقت التعريض الوسيط للمكدسات المشتركة هو كمية مشتقة، غير معروفة عند تعريف فضاء إحداثيات Butler
  • الحل: دعم تخزين البيانات الوصفية المشتقة في خارطة الطريق المستقبلية

3. تاريخ الملاحظة للمكدسات المشتركة

  • المشكلة: تفقد المكدسات المشتركة معلومات التاريخ من الملاحظات الفردية
  • الحل: قد يكون من الممكن استنتاج نطاق التواريخ بعد تطبيق نظام النسب الكامل في Butler

4. توحيد نوع مجموعة البيانات

  • المشكلة: أنواع مجموعات البيانات في Butler (مثل visit_image و difference_image) لا توجد طريقة استعلام موحدة لها في SIAv2
  • الحل: النظر في إضافة معامل استعلام DPSUBTYPE موسع، ربما باستخدام بادئة lsst

الاتجاهات المستقبلية

  1. دعم البيانات الوصفية المشتقة: تطبيق دعم الاستعلام عن البيانات الوصفية المحسوبة
  2. نظام النسب الكامل: حل مشاكل نقص البيانات الوصفية للمكدسات المشتركة من خلال معلومات النسب
  3. دعم معاملات موسعة: إكمال تطبيق معاملات ID و TARGET و FACILITY و COLLECTION
  4. الامتدادات المخصصة: تطبيق معاملات استعلام خاصة بـ Rubin مثل DPSUBTYPE

التقييم المتعمق

المزايا

  1. تصميم معمارية ممتاز
    • التصميم متعدد الطبقات يحسن قابلية الصيانة والاختبار
    • واجهة Butler المباشرة تتجنب تعقيد الطبقة الوسيطة
    • دعم أنماط نشر Butler المتعددة
  2. قيمة عملية عالية
    • حل المشاكل المحددة في النشر الفعلي (تبعية pgsphere، مرونة التكوين)
    • توفير واجهة وصول بيانات موحدة
    • أداة سطر الأوامر تزيد من قابلية استخدام النظام
  3. توافقية المعايير
    • الامتثال الصارم لمعيار IVOA SIAv2
    • مخرجات بصيغة VOTable قياسية
    • التوافقية مع النظام البيئي الموجود للوصول إلى البيانات الفلكية

أوجه القصور

  1. قيود نموذج البيانات
    • عدة مشاكل مهمة في عدم التطابق في البيانات الوصفية لم تُحل بعد
    • قدرات الاستعلام محدودة للمكدسات المشتركة
    • تحتاج إلى مزيد من التطور في نظام Butler
  2. اكتمال الوظائف
    • بعض معاملات SIAv2 لم تُطبق بعد
    • الامتدادات المخصصة لا تزال في مرحلة التخطيط
    • قد يكون الدعم للاستعلامات المعقدة محدوداً
  3. عمق التوثيق
    • نقص بيانات معايير الأداء
    • نقاش غير كافٍ حول معالجة الأخطاء والحالات الحدية
    • تحليل مقارن مفصل محدود مع الأنظمة الأخرى

التأثير

  1. المساهمة في إدارة البيانات الفلكية
    • توفير حالة عملية لتطبيق الوصول الموحد للبيانات لمشاريع المسح الفلكي الكبيرة
    • إظهار كيفية تطبيق البروتوكولات التقليدية على أنظمة إدارة البيانات الحديثة
    • توفير مرجع لتطبيقات مماثلة في المراصد الفلكية الأخرى
  2. قيمة الترويج التقني
    • التطبيق مفتوح المصدر (حزمة dax_obscore) يسهل اعتماد المجتمع والتحسين
    • تصميم المعمارية متعددة الطبقات قابل للتطبيق على مشاريع مماثلة أخرى
    • أداة سطر الأوامر تقلل من تكاليف تعلم المستخدمين

السيناريوهات المطبقة

  1. مشاريع المسح الفلكي الكبيرة: المشاريع التي تحتاج إلى واجهة وصول بيانات موحدة
  2. مراكز البيانات والمراصد الفلكية: المؤسسات التي تسعى لتوفير خدمات متوافقة مع IVOA
  3. المجتمع البحثي: الباحثون الذين يحتاجون إلى وصول برمجي إلى البيانات الفلكية
  4. الأغراض التعليمية: بيئات التعلم والتجريب لبروتوكول SIAv2

المراجع

تستشهد هذه الورقة بالمراجع الرئيسية التالية:

  1. Dowler, P., et al. (2015). بروتوكول الوصول البسيط للصور IVOA الإصدار 2.0 - تعريف معيار بروتوكول SIAv2
  2. Jenness, T., et al. (2022). ورقة العمارة الأساسية لنظام Rubin Data Butler
  3. Louys, M., et al. (2017). نموذج بيانات ObsCore ومعيار تطبيق TAP
  4. Salnikov, A. (2022). ملاحظة تقنية حول ObsCore كعرض لسجل Butler

الملخص: تعرض هذه الورقة حالة عملية ناجحة في الهندسة، حيث تحل مشاكل النشر الفعلية مع الحفاظ على التوافقية مع المعايير الدولية. على الرغم من وجود بعض التحديات في عدم التطابق في نموذج البيانات، فإن التطبيق الشامل يوفر مرجعاً وأدوات قيمة لمجال إدارة البيانات الفلكية.