مجموعات بيانات سريلانكا: مورد واسع النطاق ومتعدد اللغات للقانون والأخبار والسياسة

المعلومات الأساسية

• معرّف الورقة: 2510.04124
• العنوان: Sri Lanka Document Datasets: A Large-Scale, Multilingual Resource for Law, News, and Policy
• المؤلف: نوان آي. سيناراتنا (باحث مستقل)
• التصنيف: cs.CL (اللسانيات الحاسوبية)
• تاريخ النشر: ورقة arXiv، الإصدار v2025-10-16-0818
• رابط الورقة: https://arxiv.org/abs/2510.04124

الملخص

تقدم هذه الورقة مجموعة بيانات وثائق سريلانكية كبيرة الحجم ومفتوحة وقابلة للقراءة الآلية، تغطي السجلات البرلمانية والأحكام القانونية والمنشورات الحكومية والأخبار والإحصائيات السياحية. تحتوي المجموعة حالياً على 230,091 وثيقة (57.7 جيجابايت) عبر 24 مجموعة بيانات، وتدعم ثلاث لغات: السنهالية والتاميلية والإنجليزية. يتم تحديث مجموعات البيانات يومياً وتتم مرآتها على GitHub و Hugging Face. تهدف هذه الموارد إلى دعم البحث في اللسانيات الحاسوبية وتحليل القانون والدراسات الاجتماعية والسياسية ومعالجة اللغات الطبيعية متعددة اللغات.

السياق البحثي والدافع

تعريف المشكلة

السجلات الرقمية للقانون والسياسة والإعلام في سريلانكا موزعة عبر عدد كبير من المصادر الحكومية والخاصة، معظم المعلومات موجودة في شكل ملفات PDF أو صفحات ويب، وتفتقر إلى البنية القابلة للقراءة الآلية أو الاتساق في الأرشيفات العامة. يحد هذا التجزؤ من وصول المواطنين والصحفيين والباحثين إلى المعلومات المتعلقة بحكم الدولة والتاريخ والاتجاهات الاجتماعية والاقتصادية.

الأهمية

1. ندرة البيانات: منطقة جنوب آسيا، وخاصة سريلانكا، تفتقر إلى سجلات عامة موحدة وقابلة للقراءة الآلية
2. التنوع اللغوي: الحاجة إلى دعم أبحاث معالجة اللغات الطبيعية للغات منخفضة الموارد (السنهالية والتاميلية)
3. متطلبات الشفافية: تعزيز الشفافية والقابلية للتحقق من المشاركة المدنية والبحث الأكاديمي
4. التطبيقات عبر المجالات: دعم تحليل القانون وأبحاث السياسة ومراقبة الإعلام والمجالات الأخرى

القيود الحالية

• المجموعات اللغوية الكبيرة العالمية (مثل Common Crawl و Wikipedia Dumps) يهيمن عليها بيانات اللغات عالية الموارد
• المبادرات الإقليمية موزعة وعادة ما تركز على وسائط أو مؤسسات فردية
• مجموعات البيانات السابقة لها قيود في الحجم أو تغطية اللغات أو الاستمرارية الزمنية

المساهمات الأساسية

1. بناء مجموعة وثائق متعددة اللغات كبيرة الحجم: 230,091 وثيقة تغطي 24 نوع مجموعة بيانات مختلفة
2. إنشاء خط أنابيب جمع بيانات آلي: يحقق الاكتشاف المستمر والاستيعاب والتحليل والتحقق والتحكم في الإصدارات
3. توفير بنية تحتية بيانات مفتوحة الوصول: مجموعة بيانات مفتوحة تماماً بموجب ترخيص MIT
4. دعم تطبيقات البحث متعددة المجالات: اللسانيات الحاسوبية وتحليل القانون والدراسات الاجتماعية والسياسية وغيرها
5. ضمان جودة البيانات والقابلية للتكرار: تنسيقات موحدة والتحكم في الإصدارات ومصادر بيانات شفافة

شرح المنهجية

تكوين مجموعات البيانات

تصف الورقة بالتفصيل 24 مجموعة بيانات، موزعة بشكل أساسي على الفئات التالية:

1. فئة الوثائق القانونية

• Hansard (السجلات البرلمانية): 1,665 وثيقة، 17.9 جيجابايت، 2006-2025
• أحكام محكمة الاستئناف: 10,164 وثيقة، 10.5 جيجابايت، 2012-2025
• أحكام المحكمة العليا: 2,168 وثيقة، 1.4 جيجابايت، 2009-2025
• النصوص القانونية: 3,934 وثيقة، 6.9 جيجابايت، 1981-2025
• مشاريع القوانين: 4,080 وثيقة، 1.9 جيجابايت، 2010-2025

2. فئة المنشورات الحكومية

• النشرات الرسمية الخاصة (2020s): 45,373 وثيقة، 1.3 جيجابايت
• النشرات الرسمية الخاصة (2010s): 56,379 وثيقة، 3.3 جيجابايت
• قرارات مجلس الوزراء: 10,385 وثيقة، 136.4 ميجابايت
• بيانات صحفية من وزارة المالية: 134 وثيقة، 144.5 ميجابايت

3. فئة الأخبار والإعلام

• وثائق الأخبار: 81,155 وثيقة، 1.2 جيجابايت، 2021-2025
• بيانات صحفية من مكتب الرئاسة الإعلامي: 2,182 وثيقة، 55.9 ميجابايت

4. فئة الإحصائيات والتقارير

• تقارير الإحصائيات السياحية: 161 وثيقة، 405.7 ميجابايت
• تقارير إحصائيات الصيد: 417 وثيقة، 101.4 ميجابايت
• التقارير السنوية للبنك المركزي: 1,137 وثيقة، 3.5 جيجابايت

خط أنابيب جمع البيانات

البنية التقنية

1. تنسيق GitHub Actions: استخدام وظائف cron لتنفيذ متعدد يومي
2. استراتيجية المصفوفة: عزل كل مصدر بيانات، مما يسمح بإعادة محاولة مستقلة
3. التحديثات الإضافية: اكتشاف العناصر الجديدة أو المعدلة من خلال مفاتيح مستقرة (URL + التاريخ) وتجزئة المحتوى

تنفيذ الزحف

• الأدوات: Python + Selenium + متصفح Chrome بدون رأس
• معالجة المحتوى الديناميكي: من خلال انتظار شروط صريحة لتحميل المحتوى الديناميكي
• قيود الأدب: الامتثال لـ robots.txt، تحديد تكرار الطلبات، عشوائية التأخيرات

معالجة البيانات

1. تحليل PDF: استخدام PyMuPDF لاستخراج النص والبيانات الوصفية وكتل التخطيط
2. مراقبة الجودة: التحقق من الأنماط وفرض الحقول المطلوبة وحماية المجموع الاختباري
3. التحكم في الإصدارات: حفظ الأعمال الأصلية والتمثيلات المحللة بصيغة JSON

نقاط الابتكار التقني

1. خط أنابيب آلي: عملية جمع بيانات ومعالجة وتحديث مؤتمتة بالكامل
2. دعم تنسيقات متعددة: معالجة متزامنة لوثائق HTML و PDF
3. آلية التحديث الإضافي: كشف التغييرات والتحكم في الإصدارات بكفاءة
4. ضمان الجودة: التحقق من البيانات متعدد المستويات ومعالجة الأخطاء
5. تصميم الشفافية: تسجيل البيانات الوصفية الكاملة ومصادر البيانات القابلة للتدقيق

إعداد التجارب

إحصائيات البيانات

• إجمالي عدد الوثائق: 230,091 وثيقة
• الحجم الإجمالي: 57.7 جيجابايت
• عدد مجموعات البيانات: 24 مجموعة
• تغطية اللغات: السنهالية والتاميلية والإنجليزية
• النطاق الزمني: 1950 إلى 2025 (يختلف حسب مجموعة البيانات)

تقييم جودة البيانات

• فحوصات الاكتمال: التحقق من الحقول المطلوبة
• التحقق من الاتساق: توحيد التنسيق
• كشف التكرار: إزالة التكرار بناءً على تجزئة المحتوى
• صحة التاريخ: التحقق من نطاق التاريخ

نتائج التجارب

تحليل حجم مجموعات البيانات

تحليل التغطية الزمنية

• العمق التاريخي: يمكن تتبع أقدم الوثائق إلى عام 1950 (التقارير السنوية للبنك المركزي)
• تكرار التحديث: تحديث آلي يومي
• حداثة البيانات: تغطي معظم مجموعات البيانات حتى أكتوبر 2025

توزيع اللغات

• الإنجليزية: اللغة الرئيسية للوثائق الحكومية الرسمية والأحكام القانونية
• السنهالية: الأخبار المحلية وأجزاء من الوثائق الحكومية
• التاميلية: وثائق لغات الأقليات

الأعمال ذات الصلة

المجموعات اللغوية الكبيرة العالمية

• Common Crawl: بيانات الزحف على الويب العام
• Wikipedia Dumps: تفريغات بيانات ويكيبيديا
• OpenWebText: مجموعة نصوص الويب المفتوحة

المبادرات الإقليمية

• Indian Kanoon: مجموعة القانون الهندي
• OpenSubtitles: مجموعة بيانات الترجمات متعددة اللغات
• African News Corpus: مجموعة الأخبار الأفريقية

الوضع الحالي في جنوب آسيا

• الجهود الحالية موزعة وعادة ما تركز على مؤسسات إعلامية فردية
• نقص السجلات الشاملة والقابلة للقراءة الآلية
• قيود في الحجم أو تغطية اللغات أو الاستمرارية الزمنية

الخلاصة والمناقشة

الاستنتاجات الرئيسية

1. تم بناء أكبر مجموعة بيانات وثائق متعددة اللغات في سريلانكا بنجاح
2. تم إنشاء آلية جمع بيانات آلية وقابلة للاستدامة وتحديث
3. توفير مورد قيم لأبحاث اللسانيات الحاسوبية والحكومة الرقمية
4. ضمان إمكانية الوصول إلى البيانات وإعادة استخدامها من خلال ترخيص مفتوح

القيود

1. دقة معالجة اللغات: دقة التحليل للسنهالية والتاميلية تحتاج إلى تحسين
2. قيود القدرات البصرية: قدرات معالجة ملفات PDF الممسوحة ضوئياً أو غير المنظمة غير كافية
3. نطاق التغطية: لا تزال هناك أجزاء من المؤسسات الحكومية ومصادر الإعلام غير مدرجة
4. اختلاف جودة البيانات: توجد اختلافات في جودة البيانات بين المصادر المختلفة

الاتجاهات المستقبلية

1. توسيع النطاق: إضافة المزيد من المؤسسات الحكومية ومصادر الإعلام والأرشيفات التاريخية
2. تحسين معالجة اللغات: تحسين التقسيم والمعالجة الخطية والتضمينات متعددة اللغات للسنهالية والتاميلية
3. دمج OCR: تجربة خطوط أنابيب OCR المستندة إلى التعلم العميق، مع الجمع بين التعرف على التخطيط والنمذجة اللغوية

التقييم المتعمق

المزايا

1. حجم البيانات والجودة: مجموعة بيانات كبيرة الحجم من 230,091 وثيقة تغطي مجالات متعددة مهمة
2. التنفيذ التقني الممتاز: خط أنابيب بيانات مؤتمت بالكامل يضمن التحديث والاتساق
3. الانفتاح والشفافية: وصول مفتوح تماماً بموجب ترخيص MIT، يتوافق مع مبادئ FAIR
4. دعم متعدد اللغات: توفير مورد قيم لأبحاث اللغات منخفضة الموارد
5. قيمة عملية عالية: دعم احتياجات التطبيقات الفعلية في مجالات بحثية متعددة

أوجه القصور

1. نقص التقييم: تفتقر الورقة إلى تقييم كمي والتحقق من جودة البيانات
2. عدم كفاية حالات الاستخدام: لم تقدم حالات استخدام محددة أو نتائج اختبار معيارية
3. عدم التوازن في توزيع اللغات: الوثائق الإنجليزية تهيمن، والتغطية اللغوية الأخرى محدودة نسبياً
4. التفاصيل التقنية غير كافية: بعض تفاصيل التنفيذ التقني لم يتم وصفها بتفصيل كافٍ

التأثير

1. المساهمة الأكاديمية: وضع الأساس لأبحاث العلوم الإنسانية الرقمية واللسانيات الحاسوبية في جنوب آسيا
2. القيمة الاجتماعية: تحسين شفافية الحكومة ودعم المشاركة المدنية والإشراف
3. التوضيح التقني: توفير مرجع لدول نامية أخرى لبناء بنية تحتية بيانات مماثلة
4. الاستدامة: إنشاء آلية جمع بيانات وصيانة مستدامة

السيناريوهات القابلة للتطبيق

1. معالجة اللغات الطبيعية: تدريب وتقييم نماذج متعددة اللغات
2. تكنولوجيا القانون: تحليل الوثائق القانونية وأبحاث الأحكام السابقة
3. تحليل السياسة: تتبع قرارات الحكومة وتغييرات السياسة
4. أبحاث الإعلام: تحليل اتجاهات الأخبار والرأي العام
5. الحكومة الرقمية: أبحاث الحكومة الإلكترونية والشفافية

المراجع

تستشهد الورقة بأعمال مهمة من مجالات ذات صلة، بما في ذلك:

• أفضل الممارسات في MLOps وبناء خطوط أنابيب البيانات
• أطر عمل حكومة البيانات المفتوحة
• معايير الأخلاقيات والتقنيات لزحف الويب
• مبادئ FAIR لإدارة البيانات العلمية
• الأدبيات ذات الصلة بأبحاث القابلية للتكرار

التقييم الإجمالي: هذه ورقة ذات قيمة عملية مهمة، توفر بنية تحتية قيمة للبحث الرقمي في سريلانكا وجنوب آسيا. على الرغم من أن الابتكار التقني محدود نسبياً، فإن مساهماتها في حجم البيانات والانفتاح والاستدامة تستحق الإشادة. يضع هذا العمل مثالاً جيداً لأبحاث العلوم الإنسانية الرقمية للغات منخفضة الموارد والدول النامية.