2025-11-15T03:10:19.291336

Rethinking deep learning: linear regression remains a key benchmark in predicting terrestrial water storage

Nie, Kumar, Chen et al.
Recent advances in machine learning such as Long Short-Term Memory (LSTM) models and Transformers have been widely adopted in hydrological applications, demonstrating impressive performance amongst deep learning models and outperforming physical models in various tasks. However, their superiority in predicting land surface states such as terrestrial water storage (TWS) that are dominated by many factors such as natural variability and human driven modifications remains unclear. Here, using the open-access, globally representative HydroGlobe dataset - comprising a baseline version derived solely from a land surface model simulation and an advanced version incorporating multi-source remote sensing data assimilation - we show that linear regression is a robust benchmark, outperforming the more complex LSTM and Temporal Fusion Transformer for TWS prediction. Our findings highlight the importance of including traditional statistical models as benchmarks when developing and evaluating deep learning models. Additionally, we emphasize the critical need to establish globally representative benchmark datasets that capture the combined impact of natural variability and human interventions.
academic

إعادة التفكير في التعلم العميق: الانحدار الخطي يبقى معيارًا رئيسيًا في التنبؤ بتخزين المياه الأرضية

المعلومات الأساسية

  • معرّف الورقة: 2510.10799
  • العنوان: إعادة التفكير في التعلم العميق: الانحدار الخطي يبقى معيارًا رئيسيًا في التنبؤ بتخزين المياه الأرضية
  • المؤلفون: Wanshu Nie, Sujay V. Kumar, Junyu Chen, Long Zhao, Olya Skulovich, Jinwoong Yoo, Justin Pflug, Shahryar Khalique Ahmad, Goutam Konapala
  • التصنيفات: cs.LG physics.ao-ph physics.geo-ph
  • المؤسسات: مركز ناسا جودارد لرحلات الفضاء، جامعة جونز هوبكنز وغيرها
  • رابط الورقة: https://arxiv.org/abs/2510.10799

الملخص

في السنوات الأخيرة، تم اعتماد تقنيات التعلم الآلي على نطاق واسع مثل شبكات الذاكرة قصيرة الأجل طويلة الأجل (LSTM) و Transformer في التطبيقات الهيدرولوجية، حيث أظهرت أداءً متفوقًا في نماذج التعلم العميق وتجاوزت النماذج الفيزيائية في مختلف المهام. ومع ذلك، فإن تفوق هذه الطرق في التنبؤ بحالة السطح الأرضي (مثل تخزين المياه الأرضية TWS) التي تهيمن عليها عوامل متعددة مثل التباين الطبيعي والتغيرات المدفوعة بالعامل البشري لا يزال غير واضح. تستخدم هذه الدراسة مجموعة بيانات HydroGlobe العالمية ذات الوصول المفتوح والممثلة عالميًا - والتي تتضمن نسخة أساسية تعتمد فقط على محاكاة نموذج السطح الأرضي ونسخة متقدمة تدمج استيعاب البيانات من مصادر الاستشعار عن بعد المتعددة - لإظهار أن الانحدار الخطي هو معيار قوي يتفوق على نماذج LSTM والمحول الزمني الأكثر تعقيدًا في مهام التنبؤ بـ TWS. تؤكد النتائج على أهمية استخدام النماذج الإحصائية التقليدية كمعايير عند تطوير وتقييم نماذج التعلم العميق، وتؤكد على الحاجة الحتمية لإنشاء مجموعات بيانات أساسية عالمية الممثلية قادرة على التقاط التأثيرات المدمجة للتباين الطبيعي والتدخل البشري.

خلفية البحث والدافع

تعريف المشكلة

تخزين المياه الأرضية (TWS) هو مؤشر رئيسي لتوفر المياه العذبة العالمية، ويشمل جميع أشكال المياه الأرضية بما في ذلك رطوبة التربة والمياه الجوفية والمياه السطحية والثلج. يعتبر التقدير الدقيق لـ TWS حاسمًا لحماية النظم البيئية ودعم الزراعة وضمان أمن المياه والغذاء.

دافع البحث

  1. شيوع التعلم العميق في الهيدرولوجيا: أصبحت نماذج التعلم العميق مثل LSTM و Transformer شائعة بشكل متزايد في التطبيقات الهيدرولوجية، خاصة في مهام مثل نمذجة تحويل الأمطار إلى جريان
  2. تحديات عدم الاستقرار: يتأثر TWS بالتفاعلات المعقدة بين تباين المناخ والأنشطة البشرية (مثل استخراج المياه الجوفية وتغيير استخدام الأراضي وتشغيل الخزانات)، مما يظهر عدم استقرار قوي
  3. مشكلة اختيار المعيار: غالبًا ما تقارن الدراسات الموجودة بين نماذج التعلم العميق فقط، وتفتقر إلى المقارنة مع الطرق الإحصائية البسيطة
  4. قيود مجموعة البيانات: نقص مجموعات بيانات أساسية عالمية تعكس بشكل شامل التأثيرات الطبيعية والبشرية

قيود الطرق الموجودة

  1. قيود LSTM: مكلفة حسابيًا على تسلسلات الإدخال الطويلة، وقدرة محدودة على التقاط التبعيات طويلة الأجل عند التدريب على تسلسلات أقصر
  2. تحديات Transformer: آلية الانتباه الذاتي ثابتة بطبيعتها بالنسبة للترتيب، مما قد يؤدي إلى فقدان المعلومات الزمنية
  3. انحياز التقييم: نقص المقارنة المنهجية مع الطرق الإحصائية التقليدية

المساهمات الأساسية

  1. مقارنة معايير منهجية: أول مقارنة منهجية بين الانحدار الخطي و LSTM و Transformer الزمني (TFT) في مهام التنبؤ بـ TWS على المستوى العالمي
  2. تطبيق مجموعة بيانات HydroGlobe: استخدام مجموعة بيانات هيدرولوجية عالمية تتضمن نسختين: التباين الطبيعي (OL) والتأثيرات البشرية (DA)
  3. إثبات تفوق الانحدار الخطي: إثبات أن نموذج الانحدار الخطي البسيط يتفوق باستمرار على نماذج التعلم العميق المعقدة في مهام التنبؤ بـ TWS
  4. تحليل عدم الاستقرار: تحليل متعمق للاختلافات في أداء النماذج المختلفة في بيئات غير مستقرة
  5. التأكيد على أهمية المعايير: التأكيد على أهمية تضمين المعايير الإحصائية التقليدية في تقييم نماذج التعلم العميق

شرح الطريقة

تعريف المهمة

الإدخال: ميزات شهرية من الاثني عشر شهرًا الماضية (الهطول والحرارة ومؤشر مساحة الأوراق LAI ورطوبة التربة السطحية SSMC) بالإضافة إلى ميزات ثابتة (الارتفاع والانحدار وملمس التربة وغطاء الأراضي وغيرها)

الإخراج: تخزين المياه الأرضية (TWS) للشهر الحالي

القيود: عدم استخدام القيم التاريخية لـ TWS كميزات إدخال، محاكاة سيناريو التنبؤ الفعلي

معمارية النموذج

1. نموذج الانحدار الخطي

  • Linear_single (نموذج أساسي): نموذج انحدار خطي يتم تدريبه بشكل منفصل لكل حوض
  • Linear_glob: نموذج خطي عام يتم تدريبه باستخدام بيانات جميع الأحواض

تكوين الميزات:

  • ميزات متغيرة الفترة الزمنية: 48 ميزة (القيم التاريخية للهطول والحرارة و LAI و SSMC)
  • متغيرات فئوية شهرية: 11 متغيرًا (وكلاء التأثيرات الموسمية)
  • ميزات الاتجاه: ميزة واحدة (مؤشر زمني)

2. نماذج التعلم العميق

  • LSTM: شبكة LSTM بطبقة واحدة، تعالج الإدخالات المتغيرة والثابتة زمنيًا
  • Transformer الزمني (TFT): معمارية هجينة تجمع بين وحدات LSTM وآلية الانتباه متعدد الرؤوس

نقاط الابتكار التقني

  1. تصميم مقارنة مجموعة البيانات: من خلال مقارنة النسختين OL و DA، تقييم أداء النموذج تحت درجات مختلفة من عدم الاستقرار
  2. إطار تقييم شامل: يتضمن تجارب بأطوال تسلسل مختلفة وخطوات تنبؤ وتحليلات زمنية
  3. تحليل القابلية للتفسير: استخدام قيم SHAP وأوزان الانتباه لتحليل سلوك النموذج
  4. استراتيجية مقارنة عادلة: استخدام نفس دالة الخسارة (خسارة الكميات) ومقاييس التقييم

إعداد التجربة

مجموعة البيانات

مجموعة بيانات HydroGlobe:

  • النطاق الزمكاني: 2003-2020، دقة مكانية 10 كم، 515 حوضًا عالميًا
  • نسخة OL: محاكاة أساسية تعتمد فقط على نموذج السطح الأرضي Noah-MP
  • نسخة DA: منتج استيعاب البيانات الذي يدمج GRACE TWS و ESA CCI رطوبة التربة و MODIS LAI

تقسيم البيانات:

  • فترة التدريب: 2003-2015 (نماذج خطية)؛ 2003-2012 (نماذج التعلم العميق)
  • فترة التحقق: 2013-2015 (نماذج التعلم العميق فقط)
  • فترة الاختبار: 2016-2020

مؤشرات التقييم

  • الانحياز (Bias): الخطأ المنهجي
  • جذر متوسط الخطأ التربيعي (RMSE): دقة التنبؤ الإجمالية
  • معامل الارتباط (Correlation): قوة العلاقة الخطية
  • كفاءة Nash-Sutcliffe (NSE): قدرة النموذج على شرح التباين
  • كفاءة Kling-Gupta (KGE): مؤشر تقييم شامل

صيغة حساب NSE: NSE=1−∑t=1T(ypred−yobs)2∑t=1T(yobs−yobs‾)2NSE = 1 - \frac{\sum_{t=1}^{T}(y_{pred} - y_{obs})^2}{\sum_{t=1}^{T}(y_{obs} - \overline{y_{obs}})^2}

صيغة حساب KGE: KGE=1−(r−1)2+(σpredσobs−1)2+(μpredμobs−1)2KGE = 1 - \sqrt{(r-1)^2 + (\frac{\sigma_{pred}}{\sigma_{obs}}-1)^2 + (\frac{\mu_{pred}}{\mu_{obs}}-1)^2}

الطرق المقارنة

  • الطرق التقليدية: Random Forest و LightGBM
  • التعلم العميق: LSTM و Transformer الزمني
  • المعايير: الانحدار الخطي الخاص بالحوض والعام

نتائج التجربة

النتائج الرئيسية

الأداء على مجموعة بيانات OL

يتفوق Linear_single بشكل كبير على النماذج الثلاثة الأخرى في جميع مؤشرات التقييم (باستثناء الانحياز):

  • ترتيب الأداء الأفضل: Linear_single > TFT > LSTM > Linear_glob
  • يظهر TFT أفضل أداء في مؤشر الانحياز، متفوقًا حتى على Linear_single
  • يظهر Linear_glob أسوأ أداء، خاصة في مؤشرات الارتباط و NSE

الأداء على مجموعة بيانات DA

يتفوق Linear_single مرة أخرى على النماذج الأخرى، لكن الأداء الإجمالية تنخفض:

  • تنخفض أداء جميع النماذج على مجموعة بيانات DA مقارنة بمجموعة OL
  • يشكل عدم الاستقرار القوي (اتجاهات TWS الأكثر سلبية) تحديًا لجميع النماذج
  • يظهر LSTM أسوأ أداء في التعامل مع عدم الاستقرار القوي

تحليل التوزيع المكاني

  • في الأحواض ذات اتجاهات TWS السلبية القوية، تكون أفضل النماذج في الغالب Linear_single أو TFT
  • يواجه LSTM صعوبة في التنبؤ باتجاهات الأحواض التي تظهر عدم استقرار قوي

تجارب الاستئصال

تأثير طول التسلسل

اختبار أطوال تسلسل إدخال مختلفة من 6-18 شهرًا:

  • LSTM و TFT: لم يؤدِ زيادة طول التسلسل إلى تحسن كبير في الأداء
  • تحليل SHAP: يعتمد LSTM بشكل أساسي على خطوات زمنية حديثة، مع الاستفادة القليلة من المعلومات التاريخية
  • تحليل الانتباه: أنماط الانتباه في TFT غير متسقة عبر أطوال تسلسل مختلفة

أداء مهام التنبؤ

تجارب التنبؤ من 1-6 أشهر:

  • التنبؤ قصير الأجل (≤3 أشهر): يظهر Linear_single أفضل أداء
  • التنبؤ طويل الأجل (>3 أشهر): تكون أداء TFT أكثر استقرارًا، متفوقة على Linear_single
  • LSTM: يظهر أسوأ أداء في جميع خطوات التنبؤ

تأثير الدقة الزمنية

استخدام بيانات يومية للتدريب:

  • زيادة بيانات التدريب من 55,620 إلى 375,435 نقطة
  • لم تحسن جميع النماذج أداءها بشكل كبير
  • يشير إلى أن حجم بيانات التدريب ليس عامل التحديد

آلية معالجة عدم الاستقرار

من خلال إزالة تضمين مؤشر الوقت في TFT:

  • يعتبر تضمين الوقت الآلية الرئيسية لـ TFT في معالجة عدم الاستقرار
  • بعد الإزالة، انخفضت الأداء بشكل كبير في الأحواض ذات اتجاهات الاضمحلال الكبيرة
  • آلية الانتباه الذاتي وحدها غير كافية للتعامل مع عدم الاستقرار

مقارنة نماذج الأشجار

مقارنة Random Forest و LightGBM مع Linear_single:

  • يتفوق Linear_single على نماذج الأشجار في معظم المؤشرات
  • تظهر نماذج الأشجار أداءً أسوأ في الأحواض ذات التحول التوزيعي الشديد
  • يثبت أن زيادة تعقيد النموذج لا تؤدي بالضرورة إلى تحسن الأداء

الأعمال ذات الصلة

تطبيقات التعلم العميق في الهيدرولوجيا

  1. مزايا LSTM: تتفوق باستمرار على النماذج الفيزيائية في نمذجة تحويل الأمطار إلى جريان، مع القدرة على معالجة بيانات التسلسل والتعميم عبر الأحواض
  2. تطور Transformer: تم إدخاله إلى الهيدرولوجيا بعد نجاحه في معالجة اللغات الطبيعية، لكن فعاليته في مهام السلاسل الزمنية لا تزال محل نقاش
  3. مشكلة المعايير: غالبًا ما تقارن الدراسات الموجودة بين نماذج التعلم العميق فقط، مع التأكيد على أهمية اختيار معايير مناسبة

جدل التنبؤ بالسلاسل الزمنية

تشكك الدراسات الحديثة في ضرورة Transformer في مهام السلاسل الزمنية:

  • قد تؤدي ثبات الانتباه الذاتي بالنسبة للترتيب إلى فقدان المعلومات الزمنية
  • يمكن للنماذج البسيطة تحقيق أداء مماثلة في بعض المهام
  • التأكيد على أهمية اختيار معايير مناسبة

الخلاصات والمناقشة

الاستنتاجات الرئيسية

  1. قوة الانحدار الخطي: في مهام التنبؤ بـ TWS، يتفوق الانحدار الخطي البسيط باستمرار على نماذج التعلم العميق المعقدة
  2. أهمية المعايير: يجب أن تكون الطرق الإحصائية التقليدية معايير مهمة في تقييم نماذج التعلم العميق
  3. الأهمية الحاسمة لمجموعة البيانات: الحاجة إلى مجموعات بيانات أساسية عالمية الممثلية تعكس التأثيرات الطبيعية والبشرية
  4. تحديات عدم الاستقرار: تواجه جميع النماذج صعوبات في التعامل مع عدم الاستقرار الناجم عن التأثيرات البشرية

القيود

  1. خصوصية المهمة: قد تكون الاستنتاجات خاصة بمهمة التنبؤ بـ TWS، وقد لا تنطبق على تطبيقات هيدرولوجية أخرى
  2. قيود الميزات: قد يحد نقص ميزات التدخل البشري الصريحة (مثل كمية المياه المستخرجة للري) من مزايا نماذج التعلم العميق
  3. النطاق الزمني: قد تكون 18 سنة من البيانات غير كافية لتقييم التبعيات طويلة الأجل بشكل كامل
  4. المقياس المكاني: قد يخفي التجميع على مستوى الحوض التعقيد على مستوى الشبكة الفرعية

الاتجاهات المستقبلية

  1. هندسة الميزات: تطوير متغيرات وكيل أفضل للأنشطة البشرية
  2. الابتكار المعماري: تصميم معماريات تعلم عميق متخصصة للتعامل مع عدم الاستقرار
  3. استراتيجيات التدريب المسبق: استكشاف تطبيق النماذج الأساسية في الهيدرولوجيا
  4. النمذجة متعددة المقاييس: دمج المعلومات على مقاييس زمكانية مختلفة

التقييم المتعمق

المزايا

  1. تصميم البحث الدقيق: تجارب مقارنة منهجية، تتضمن تحليلات متعددة الأبعاد
  2. جودة مجموعة البيانات العالية: تتمتع مجموعة بيانات HydroGlobe بممثلية عالمية، تتضمن التأثيرات الطبيعية والبشرية
  3. تحليل متعمق: من خلال طرق قابلية التفسير مثل قيم SHAP وأوزان الانتباه، تحليل متعمق لسلوك النموذج
  4. قيمة عملية عالية: توفير إرشادات منهجية مهمة لتطبيقات التعلم العميق في الهيدرولوجيا
  5. كتابة واضحة: منطق واضح، رسوم بيانية غنية، سهلة الفهم

أوجه القصور

  1. قيود القابلية للتعميم: تستند الاستنتاجات بشكل أساسي إلى مهمة التنبؤ بـ TWS، وتحتاج إلى التحقق من قابليتها للتطبيق على تطبيقات هيدرولوجية أخرى
  2. اختيار النموذج: على الرغم من اختيار نماذج ممثلة، لم يتم تغطية جميع معماريات التعلم العميق الحديثة
  3. تحسين المعاملات الفائقة: قد لا يكون استخدام نفس المعاملات الفائقة في التجارب المختلفة عادلاً بما يكفي
  4. غياب القيود الفيزيائية: لم يتم النظر في دور القيود الفيزيائية في النموذج

التأثير

  1. المساهمة الأكاديمية: تطعن في وجهة النظر القائلة بأن التعلم العميق "متفوق بالضرورة" في الهيدرولوجيا
  2. القيمة المنهجية: التأكيد على أهمية اختيار المعايير والمقارنة العادلة
  3. الإرشادات العملية: توفير مرجع مهم لممارسي الهيدرولوجيا في اختيار النموذج
  4. مساهمة مجموعة البيانات: توفر مجموعة بيانات HydroGlobe موردًا قيمًا للأبحاث اللاحقة

السيناريوهات القابلة للتطبيق

  1. إدارة موارد المياه: توفير إرشادات لأقسام إدارة موارد المياه في اختيار أدوات التنبؤ بـ TWS
  2. تقييم تأثيرات المناخ: تقييم تأثير تغير المناخ والأنشطة البشرية على دورة المياه
  3. الإنذار المبكر للأحداث القصوى: الإنذار المبكر لأحداث هيدرولوجية قصوى مثل الفيضانات والجفاف
  4. البحث الأكاديمي: توفير معايير ومجموعات بيانات للبحث في التعلم الآلي الهيدرولوجي

المراجع

تتضمن الورقة مراجع غنية تغطي أعمالًا مهمة في مجالات متعددة مثل التعلم العميق والهيدرولوجيا والاستشعار عن بعد، مما يوفر أساسًا شاملاً للأدبيات للأبحاث ذات الصلة.

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة متعددة التخصصات، تطعن من خلال تصميم تجريبي دقيق وتحليل متعمق في الافتراضات السائدة حول تطبيقات التعلم العميق في الهيدرولوجيا، وتؤكد على قيمة الطرق الإحصائية التقليدية وأهمية اختيار المعايير المناسبة. تتمتع نتائج البحث بأهمية منهجية كبيرة لكل من مجتمع الهيدرولوجيا والتعلم الآلي.