2025-11-21T07:37:22.920666

Edge Delayed Deep Deterministic Policy Gradient: efficient continuous control for edge scenarios

Sinigaglia, Turcato, Carli et al.
Deep Reinforcement Learning is gaining increasing attention thanks to its capability to learn complex policies in high-dimensional settings. Recent advancements utilize a dual-network architecture to learn optimal policies through the Q-learning algorithm. However, this approach has notable drawbacks, such as an overestimation bias that can disrupt the learning process and degrade the performance of the resulting policy. To address this, novel algorithms have been developed that mitigate overestimation bias by employing multiple Q-functions. Edge scenarios, which prioritize privacy, have recently gained prominence. In these settings, limited computational resources pose a significant challenge for complex Machine Learning approaches, making the efficiency of algorithms crucial for their performance. In this work, we introduce a novel Reinforcement Learning algorithm tailored for edge scenarios, called Edge Delayed Deep Deterministic Policy Gradient (EdgeD3). EdgeD3 enhances the Deep Deterministic Policy Gradient (DDPG) algorithm, achieving significantly improved performance with $25\%$ less Graphics Process Unit (GPU) time while maintaining the same memory usage. Additionally, EdgeD3 consistently matches or surpasses the performance of state-of-the-art methods across various benchmarks, all while using $30\%$ fewer computational resources and requiring $30\%$ less memory.
academic

تدرج السياسة الحتمية العميق المتأخر للحافة: التحكم المستمر الفعال لسيناريوهات الحافة

المعلومات الأساسية

  • معرف الورقة: 2412.06390
  • العنوان: Edge Delayed Deep Deterministic Policy Gradient: efficient continuous control for edge scenarios
  • المؤلفون: Alberto Sinigaglia, Niccolò Turcato, Carli Ruggero, Gian Antonio Susto
  • التصنيف: cs.LG cs.AI
  • المجلة المنشورة: IEEE Transactions on Automation Science and Engineering
  • رابط الورقة: https://arxiv.org/abs/2412.06390

الملخص

يحظى التعلم العميق المعزز (DRL) باهتمام كبير لقدرته على تعلم سياسات معقدة في فضاءات الإدخال عالية الأبعاد. تعتمد خوارزميات DRL الحديثة عادةً على معمارية Q-learning ثنائية الشبكة لتقريب السياسة المثلى والتغلب على انحياز الإفراط في التقدير. ومع ذلك، مع ظهور سيناريوهات الحوسبة الطرفية، تتطلب المخاوف المتعلقة بالخصوصية والقيود الصارمة للأجهزة خوارزميات فعالة. تقدم هذه الورقة EdgeD3 (Edge Delayed Deep Deterministic Policy Gradient)، وهي خوارزمية تعلم معزز جديدة مصممة خصيصاً لبيئات الحوسبة الطرفية. يقلل EdgeD3 بشكل كبير من وقت GPU (25%) واستخدام الذاكرة الحسابية (30%)، مع تحقيق أو تجاوز أداء الخوارزميات المتقدمة على عدة معايير ومهام عملية.

الخلفية البحثية والدافع

تعريف المشكلة

  1. مشكلة انحياز الإفراط في التقدير: تعاني خوارزميات Q-learning التقليدية من انحياز الإفراط في التقدير، مما يعطل عملية التعلم ويقلل من أداء السياسة
  2. قيود موارد الحوسبة الطرفية: تتمتع أجهزة الحافة بموارد حسابية وذاكرة محدودة، وتتطلب طرق الشبكات المتعددة الموجودة (مثل TD3 و SAC) نفقات حسابية كبيرة
  3. متطلبات حماية الخصوصية: تتطلب سيناريوهات الحافة التعلم على الجهاز، مما يتجنب النقل إلى السحابة ويحمي خصوصية البيانات

أهمية البحث

  • تطبيقات الحوسبة الطرفية واسعة الانتشار في المركبات ذاتية القيادة والتصنيع الذكي والرعاية الصحية الذكية
  • تستخدم الخوارزميات الموجودة (TD3 و SAC وغيرها) ما يصل إلى 10 شبكات Q، مع نفقات ذاكرة وحسابية تبلغ 10 أضعاف الخوارزمية الأصلية
  • تحتاج أجهزة الحافة إلى تحقيق التعلم الفعال ضمن موارد محدودة

قيود الطرق الموجودة

  • TD3/SAC: استخدام آلية Q-network مزدوجة، زيادة استخدام الذاكرة بنسبة 29-31%، زيادة وقت الحساب بأكثر من 30%
  • الخوارزميات الحديثة (TQC و REDQ وغيرها): استخدام 5-10 شبكات Q، نفقات حسابية أكبر، غير مناسبة لسيناريوهات الحافة
  • آلية CDQ: تفتقر إلى التحكم الدقيق في المقايضة بين الانحيازات

المساهمات الأساسية

  1. دالة خسارة Expectile جديدة: اقتراح دالة خسارة قائمة على الكميات المتوقعة يمكنها التحكم في انحياز الإفراط في التقدير باستخدام شبكة Q واحدة فقط
  2. خوارزمية EdgeD3: خوارزمية فعالة تجمع بين خسارة Expectile والتحديث المتأخر وتقنيات تسوية الهدف
  3. التحليل النظري: إثبات الرتابة والتقارب المقارب لخسارة Expectile
  4. التحقق التجريبي الشامل: التحقق من فعالية الخوارزمية في بيئات محاكاة Mujoco ومهام الملاحة الروبوتية الحقيقية
  5. تحسين كفاءة الموارد: تقليل وقت GPU بنسبة 25% مقارنة بـ DDPG، وتقليل الحساب والذاكرة بنسبة 30% مقارنة بطرق SOTA

شرح الطريقة

تعريف المهمة

دراسة عملية ماركوف للقرار (MDP) للتحكم المستمر، معرفة كخمسة عناصر (S,A,P,R,γ):

  • S: فضاء الحالة المستمر
  • A: فضاء الحركة المستمر
  • P: دالة كثافة احتمالية انتقال الحالة
  • R: دالة المكافأة r: S×A×S → ℝ
  • γ: عامل الخصم

الهدف هو تعلم السياسة μ_φ(a_t|s_t) لتعظيم المكافأة المتراكمة المتوقعة.

الابتكارات التقنية الأساسية

1. دالة خسارة Expectile

نسخة غير متماثلة من خسارة MSE التقليدية:

L_{α,β}(f_θ(x), y) = 1/Z {
    α(y - f_θ(x))² إذا كان f_θ(x) < y
    β(y - f_θ(x))² وإلا
}

حيث Z = max(α,β) هو ثابت التطبيع.

الخصائص الرئيسية:

  • α = β: تتحول إلى MSE القياسي
  • α < β: تميل إلى التقليل، للتصدي للإفراط في التقدير في Q-learning
  • α > β: تميل إلى الإفراط في التقدير

2. الضمانات النظرية

النظرية 1 (رتابة Expectile): دالة Expectile رتيبة غير متناقصة فيما يتعلق بـ τ، أي τ₁ ≤ τ₂ ⟹ t₁ ≤ t₂

النتيجة 1.1 (التقارب المقارب): من خلال دالة التحلل λ(t)، يمكن ضمان تقارب الخوارزمية في النهاية إلى تقدير غير متحيز:

min(α_{t+1}, β_{t+1}) ← min(α_t, β_t) + |α_t - β_t| · λ(t)

3. معمارية خوارزمية EdgeD3

نسخة EdgeDDPG الأساسية:

  • تحديث الناقد: استخدام خسارة Expectile بدلاً من MSE
  • تحديث الممثل: تدرج السياسة الحتمية القياسي

نسخة EdgeD3 الكاملة:

  • تحديث السياسة المتأخر: تحديث شبكة الممثل كل k خطوة
  • تسوية الهدف: إضافة ضوضاء في تقدير الهدف
  • خسارة Expectile: التحكم في انحياز التقدير
# صيغة التحديث الرئيسية
y = E_{ε~p(x)}[r + γQ_{θ'}(s', ε + μ_{φ'}(s'))]
∇L(θ) = ∇_θ N^{-1} Σ L_{α,β}(y, Q_θ(s,a))

تسوية المناظر الطبيعية للتحسين

استخدام حقن الضوضاء الهدف بدلاً من عقوبة التدرج:

  • الطريقة التقليدية: L(θ) = MSE + ξ||∇_a Q(s,a)||² (مكلفة حسابياً)
  • طريقة هذه الورقة: إضافة ضوضاء في الهدف، معادلة لعقوبة التدرج لكن أكثر كفاءة حسابية

إعداد التجارب

بيئات المحاكاة

  • مجموعة البيانات: مجموعة بيئات محاكاة فيزيائية Mujoco
  • المهام: Ant و Reacher و Hopper و Walker2d و Humanoid و HalfCheetah و Swimmer
  • التقييم: تقييم 10 حلقات كل 5000 خطوة، 10 بذور عشوائية

التجارب على الروبوتات الحقيقية

  • المنصة: TurtleBot مخصص + Raspberry Pi3B + ليدار ثنائي الأبعاد
  • المهام: ملاحة الممر والملاحة في بيئات غير منظمة
  • الحالة: 16 بُعد مسح ليدار + السرعة الخطية + السرعة الزاوية
  • الحركة: تحكم مستمر ثنائي الأبعاد (السرعة الخطية والسرعة الزاوية)

طرق المقارنة

  • DDPG: تدرج السياسة الحتمية العميق الأساسي
  • TD3: Twin Delayed DDPG
  • SAC: Soft Actor-Critic
  • PPO: Proximal Policy Optimization

مؤشرات التقييم

  • الأداء: المكافأة المتراكمة
  • استخدام الموارد: وقت GPU واستهلاك الذاكرة
  • كفاءة التدريب: الأداء ضمن نفس ميزانية الوقت

نتائج التجارب

مقارنة استخدام الموارد

استخدام الذاكرة (نسبة إلى EdgeD3):

  • DDPG: -1.2%
  • TD3: +29.3%
  • SAC: +31.1%

مقارنة وقت GPU:

  • EdgeD3: 214.0±7.1ms
  • DDPG: 285.5±7.4ms (-25.0%)
  • TD3: 308.2±2.7ms (-30.5%)
  • SAC(متأخر): 320.9±3.6ms (-33.3%)
  • SAC(أصلي): 492.9±2.9ms (-56.8%)

مقارنة الأداء

أفضل أداء في بيئات المحاكاة (ضمن نفس ميزانية الوقت):

البيئةEdgeD3DDPGSACTD3
Ant-v34350.04990.552739.814208.10
Hopper-v33388.442222.853148.892786.22
Walker2d-v33788.071601.162974.403580.83
HalfCheetah10645.810309.08937.39677.5

يحقق EdgeD3 أفضل أداء في 5 من أصل 7 مهام، ويحتل المركز الثاني في المهام المتبقية.

النتائج على الروبوتات الحقيقية

  • ملاحة الممر: يُظهر EdgeD3 أفضل أداء منذ بداية التدريب
  • الملاحة غير المنظمة: يتفوق EdgeD3 على الطرق الأخرى بعد 30 دقيقة
  • تكرار التحديث: EdgeD3(8Hz) > TD3(5.9Hz) > DDPG(5.8Hz) > SAC(3.3Hz)

تجارب الاستئصال

اختبار تأثير مجموعات α,β المختلفة:

  • Swimmer: α>β (يميل إلى الإفراط في التقدير) يعطي نتائج أفضل
  • Ant: α<β (يميل إلى التقليل) يعطي نتائج أفضل
  • يثبت المرونة الفائقة لخسارة Expectile على آلية CDQ الثابتة

الأعمال ذات الصلة

تخفيف انحياز التقدير

  • Double Q-learning: استخدام مقدرين مستقلين
  • طرق Ensemble: TQC (5 شبكات) و REDQ (10 شبكات) و RAC (10 شبكات)
  • مساهمة هذه الورقة: حل أحادي الشبكة، حسابياً فعال

التعلم المعزز للحوسبة الطرفية

  • ضغط النموذج: التكمية والقص وغيرها
  • تحسين الخوارزمية: هذه الورقة هي الأولى التي تحل مشكلة كفاءة RL للحافة على مستوى الخوارزمية

التحكم المستمر

  • طرق Actor-Critic: DDPG و TD3 و SAC وغيرها
  • تدرج السياسة: تحسين معاملات السياسة مباشرة

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. تحسن الكفاءة: يقلل EdgeD3 الحساب والذاكرة بنسبة 30% مقارنة بطرق SOTA
  2. الحفاظ على الأداء: يحقق أو يتجاوز أداء الطرق المتقدمة في معظم المهام
  3. العملية: تم التحقق من جدوى النشر على الحافة على روبوتات حقيقية
  4. الأساس النظري: يوفر تحليلاً نظرياً كاملاً وضمانات تقارب

القيود

  1. المهام المعقدة: لا يزال هناك مجال للتحسن في المهام المعقدة جداً مثل Humanoid
  2. المعاملات الفائقة: على الرغم من أن α=1,β=2 قيم أولية جيدة، لا تزال هناك حاجة لضبط يتعلق بالمهمة
  3. الاعتماد على البيئة: قد تتطلب بيئات مختلفة إعدادات α,β مختلفة

الاتجاهات المستقبلية

  1. المعاملات الفائقة التكيفية: ضبط معاملات α,β على الإنترنت
  2. دوال خسارة أخرى: استكشاف خسارة الكميات وخسارة Huber غير المتوازنة وغيرها
  3. الدمج مع ضغط النموذج: الدمج مع تقنيات التكمية والقص وغيرها

التقييم المتعمق

المزايا

  1. ابتكار قوي: أول من يقدم انحدار Expectile إلى RL، حل مشكلة انحياز الإفراط في التقدير
  2. قيمة عملية عالية: حل مباشر لمشكلة قيود الموارد في الحوسبة الطرفية
  3. نظرية كاملة: توفير ضمانات نظرية مثل الرتابة والتقارب
  4. تجارب شاملة: التحقق المزدوج من المحاكاة والروبوتات الحقيقية
  5. كتابة واضحة: وصف خوارزمي مفصل، قابلية عالية للتكرار

أوجه القصور

  1. نطاق التطبيق: يركز بشكل أساسي على التحكم المستمر، قابلية التطبيق على فضاء الحركة المنفصل غير معروفة
  2. حساسية المعاملات الفائقة: تتطلب مهام مختلفة ضبط α,β، تفتقر إلى طرق أتمتة
  3. المقارنة غير كاملة: تفتقد المقارنة مع أحدث طرق ensemble (مثل أحدث طرق نماذج الطاقة)

التأثير

  1. المساهمة الأكاديمية: فتح اتجاه جديد لـ RL للحافة، توازن بين النظرية والممارسة
  2. التطبيق الصناعي: قابل للتطبيق المباشر على النشر العملي مع موارد محدودة
  3. قابلية التكرار: توفير خوارزمية كاملة وإعدادات معاملات فائقة

السيناريوهات المناسبة

  1. أجهزة الحافة: الروبوتات المحمولة والطائرات بدون طيار وأجهزة IoT
  2. التحكم في الوقت الفعلي: مهام التحكم التي تتطلب استجابة منخفضة التأخير
  3. حماية الخصوصية: السيناريوهات التي لا يمكن نقل البيانات إلى السحابة
  4. الموارد المحدودة: البيئات التي تتمتع بقيود صارمة على CPU والذاكرة واستهلاك الطاقة

المراجع

تستشهد الورقة بـ 56 مرجعاً مهماً في مجالات التعلم المعزز والتحكم المستمر والحوسبة الطرفية، وتغطي مكدس التكنولوجيا الكامل من الأساس النظري إلى التطبيق العملي، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الإجمالي: هذه ورقة بحثية عالية الجودة بمساهمات بارزة في الابتكار النظري والتحقق التجريبي والقيمة العملية. تحل خوارزمية EdgeD3 بذكاء مشكلة كفاءة RL في سيناريوهات الحوسبة الطرفية، وتتمتع بقيمة أكاديمية وآفاق تطبيقية مهمة.