Searching Neural Architectures for Sensor Nodes on IoT Gateways
البحث عن البنى العصبية للعقد الاستشعارية على بوابات إنترنت الأشياء
المعلومات الأساسية
- معرّف الورقة: 2505.23939
- العنوان: البحث عن البنى العصبية للعقد الاستشعارية على بوابات إنترنت الأشياء
- المؤلفون: Andrea Mattia Garavagno, Edoardo Ragusa, Antonio Frisoli, Paolo Gastaldo
- التصنيف: cs.LG (تعلم الآلة)، cs.NI (معمارية الشبكات والإنترنت)
- تاريخ النشر: 29 مايو 2025 (نسخة أولية على arXiv)
- رابط الورقة: https://arxiv.org/abs/2505.23939
الملخص
تقترح هذه الورقة طريقة لتصميم الشبكات العصبية تلقائياً على أجهزة الحافة، مما يمكّن تطبيق تعلم الآلة على تطبيقات إنترنت الأشياء الحساسة للخصوصية. تعمل الطريقة على بوابة إنترنت الأشياء لتصميم الشبكات العصبية للعقد الاستشعارية المتصلة، دون الحاجة إلى مشاركة البيانات المجمعة خارج الشبكة المحلية، حيث تبقى البيانات في موقع جمعها. تتمتع هذه الطريقة بإمكانية تمكين تعلم الآلة لإنترنت الأشياء الطبي (HIoT) والصناعي (IIoT)، مع تصميم شبكات عصبية مخصصة صديقة للأجهزة على الحافة للطب الشخصي والخدمات الصناعية المتقدمة. تُظهر النتائج التجريبية أن الطريقة تحقق نتائج متقدمة على مجموعة بيانات Visual Wake Words، مع اكتمال عملية البحث في أقل من 10 ساعات عند التشغيل على Raspberry Pi Zero 2.
الخلفية البحثية والدافع
تعريف المشكلة
تتطلب طرق البحث عن البنى العصبية (NAS) التقليدية عادة موارد حسابية قوية (مثل مجموعات وحدات معالجة الرسومات)، وتتطلب نقل البيانات إلى السحابة للمعالجة. يؤدي هذا إلى المشاكل التالية في سيناريوهات التطبيقات الحساسة للخصوصية:
- مشاكل خصوصية البيانات: لا يمكن أو لا يرغب في مشاركة المعلومات الحساسة مثل البيانات الطبية والصناعية والبيومترية مع الخدمات السحابية
- قيود الموارد الحسابية: عادة ما تتمتع بوابات إنترنت الأشياء بقدرة حسابية وذاكرة محدودة، ولا يمكنها تشغيل خوارزميات NAS التقليدية
- متطلبات الوقت الفعلي: تحتاج أجهزة الحافة إلى إكمال تصميم الشبكة العصبية ضمن ميزانية زمنية واستهلاك طاقة محدودة
الأهمية البحثية
يعالج هذا البحث مشكلة تصميم نماذج تعلم الآلة التي تحمي الخصوصية في بيئات إنترنت الأشياء المقيدة بالموارد، مع قيمة تطبيقية عملية مهمة:
- إنترنت الأشياء الطبي: توفير شبكات عصبية مخصصة صديقة للأجهزة لكل مريض
- إنترنت الأشياء الصناعي: توفير نماذج تشخيص الأعطال والتحكم في الجودة المخصصة لأجهزة الإنتاج، مع حماية الأسرار الصناعية
قيود الطرق الموجودة
تشمل المشاكل الرئيسية لطرق HW-NAS التقليدية:
- تكاليف حسابية مرتفعة جداً (على سبيل المثال، يتطلب MnasNet 40,000 ساعة GPU)
- افتراض أن المنصة التي تشغل عملية البحث لديها موارد غير محدودة
- عدم القدرة على التشغيل المباشر على أجهزة الحافة
المساهمات الأساسية
- اقتراح استراتيجية بحث جديدة: تقليل وقت البحث من 4 أيام إلى 10 ساعات على Raspberry Pi Zero 2، مع تحقيق نتائج متقدمة على مجموعة بيانات Visual Wake Words
- تطوير آليات تكيفية: تعديل فضاء البحث بناءً على الطاقة والميزانية الزمنية المتاحة لبوابة إنترنت الأشياء، مما يمكّن HW-NAS من التنفيذ تحت الموارد المحدودة
- توسيع قدرات معالجة السلاسل الزمنية: تحقيق نتائج متقدمة على مجموعة بيانات CWRU، مع استغراق 2 ساعة و52 دقيقة فقط على Raspberry Pi 4
- إصدار برنامج مفتوح المصدر: توفير برنامج HW-NAS مفتوح المصدر مصمم لأجهزة Linux المدمجة
شرح الطريقة
تعريف المهمة
بالنظر إلى بوابة إنترنت الأشياء والعقد الاستشعارية المتصلة، الهدف هو تصميم معمارية شبكة عصبية تلقائياً على البوابة تناسب قيود أجهزة العقد الاستشعارية، مع تلبية قيود الموارد الحسابية والزمنية واستهلاك الطاقة للبوابة.
مشكلة التحسين الأساسية
تصمم هذه الطريقة HW-NAS كمشكلة تحسين بستة قيود:
القيود على الحافة (العقد الاستشعارية):
- استخدام الذاكرة العشوائية: ϕ_RAM(A) ≤ ξ_RAM
- ذاكرة الفلاش: ϕ_Flash(A) ≤ ξ_Flash
- عدد عمليات MAC: ϕ_MAC(A) ≤ ξ_MAC
قيود البوابة:
- استخدام الذاكرة: ϕ_MEM(A) ≤ ξ_MEM
- وقت التنفيذ: ϕ_Time(S_α) ≤ ξ_Time
- ميزانية استهلاك الطاقة: ϕ_Energy(S_α) ≤ ξ_Energy
توليد فضاء البحث
الخوارزمية 1: توليد فضاء البحث الموسع
الإدخال: ξ_MEM, ξ_RAM, ξ_Flash, ξ_MAC
الإخراج: Ŝ_α
1. k ← 1, Ŝ_α ← ∅
2. كرر:
3. c ← 0
4. بينما A(k,c) قابلة للتنفيذ:
5. Ŝ_α ← Ŝ_α ∪ (k,c)
6. c ← c + 1
7. k ← k + 1
8. حتى (k,0) غير قابلة للتنفيذ
الخوارزمية 2: تقليم فضاء البحث
تقليم فضاء البحث الموسع بناءً على قيود الزمن والطاقة:
- تقدير الحد الأعلى لوقت تقييم أكبر معمارية t̄
- حساب الحد الأعلى لاستهلاك الطاقة ē = t̄ × w̄ (أقصى قوة)
- إضافة المعماريات المرشحة بترتيب الحجم حتى الوصول إلى حدود القيد
استراتيجية البحث
خوارزمية التحسين ثنائية المستوى
الحلقة الخارجية: البحث عن أفضل عدد نوى الالتفاف k الحلقة الداخلية: بالنظر إلى قيمة k، البحث عن أفضل عدد وحدات البناء c
الخصائص الرئيسية:
- البدء من أصغر حل قابل للتنفيذ (k=1, c=0)
- استخدام زيادة متغيرة ⌊k/2^β⌋ لتعديل خطوة البحث
- تقليل خطوة البحث عندما لا يتحسن الأداء
- تحسين بدون تدرج، مما يقلل متطلبات الذاكرة والحساب
تصميم معمارية الشبكة
يستخدم فضاء بحث قائم على الوحدات، يتضمن أربعة أنواع من الوحدات:
- وحدة المعالجة المسبقة: تطبيع min-max
- الوحدة الأساسية: طبقة التفاف واحدة، k نوى التفاف
- وحدة البناء: تجميع أقصى + التفاف + تطبيع دفعي + تفعيل ReLU
- وحدة المصنف: تجميع متوسط عام + طبقة متصلة بالكامل
صيغة عدد نوى الالتفاف: n_c = n_ + 2^{1-c}n_، حيث n_0 = k
إعداد التجارب
منصات الأجهزة
أجهزة بوابة إنترنت الأشياء
| الجهاز | SoC | الذاكرة العشوائية | ذروة الطاقة |
|---|---|---|---|
| Raspberry Pi 4 | BCM2711 | 4 GiB | 5.6 W |
| Raspberry Pi 3 | BCM2837 | 1 GiB | 4.3 W |
| Raspberry Pi Zero 2 | BCM2710A1 | 0.5 GiB | 2.8 W |
وحدات التحكم الدقيق للعقد الاستشعارية
| نموذج MCU | الذاكرة العشوائية | الفلاش | CoreMark |
|---|---|---|---|
| STM32L010RBT6 | 20 kiB | 128 kiB | 75 |
| STM32U083RCT6 | 32 kiB | 256 kiB | 134 |
| STM32L412KBU3 | 40 kiB | 128 kiB | 273 |
مجموعات البيانات
- Visual Wake Words: 123,000 صورة، مهمة كشف الأشخاص
- CIFAR-10: 60,000 صورة ملونة بحجم 32×32، تصنيف 10 فئات
- سرطان الجلد الميلانوما: 10,000 صورة طبية، كشف الأورام الخبيثة
- CWRU: بيانات السلاسل الزمنية لمقياس التسارع لتشخيص أعطال المحامل المتدحرجة
مؤشرات التقييم
- دقة الاختبار
- استخدام الذاكرة العشوائية (kiB)
- استخدام ذاكرة الفلاش (kiB)
- عدد عمليات MAC (بالملايين)
- كمون الاستدلال (ms)
- وقت البحث واستهلاك الطاقة
نتائج التجارب
النتائج الرئيسية
التكيف مع وحدات التحكم الدقيق منخفضة الطاقة جداً
النتائج على مجموعة بيانات Visual Wake Words:
| MCU المستهدف | المعمارية (k,c) | الذاكرة العشوائية | الفلاش | MAC | دقة الاختبار | الكمون |
|---|---|---|---|---|---|---|
| L010RBT6 | (3,4) | 19 kiB | 10.8 kiB | 0.4 MM | 71% | 42 ms |
| U083RCT6 | (5,5) | 24.5 kiB | 22.7 kiB | 0.9 MM | 75.2% | 63.2 ms |
| L412KBU3 | (8,3) | 31 kiB | 18.8 kiB | 2 MM | 78.3% | 79.1 ms |
تُظهر النتائج أنه مع زيادة موارد الأجهزة، تختار الخوارزمية تلقائياً معماريات أكبر، مما يحقق دقة أعلى.
المقارنة مع الطرق المتقدمة
نتائج المقارنة على مجموعة بيانات Visual Wake Words:
| الطريقة | الدقة | الذاكرة العشوائية | الفلاش | MAC |
|---|---|---|---|---|
| MCUNet | 87.4% | 168.5 kiB | 530.5 kiB | 6 MM |
| Micronets | 76.8% | 70.5 kiB | 273.8 kiB | 3.3 MM |
| ColabNAS | 77.6% | 31.5 kiB | 20.83 kiB | 2 MM |
| NanoNAS | 77% | 28.5 kiB | 23.7 kiB | 1.3 MM |
| الطريقة المقترحة | 78.3% | 31 kiB | 18.8 kiB | 2 MM |
تحقق الطريقة المقترحة ثاني أعلى دقة مع الحفاظ على أقل استخدام للفلاش.
الأداء التكيفية تحت قيود الموارد
التجارب على Raspberry Pi Zero 2 موجهة إلى STM32L412KBU3:
| الميزانية | الاستهلاك الفعلي | فضاء البحث | معدل الاستكشاف | الدقة | موارد المعمارية |
|---|---|---|---|---|---|
| 16.5Wh-9:51 | 16.5Wh-9:51 | 100% | 51% | 77.8% | 28.5kiB RAM |
| 11.0Wh-6:34 | 11.0Wh-6:30 | 33% | 98% | 73.1% | 21.5kiB RAM |
| 5.50Wh-3:17 | 5.41Wh-3:17 | 15% | 95% | 66% | 18.5kiB RAM |
قدرات معالجة السلاسل الزمنية
المقارنة مع Chen وآخرون 54 على مجموعة بيانات CWRU:
| الطريقة | تكلفة البحث | المعمارية (k,c) | الذاكرة العشوائية | الفلاش | MAC | الدقة | الكمون |
|---|---|---|---|---|---|---|---|
| الطريقة المقترحة | 6.4Wh-1:52 | (6,4) | 13.5 kiB | 12.9 kiB | 0.6 MM | 99.5% | 34 ms |
| Chen وآخرون 54 | n/a | n/a | 66.5 kiB | 163.4 kiB | 0.2 MM | 99.3% | 38.2 ms |
تحقق الطريقة المقترحة دقة أعلى مع تقليل استخدام الذاكرة العشوائية بمعامل 4.9 واستخدام الفلاش بمعامل 12.7.
الأعمال ذات الصلة
تطور HW-NAS
- الطرق المبكرة: يتطلب MnasNet 40,000 ساعة GPU
- الطرق المحسنة: يقلل MCUNet إلى 300 ساعة GPU
- الطرق الخفيفة الوزن: يتطلب ColabNAS 4 ساعات GPU فقط
- الطرق المدمجة: NanoNAS أول من يعمل على الأجهزة المدمجة
تصنيف منصات التنفيذ
| العمل | GPU | CPU | جهاز مدمج |
|---|---|---|---|
| MnasNet | ✓ | ||
| MCUNet | ✓ | ||
| ColabNAS | ✓ | ||
| NanoNAS v1 | ✓ | ||
| NanoNAS v2 | ✓ | ||
| الورقة الحالية | ✓ (تكيفي) |
الخلاصة والنقاش
الاستنتاجات الرئيسية
- حماية الخصوصية: تحقيق تصميم شبكة عصبية محلي بالكامل، دون الحاجة إلى مغادرة البيانات موقع جمعها
- الكفاءة في استخدام الموارد: تشغيل HW-NAS بنجاح على بوابات إنترنت الأشياء المقيدة بالموارد
- الأداء المتفوق: تحقيق نتائج متقدمة على عدة مجموعات بيانات معيارية
- القدرة على التكيف: القدرة على تعديل استراتيجية البحث ديناميكياً بناءً على الموارد المتاحة
القيود
- قيود فضاء البحث: استخدام فضاء بحث قائم على الوحدات نسبياً بسيط
- استراتيجية التقييم: استخدام 3 حقب فقط لتقييم المعماريات المرشحة، قد يؤثر على الدقة
- الاعتماد على الأجهزة: التحسين الرئيسي للأجهزة المدمجة ذات معمارية ARM
- قيود المهام: التحقق الرئيسي من مهام تصنيف الصور والسلاسل الزمنية البسيطة
الاتجاهات المستقبلية
- التقييم بدون تدريب: استخدام تقنيات تقييم المعمارية بدون تدريب لتقليل تكاليف البحث بشكل أكبر
- المهام الأكثر تعقيداً: التوسع إلى كشف الأجسام والتقسيم الدلالي والمهام الأكثر تعقيداً
- التحسين متعدد الأهداف: تحسين دقة متزامن وكمون واستهلاك طاقة وأهداف متعددة أخرى
- التعلم الموحد المتكامل: الدمج مع التعلم الموحد لتحقيق التدريب الموزع المحمي بالخصوصية
التقييم المتعمق
المزايا
- الابتكار القوي: أول من يحقق HW-NAS التكيفي على بوابات إنترنت الأشياء، مما يحل مشكلة عملية مهمة
- القيمة العملية العالية: توفير حل قابل للتطبيق لتطبيقات إنترنت الأشياء الحساسة للخصوصية
- التحقق التجريبي الشامل: التحقق الشامل على منصات أجهزة متعددة ومجموعات بيانات
- المساهمة مفتوحة المصدر: توفير تطبيق مفتوح المصدر كامل، مما يعزز تطور المجال
أوجه القصور
- تعقيد الطريقة: الحاجة إلى تقدير حدود الزمن والطاقة مسبقاً، مما يزيد من تعقيد النشر
- القدرة على التعميم: التحقق الرئيسي على معمارية ARM المحددة، وتطبيقية على معماريات أخرى تحتاج إلى التحقق
- نقص التحليل النظري: افتقار إلى الضمانات النظرية لتقارب استراتيجية البحث
- دقة التقييم: قد لا يكون التقييم بـ 3 حقب كافياً
التأثير
- القيمة الأكاديمية: توفير اتجاه بحثي جديد لذكاء الحافة وتعلم الآلة المحمي بالخصوصية
- التطبيق الصناعي: إمكانية تطبيق مباشرة في مجالات إنترنت الأشياء الطبي والصناعي
- نشر التكنولوجيا: يساعد البرنامج مفتوح المصدر على الاعتماد الواسع والتطوير الإضافي
السيناريوهات المطبقة
- إنترنت الأشياء الطبي: أنظمة مراقبة المرضى والتشخيص داخل المستشفيات
- إنترنت الأشياء الصناعي: التحكم في الجودة ومراقبة الأجهزة لخطوط الإنتاج
- المنازل الذكية: أنظمة المراقبة والتحكم المنزلية الحساسة للخصوصية
- الحوسبة الطرفية: نشر نماذج الذكاء الاصطناعي على أجهزة الحافة المقيدة بالموارد
المراجع
تستشهد الورقة بـ 68 مرجعاً ذا صلة، تغطي مجالات متعددة بما في ذلك البحث عن البنى العصبية والحوسبة الطرفية وأمان إنترنت الأشياء، مما يوفر أساساً نظرياً متيناً للبحث.
التقييم الإجمالي: هذه ورقة عالية الجودة ذات قيمة عملية مهمة، تحل بنجاح مشكلة تصميم الشبكات العصبية المحمية بالخصوصية في بيئات إنترنت الأشياء المقيدة بالموارد. الطريقة مبتكرة بقوة، والتحقق التجريبي شامل، وتتمتع بأهمية كبيرة في دفع تطور ذكاء الحافة وتعلم الآلة المحمي بالخصوصية.