2025-11-12T20:43:14.525720

Multi Class Parkinsons Disease Detection Based on Finger Tapping Using Attention-Enhanced CNN BiLSTM

Miah, Hassan, Hossain et al.
Effective clinical management and intervention development depend on accurate evaluation of Parkinsons disease (PD) severity. Many researchers have worked on developing gesture-based PD recognition systems; however, their performance accuracy is not satisfactory. In this study, we propose a multi-class Parkinson Disease detection system based on finger tapping using an attention-enhanced CNN BiLSTM. We collected finger tapping videos and derived temporal, frequency, and amplitude based features from wrist and hand movements. Then, we proposed a hybrid deep learning framework integrating CNN, BiLSTM, and attention mechanisms for multi-class PD severity classification from video-derived motion features. First, the input sequence is reshaped and passed through a Conv1D MaxPooling block to capture local spatial dependencies. The resulting feature maps are fed into a BiLSTM layer to model temporal dynamics. An attention mechanism focuses on the most informative temporal features, producing a context vector that is further processed by a second BiLSTM layer. CNN-derived features and attention-enhanced BiLSTM outputs are concatenated, followed by dense and dropout layers, before the final softmax classifier outputs the predicted PD severity level. The model demonstrated strong performance in distinguishing between the five severity classes, suggesting that integrating spatial temporal representations with attention mechanisms can improve automated PD severity detection, making it a promising non-invasive tool to support clinicians in PD monitoring and progression tracking.
academic

كشف مرض باركنسون متعدد الفئات بناءً على نقر الأصابع باستخدام CNN-BiLSTM المحسّن بآلية الانتباه

المعلومات الأساسية

  • معرّف الورقة البحثية: 2510.10121
  • العنوان: Multi-Class Parkinson's Disease Detection Based on Finger Tapping Using Attention-Enhanced CNN-BiLSTM
  • المؤلفون: Abu Saleh Musa Miah, Md Maruf Al Hossain, Najmul Hassan, Yuichi Okuyama, Jungpil Shin
  • التصنيف: cs.CV (رؤية الحاسوب)
  • تاريخ النشر: 11 أكتوبر 2025 (نسخة arXiv المسبقة)
  • رابط الورقة: https://arxiv.org/abs/2510.10121

الملخص

يعتمد الإدارة السريرية الفعالة لمرض باركنسون (PD) وتطوير التدخلات على التقييم الدقيق لشدة المرض. تقترح هذه الدراسة نظاماً لكشف مرض باركنسون متعدد الفئات بناءً على نقر الأصابع، باستخدام معمارية CNN-BiLSTM المحسّنة بآلية الانتباه. تستخرج الدراسة خصائص زمنية وترددية وسعة من مقاطع فيديو نقر الأصابع، وتبني إطار عمل تعلم عميق هجين يدمج CNN و BiLSTM وآليات الانتباه. يلتقط النموذج التبعيات المكانية المحلية من خلال كتل Conv1D-MaxPooling، وتقوم طبقات BiLSTM بنمذجة الديناميكيات الزمنية، وآليات الانتباه تركز على أكثر الخصائص الزمنية إفادة. حقق النموذج دقة تصنيف بنسبة 93%، مع أداء ممتازة في التمييز بين خمس مستويات شدة.

خلفية البحث والدافع

تعريف المشكلة

مرض باركنسون هو مرض تنكسي عصبي تقدمي يؤثر على أكثر من 10 ملايين شخص حول العالم، ويتميز بأعراض حركية رئيسية تشمل الرعاش والتصلب والبطء الحركي وعدم الاستقرار الوضعي. يعتمد التقييم التقليدي لشدة مرض باركنسون بشكل أساسي على المقاييس السريرية مثل مقياس تقييم مرض باركنسون الموحد (UPDRS) و MDS-UPDRS.

قيود الطرق الموجودة

  1. الذاتية العالية: يعتمد التقييم السريري التقليدي على الحكم الذاتي للطبيب، مع وجود تباين بين المقيّمين
  2. استهلاك الوقت والموارد: تتطلب عملية التقييم السريري وقتاً وموارد بشرية كبيرة
  3. نقص الاتساق: غياب طرق تقييم موضوعية وموحدة، مما يؤثر على تتبع تطور المرض
  4. عدم كفاية الدقة: أداء الأنظمة الحالية لتحديد مرض باركنسون بناءً على الإيماءات غير كافية

دافع البحث

تطوير طريقة تقييم تلقائية غير جائحة وموضوعية وسهلة الوصول لشدة مرض باركنسون بناءً على تحليل الفيديو، باستخدام تقنيات رؤية الحاسوب والتعلم الآلي لتحقيق تصنيف دقيق للمرض، وتوفير أداة تشخيص مساعدة موثوقة للأطباء السريريين.

المساهمات الأساسية

  1. اقتراح معمارية هجينة CNN-BiLSTM محسّنة بآلية الانتباه، تدمج بفعالية استخراج الخصائص المكانية ونمذجة السلاسل الزمنية
  2. تحقيق تصنيف متعدد الفئات لشدة مرض باركنسون، مع القدرة على التمييز بين خمس مستويات شدة مختلفة
  3. دمج آليات الانتباه، مما يحسّن قدرة النموذج على التركيز على الخصائص الزمنية الحرجة
  4. تحقيق دقة تصنيف بنسبة 93%، متفوقة بشكل ملحوظ على طرق الأساس
  5. توفير أداة مراقبة غير جائحة لمرض باركنسون، تدعم الأطباء السريريين في تتبع تطور المرض

شرح الطريقة

تعريف المهمة

الإدخال: متجه خصائص بـ 57 بُعد مشتق من مقاطع فيديو نقر الأصابع، يتضمن خصائص زمنية وترددية وسعة الإخراج: نتيجة تصنيف شدة مرض باركنسون في خمس فئات (الفئة 0-4) القيود: بيانات معلّمة من قبل الخبراء بناءً على معيار MDS-UPDRS

معمارية النموذج

التصميم الشامل

يعتمد النموذج على عملية معالجة متعددة المراحل:

  1. إعادة تشكيل الإدخال: إعادة تشكيل الخصائص البالغة 57 بُعد إلى صيغة متسلسلة
  2. استخراج خصائص CNN: Conv1D + MaxPooling1D لالتقاط الأنماط المكانية المحلية
  3. نمذجة BiLSTM الزمنية: LSTM ثنائي الاتجاه لنمذجة العلاقات الزمنية
  4. آلية الانتباه: التركيز على أهم الخصائص الزمنية
  5. دمج الخصائص: ربط خصائص CNN و BiLSTM المحسّنة بآلية الانتباه
  6. إخراج التصنيف: طبقة متصلة بالكامل + Softmax للتصنيف الخماسي

الصيغ الرياضية

تمثيل الإدخال:

X = {x₁, x₂, ..., xₙ}, xᵢ ∈ R⁵⁷

معالجة الالتفاف:

X_reshaped = Reshape(X) ∈ R^(N×57×1)
X_conv = Conv1D(X_reshaped)
X_pool = MaxPooling1D(X_conv)

نمذجة BiLSTM:

hₜ = BiLSTM(X_pool)

آلية الانتباه:

score(i,j) = tanh(W₁hᵢ + W₂hⱼ)
αᵢⱼ = softmax(V(score(i,j)))
cⱼ = Σᵢ αᵢⱼhᵢ

دمج الخصائص والإخراج:

X_combined = [Flatten(X_conv), Flatten(h_final)]
ŷ = softmax(Dense(X_combined))

نقاط الابتكار التقني

  1. دمج الخصائص متعددة الأنماط: الاستفادة المتزامنة من الخصائص المكانية المستخرجة بواسطة CNN والخصائص الزمنية المنمذجة بواسطة BiLSTM
  2. تصميم BiLSTM ثنائي الطبقات: الطبقة الأولى تنمذج التبعيات الزمنية الأساسية، والطبقة الثانية تعالج الخصائص المحسّنة بآلية الانتباه
  3. أوزان انتباه تكيفية: حساب ديناميكي لأوزان الانتباه، مع التركيز التلقائي على الفترات الزمنية الحرجة
  4. التحسين من طرف إلى طرف: يمكن تدريب المعمارية بأكملها من طرف إلى طرف، مما يتجنب هندسة الخصائص اليدوية

إعداد التجارب

مجموعة البيانات

  • مصدر البيانات: مجموعة بيانات ParkTest العامة
  • حجم البيانات: مقاطع فيديو نقر الأصابع من 250 مشارك عالمي
  • جمع البيانات: تم جمع معظمها في منازل المشاركين عبر كاميرا الويب، مع إكمال 48 شخص في العيادة
  • طريقة التعليق: معلّمة من قبل أطباء أعصاب متخصصين ومقيّمين معتمدين في MDS-UPDRS
  • بُعد الخصائص: 57 خاصية، تتضمن سرعة نقر الأصابع والتسارع والتردد والدورة والسعة وإزاحة الرسغ

مقاييس التقييم

  • الدقة (Accuracy): دقة التصنيف الشاملة
  • الدقة (Precision): دقة التنبؤ لكل فئة
  • الاستدعاء (Recall): معدل الكشف لكل فئة
  • درجة F1: المتوسط التوافقي للدقة والاستدعاء
  • المتوسط الكلي: متوسط مؤشرات كل فئة

طرق المقارنة

  • طريقة الأساس: الطريقة الأصلية المقترحة من قبل Islam وآخرون 1
  • دراسات الاستئصال: تحليل مساهمة مكونات CNN و BiLSTM وآليات الانتباه

تفاصيل التنفيذ

  • محسّن: محسّن Adam
  • دالة الخسارة: فقدان الإنتروبيا المتقاطعة للتصنيف المتفرق
  • عدد الحقب: 100 حقبة
  • معدل Dropout: 0.2
  • الطبقة المتصلة بالكامل: 250 وحدة
  • وقت التدريب: 31.82 ثانية (100 حقبة)

نتائج التجارب

النتائج الرئيسية

الفئةالدقةالاستدعاءدرجة F1
095.00%95.00%95.00%
192.00%92.00%92.00%
290.00%97.00%93.00%
3100.00%83.00%91.00%
4100.00%100.00%100.00%
المتوسط الكلي95.40%93.40%94.20%
دقة شاملة93.00%

النتائج الرئيسية

  1. أداء شاملة ممتازة: دقة بنسبة 93% متفوقة بشكل ملحوظ على طريقة الأساس
  2. تحديد الحالات الحادة: حققت الفئة 4 (حادة) دقة واستدعاء ودرجة F1 بنسبة 100%
  3. أداء متوازنة للفئات: أداء جيدة لجميع مستويات الشدة
  4. تدريب فعال: يتطلب فقط 31.82 ثانية لإكمال 100 حقبة
  5. تحليل مصفوفة الالتباس: تركيز عالي على القطر، مع أخطاء تصنيف قليلة

تحليل أداء النموذج

  • أداء الفئة 2: أعلى معدل استدعاء (97%)، دقة 90%، مما يشير إلى حساسية قوية للنموذج تجاه هذه الفئة
  • الفئات 3-4: تحديد دقيق للحالات الحادة، ذو أهمية سريرية كبيرة
  • تأثير الانتباه: نجح في التقاط الأنماط الزمنية ذات الصلة في خصائص المشية
  • مزايا المعمارية: الجمع بين CNN و BiLSTM يحسّن بفعالية القدرة على التمييز بين مستويات الشدة المتجاورة

الأعمال ذات الصلة

طرق التعلم الآلي التقليدية

  • هندسة الخصائص: خوارزميات SVM وأشجار القرار والغابات العشوائية مع خصائص يدوية
  • دمج متعدد الأنماط: دمج البيانات الصورية والبيانات السريرية لتحسين أداء التشخيص
  • القابلية للتفسير: طرق مثل EBM توفر تفسيرات عامة وموضعية شفافة

تقدم التعلم العميق

  • تطبيقات CNN: معمارية ResNet18 حققت دقة 98.66% على بيانات التصوير بالرنين المغناطيسي
  • آليات الانتباه: AttentionLUNet يدمج LeNet و U-Net، بدقة تصل إلى 99.58%
  • نمذجة السلاسل الزمنية: CNN-LSTM حقق دقة 93.51% على بيانات الكلام
  • الانتباه ثلاثي الأبعاد: شبكة متبقية متعددة الرؤوس للانتباه لتحديد التغييرات الحركية

مزايا هذه الورقة

مقارنة بالأعمال الموجودة، تدمج هذه الورقة لأول مرة CNN و BiLSTM وآليات الانتباه بشكل كامل لتصنيف شدة مرض باركنسون متعدد الفئات، محققة أداء أفضل على خصائص الحركة المشتقة من الفيديو.

الخلاصة والنقاش

الاستنتاجات الرئيسية

  1. فعالية الطريقة: معمارية CNN-BiLSTM المحسّنة بآلية الانتباه قادرة على كشف شدة مرض باركنسون متعدد الفئات بفعالية
  2. أهمية الخصائص: الجمع بين الخصائص الزمنية والترددية والسعة حاسم لتصنيف مرض باركنسون
  3. القيمة السريرية: توفير أداة تقييم موضوعية وقابلة للتكرار للمرض
  4. المزايا التقنية: دمج التمثيلات المكانية-الزمنية مع آليات الانتباه يحسّن بشكل ملحوظ أداء كشف شدة مرض باركنسون المؤتمتة

القيود

  1. حجم مجموعة البيانات: 250 عينة نسبياً صغيرة، قد تؤثر على قدرة النموذج على التعميم
  2. الاعتماد على الخصائص: يعتمد على خصائص مستخرجة يدوياً مسبقاً، لم يحقق معالجة فيديو خام من طرف إلى طرف
  3. أحادية الأسلوب: يعتمد فقط على نقر الأصابع، لم يدمج أنماط حركية أخرى
  4. التحقق عبر مجموعات البيانات: غياب التحقق على مجموعات بيانات مستقلة أخرى

الاتجاهات المستقبلية

  1. دمج متعدد الأنماط: دمج بيانات المشية والكلام والتعبيرات الوجهية وأنماط أخرى
  2. التعلم من طرف إلى طرف: التعلم المباشر من الفيديو الخام لتمثيل الخصائص
  3. التحقق على نطاق واسع: التحقق على مجموعات بيانات أكبر وموزعة على عدة مراكز
  4. التطبيقات في الوقت الفعلي: تطوير نظام مراقبة مرض باركنسون في الوقت الفعلي
  5. القابلية للتفسير: تعزيز القابلية للتفسير والموثوقية السريرية للنموذج

التقييم المتعمق

المزايا

  1. ابتكار المعمارية: دمج أول مرة لـ CNN و BiLSTM وآليات الانتباه لتصنيف مرض باركنسون
  2. أداء ممتازة: دقة 93% تعتبر مستوى عالي نسبياً في هذا المجال
  3. القيمة العملية: توفير أداة تقييم غير جائحة وموضوعية لمرض باركنسون
  4. الاكتمال التقني: سلسلة تقنية كاملة من استخراج الخصائص إلى التصنيف
  5. الملاءمة السريرية: بناءً على معيار MDS-UPDRS القياسي، ذو موثوقية سريرية

أوجه القصور

  1. قيود حجم البيانات: 250 عينة قد لا تكون كافية لتدريب نموذج عميق بشكل كامل
  2. الاعتماد على هندسة الخصائص: لا يزال يتطلب خصائص مصممة يدوياً، لم يحقق التعلم من طرف إلى طرف
  3. مهمة واحدة: يركز فقط على نقر الأصابع، لم يأخذ في الاعتبار أعراض حركية أخرى لمرض باركنسون
  4. غياب دراسات الاستئصال: لم يحلل بالتفصيل مساهمة كل مكون
  5. التحقق من القابلية للتعميم: غياب التحقق عبر مجموعات البيانات والمجموعات السكانية المختلفة

التأثير

  1. المساهمة الأكاديمية: توفير مسار تقني جديد لكشف مرض باركنسون المؤتمت
  2. التطبيق السريري: قد يصبح أداة تشخيص مساعدة للأطباء السريريين
  3. نشر التقنية: يمكن تعميم المعمارية الهجينة المحسّنة بآلية الانتباه على تطبيقات طبية أخرى
  4. القيمة الاجتماعية: توفير وسيلة مريحة لمراقبة ذاتية لمرضى باركنسون

السيناريوهات المعمول بها

  1. التشخيص المساعد السريري: دعم أطباء الأعصاب في تقييم شدة مرض باركنسون
  2. المراقبة المنزلية: يمكن للمرضى إجراء اختبارات ذاتية دورية في المنزل
  3. تقييم فعالية الأدوية: مراقبة التغييرات في حالة المرض أثناء العلاج
  4. الفحص على نطاق واسع: استخدام في الفحوصات المجتمعية أو مراكز الفحص الطبي
  5. الطب عن بعد: دعم احتياجات مراقبة مرض باركنسون في الطب عن بعد

المراجع

1 Md Saiful Islam et al. Using ai to measure parkinson's disease severity at home. NPJ digital medicine, 6(1):156, 2023.

27 Daniel Deng et al. Interpretable video-based tracking and quantification of parkinsonism clinical motor states. npj Parkinson's Disease, 10(1):122, 2024.

30 Umesh Kumar Lilhore et al. Hybrid cnn-lstm model with efficient hyperparameter tuning for prediction of parkinson's disease. Scientific Reports, 13(1):14605, 2023.

التقييم الشامل: هذه ورقة بحثية ذات أساس تقني متين وقيمة تطبيقية واضحة. اقترح المؤلفون معمارية هجينة CNN-BiLSTM محسّنة بآلية الانتباه حققت نتائج جيدة في مهمة كشف شدة مرض باركنسون متعدد الفئات، وقدمت مساهمة تقنية قيمة لهذا المجال. على الرغم من وجود قيود في حجم البيانات والقابلية للتعميم، فإن جودة البحث الشاملة عالية، مع آفاق تطبيق سريري جيدة.