Multi Class Parkinsons Disease Detection Based on Finger Tapping Using Attention-Enhanced CNN BiLSTM
Miah, Hassan, Hossain et al.
Effective clinical management and intervention development depend on accurate evaluation of Parkinsons disease (PD) severity. Many researchers have worked on developing gesture-based PD recognition systems; however, their performance accuracy is not satisfactory. In this study, we propose a multi-class Parkinson Disease detection system based on finger tapping using an attention-enhanced CNN BiLSTM. We collected finger tapping videos and derived temporal, frequency, and amplitude based features from wrist and hand movements. Then, we proposed a hybrid deep learning framework integrating CNN, BiLSTM, and attention mechanisms for multi-class PD severity classification from video-derived motion features. First, the input sequence is reshaped and passed through a Conv1D MaxPooling block to capture local spatial dependencies. The resulting feature maps are fed into a BiLSTM layer to model temporal dynamics. An attention mechanism focuses on the most informative temporal features, producing a context vector that is further processed by a second BiLSTM layer. CNN-derived features and attention-enhanced BiLSTM outputs are concatenated, followed by dense and dropout layers, before the final softmax classifier outputs the predicted PD severity level. The model demonstrated strong performance in distinguishing between the five severity classes, suggesting that integrating spatial temporal representations with attention mechanisms can improve automated PD severity detection, making it a promising non-invasive tool to support clinicians in PD monitoring and progression tracking.
academic
Rilevamento Multi-Classe della Malattia di Parkinson Basato sul Tapping delle Dita Utilizzando CNN-BiLSTM Potenziato da Attenzione
La gestione clinica efficace e lo sviluppo di interventi per la malattia di Parkinson (PD) dipendono dalla valutazione accurata della gravità della malattia. Questo studio propone un sistema di rilevamento multi-classe della malattia di Parkinson basato sul tapping delle dita, utilizzando un'architettura CNN-BiLSTM potenziata da attenzione. Lo studio estrae caratteristiche temporali, di frequenza e di ampiezza dai video di tapping delle dita, costruendo un framework di apprendimento profondo ibrido che integra CNN, BiLSTM e meccanismi di attenzione. Il modello cattura le dipendenze spaziali locali attraverso blocchi Conv1D-MaxPooling, modella la dinamica temporale con strati BiLSTM e focalizza le caratteristiche temporali più informative tramite meccanismi di attenzione. Raggiunge un'accuratezza di classificazione del 93%, mostrando prestazioni eccellenti nella distinzione tra cinque livelli di gravità.
La malattia di Parkinson è una malattia neurodegenerativa progressiva che colpisce oltre 10 milioni di persone a livello mondiale, caratterizzata principalmente da tremore, rigidità, bradicinesia e instabilità posturale. La valutazione tradizionale della gravità della PD si basa principalmente su scale cliniche come l'UPDRS (Unified Parkinson's Disease Rating Scale) e la MDS-UPDRS.
Sviluppare metodi automatici non invasivi, oggettivi e accessibili per la valutazione della gravità della PD basati sull'analisi video, utilizzando tecniche di visione artificiale e apprendimento automatico per ottenere una classificazione precisa della malattia e fornire ai clinici uno strumento affidabile di supporto diagnostico.
Propone un'architettura ibrida CNN-BiLSTM potenziata da attenzione, che combina efficacemente l'estrazione di caratteristiche spaziali e la modellazione di sequenze temporali
Implementa la classificazione multi-classe della gravità della PD, in grado di distinguere cinque diversi livelli di gravità
Integra meccanismi di attenzione, migliorando la capacità del modello di focalizzarsi su caratteristiche temporali critiche
Raggiunge un'accuratezza di classificazione del 93%, significativamente superiore ai metodi di base
Fornisce uno strumento di monitoraggio non invasivo della PD, supportando i clinici nel monitoraggio della progressione della malattia
Input: Vettore di caratteristiche a 57 dimensioni derivato da video di tapping delle dita, contenente caratteristiche temporali, di frequenza e di ampiezza
Output: Risultato di classificazione multi-classe della gravità della PD (Classe 0-4)
Vincoli: Dati annotati da esperti basati sullo standard MDS-UPDRS
Fusione Multi-Modale di Caratteristiche: Sfrutta simultaneamente le caratteristiche spaziali estratte da CNN e le caratteristiche temporali modellate da BiLSTM
Progettazione BiLSTM a Doppio Strato: Il primo strato BiLSTM modella le dipendenze temporali di base, il secondo strato elabora le caratteristiche potenziate da attenzione
Pesi di Attenzione Adattivi: Calcola dinamicamente i pesi di attenzione, focalizzandosi automaticamente su segmenti temporali critici
Ottimizzazione End-to-End: L'intera architettura può essere addestrata end-to-end, evitando l'ingegneria manuale delle caratteristiche
Scala dei Dati: Video di tapping delle dita di 250 partecipanti globali
Raccolta dei Dati: Principalmente raccolta presso i domicili dei partecipanti tramite webcam, 48 persone completate in clinica
Metodo di Annotazione: Annotazione da parte di neurologi esperti e valutatori certificati MDS-UPDRS
Dimensionalità delle Caratteristiche: 57 caratteristiche, incluse velocità di tapping delle dita, accelerazione, frequenza, periodo, ampiezza e spostamento del polso
Rispetto ai lavori esistenti, questo articolo integra per la prima volta CNN, BiLSTM e meccanismi di attenzione per la classificazione multi-classe della gravità della PD, ottenendo prestazioni migliori su caratteristiche di movimento derivate da video.
Efficacia del Metodo: L'architettura CNN-BiLSTM potenziata da attenzione può rilevare efficacemente la gravità multi-classe della PD
Importanza delle Caratteristiche: La combinazione di caratteristiche temporali, di frequenza e di ampiezza è cruciale per la classificazione della PD
Valore Clinico: Fornisce uno strumento di valutazione della malattia oggettivo e riproducibile
Vantaggi Tecnici: L'integrazione di rappresentazione spazio-temporale e meccanismi di attenzione migliora significativamente le prestazioni del rilevamento automatico della gravità della PD
1 Md Saiful Islam et al. Using ai to measure parkinson's disease severity at home. NPJ digital medicine, 6(1):156, 2023.
27 Daniel Deng et al. Interpretable video-based tracking and quantification of parkinsonism clinical motor states. npj Parkinson's Disease, 10(1):122, 2024.
30 Umesh Kumar Lilhore et al. Hybrid cnn-lstm model with efficient hyperparameter tuning for prediction of parkinson's disease. Scientific Reports, 13(1):14605, 2023.
Valutazione Complessiva: Questo è un articolo di ricerca tecnicamente solido con valore applicativo evidente. Gli autori propongono un'architettura CNN-BiLSTM potenziata da attenzione che raggiunge buoni risultati nel compito di rilevamento multi-classe della PD, fornendo un contributo tecnologico prezioso a questo campo. Nonostante le limitazioni relative alla dimensione dei dati e alla generalizzazione, la qualità complessiva della ricerca è elevata e ha buone prospettive di applicazione clinica.