Multi Class Parkinsons Disease Detection Based on Finger Tapping Using Attention-Enhanced CNN BiLSTM
Miah, Hassan, Hossain et al.
Effective clinical management and intervention development depend on accurate evaluation of Parkinsons disease (PD) severity. Many researchers have worked on developing gesture-based PD recognition systems; however, their performance accuracy is not satisfactory. In this study, we propose a multi-class Parkinson Disease detection system based on finger tapping using an attention-enhanced CNN BiLSTM. We collected finger tapping videos and derived temporal, frequency, and amplitude based features from wrist and hand movements. Then, we proposed a hybrid deep learning framework integrating CNN, BiLSTM, and attention mechanisms for multi-class PD severity classification from video-derived motion features. First, the input sequence is reshaped and passed through a Conv1D MaxPooling block to capture local spatial dependencies. The resulting feature maps are fed into a BiLSTM layer to model temporal dynamics. An attention mechanism focuses on the most informative temporal features, producing a context vector that is further processed by a second BiLSTM layer. CNN-derived features and attention-enhanced BiLSTM outputs are concatenated, followed by dense and dropout layers, before the final softmax classifier outputs the predicted PD severity level. The model demonstrated strong performance in distinguishing between the five severity classes, suggesting that integrating spatial temporal representations with attention mechanisms can improve automated PD severity detection, making it a promising non-invasive tool to support clinicians in PD monitoring and progression tracking.
academic
Détection Multi-Classe de la Maladie de Parkinson Basée sur le Tapotement des Doigts Utilisant un CNN-BiLSTM Amélioré par Attention
La gestion clinique efficace et le développement d'interventions pour la maladie de Parkinson (MP) dépendent d'une évaluation précise de la gravité de la maladie. Cette étude propose un système de détection multi-classe de la MP basé sur le tapotement des doigts, utilisant une architecture CNN-BiLSTM améliorée par attention. L'étude extrait des caractéristiques temporelles, fréquentielles et d'amplitude à partir de vidéos de tapotement des doigts, construisant un cadre d'apprentissage profond hybride intégrant CNN, BiLSTM et des mécanismes d'attention. Le modèle capture les dépendances spatiales locales via des blocs Conv1D-MaxPooling, modélise la dynamique temporelle par des couches BiLSTM, et concentre l'attention sur les caractéristiques temporelles les plus informatives. Il atteint une précision de classification de 93%, démontrant une excellente performance dans la distinction de cinq niveaux de gravité.
La maladie de Parkinson est une maladie neurodégénérative progressive affectant plus de 10 millions de personnes dans le monde, caractérisée principalement par des tremblements, une rigidité, une bradykinésie et une instabilité posturale. L'évaluation traditionnelle de la gravité de la MP repose principalement sur des échelles cliniques telles que l'UPDRS (Unified Parkinson's Disease Rating Scale) et la MDS-UPDRS.
Développer une méthode non-invasive, objective et accessible d'évaluation automatique de la gravité de la MP basée sur l'analyse vidéo, utilisant la vision par ordinateur et les techniques d'apprentissage automatique pour réaliser une classification précise de la maladie, fournissant aux cliniciens un outil de diagnostic auxiliaire fiable.
Proposition d'une architecture hybride CNN-BiLSTM améliorée par attention, combinant efficacement l'extraction de caractéristiques spatiales et la modélisation de séries temporelles
Réalisation d'une classification multi-classe de la gravité de la MP, capable de distinguer cinq niveaux de gravité différents
Intégration d'un mécanisme d'attention, améliorant la capacité du modèle à se concentrer sur les caractéristiques temporelles critiques
Atteinte d'une précision de classification de 93%, surpassant significativement les méthodes de base
Fourniture d'un outil de surveillance non-invasive de la MP, soutenant le suivi de la progression de la maladie par les cliniciens
Entrée: Vecteur de caractéristiques de 57 dimensions dérivé de vidéos de tapotement des doigts, incluant des caractéristiques temporelles, fréquentielles et d'amplitude
Sortie: Résultat de classification multi-classe de la gravité de la MP (Classes 0-4)
Contraintes: Données annotées par des experts basées sur la norme MDS-UPDRS
Fusion Multi-Modale de Caractéristiques: Utilisation simultanée des caractéristiques spatiales extraites par CNN et des caractéristiques temporelles modélisées par BiLSTM
Conception BiLSTM Bicouche: La première couche BiLSTM modélise les dépendances temporelles fondamentales, la deuxième traite les caractéristiques améliorées par attention
Poids d'Attention Adaptatifs: Calcul dynamique des poids d'attention, concentration automatique sur les segments temporels clés
Optimisation Bout-à-Bout: L'architecture entière peut être entraînée bout-à-bout, évitant l'ingénierie manuelle des caractéristiques
Source de Données: Ensemble de données public ParkTest
Échelle de Données: Vidéos de tapotement des doigts de 250 participants mondiaux
Collecte de Données: Principalement collectées au domicile des participants via webcam, 48 personnes complétées en clinique
Méthode d'Annotation: Annotation par des neurologues experts et des évaluateurs certifiés MDS-UPDRS
Dimension des Caractéristiques: 57 caractéristiques incluant la vitesse, l'accélération, la fréquence, la période, l'amplitude du tapotement des doigts et le déplacement du poignet
Comparé aux travaux existants, cet article intègre pour la première fois complètement CNN, BiLSTM et mécanisme d'attention pour la classification multi-classe de la gravité de la MP, atteignant une meilleure performance sur les caractéristiques de mouvement dérivées de vidéos.
Efficacité de la Méthode: L'architecture CNN-BiLSTM améliorée par attention peut détecter efficacement la gravité multi-classe de la MP
Importance des Caractéristiques: La combinaison de caractéristiques temporelles, fréquentielles et d'amplitude est cruciale pour la classification de la MP
Valeur Clinique: Fournit un outil d'évaluation objective et reproductible de la maladie
Avantage Technique: L'intégration de représentations spatio-temporelles et du mécanisme d'attention améliore significativement la performance de détection automatique de la gravité de la MP
1 Md Saiful Islam et al. Using ai to measure parkinson's disease severity at home. NPJ digital medicine, 6(1):156, 2023.
27 Daniel Deng et al. Interpretable video-based tracking and quantification of parkinsonism clinical motor states. npj Parkinson's Disease, 10(1):122, 2024.
30 Umesh Kumar Lilhore et al. Hybrid cnn-lstm model with efficient hyperparameter tuning for prediction of parkinson's disease. Scientific Reports, 13(1):14605, 2023.
Évaluation Globale: Cet article est une recherche techniquement solide avec une valeur d'application claire. L'architecture CNN-BiLSTM améliorée par attention proposée par les auteurs atteint de bons résultats sur la tâche de détection multi-classe de la MP, fournissant une contribution technologique précieuse à ce domaine. Bien que présentant des limitations en termes de taille d'ensemble de données et de généralisation, la qualité globale de la recherche est élevée avec de bonnes perspectives d'application clinique.