Multi Class Parkinsons Disease Detection Based on Finger Tapping Using Attention-Enhanced CNN BiLSTM
Miah, Hassan, Hossain et al.
Effective clinical management and intervention development depend on accurate evaluation of Parkinsons disease (PD) severity. Many researchers have worked on developing gesture-based PD recognition systems; however, their performance accuracy is not satisfactory. In this study, we propose a multi-class Parkinson Disease detection system based on finger tapping using an attention-enhanced CNN BiLSTM. We collected finger tapping videos and derived temporal, frequency, and amplitude based features from wrist and hand movements. Then, we proposed a hybrid deep learning framework integrating CNN, BiLSTM, and attention mechanisms for multi-class PD severity classification from video-derived motion features. First, the input sequence is reshaped and passed through a Conv1D MaxPooling block to capture local spatial dependencies. The resulting feature maps are fed into a BiLSTM layer to model temporal dynamics. An attention mechanism focuses on the most informative temporal features, producing a context vector that is further processed by a second BiLSTM layer. CNN-derived features and attention-enhanced BiLSTM outputs are concatenated, followed by dense and dropout layers, before the final softmax classifier outputs the predicted PD severity level. The model demonstrated strong performance in distinguishing between the five severity classes, suggesting that integrating spatial temporal representations with attention mechanisms can improve automated PD severity detection, making it a promising non-invasive tool to support clinicians in PD monitoring and progression tracking.
academic
Detección de Enfermedad de Parkinson Multiclase Basada en Golpeteo de Dedos Utilizando CNN-BiLSTM Mejorado con Atención
La gestión clínica efectiva y el desarrollo de intervenciones para la enfermedad de Parkinson (EP) dependen de la evaluación precisa de la gravedad de la enfermedad. Este estudio propone un sistema de detección multiclase de la enfermedad de Parkinson basado en el golpeteo de dedos, utilizando una arquitectura CNN-BiLSTM mejorada con atención. El estudio extrae características temporales, de frecuencia y amplitud de videos de golpeteo de dedos, construyendo un marco de aprendizaje profundo híbrido que integra CNN, BiLSTM y mecanismos de atención. El modelo captura dependencias espaciales locales mediante bloques Conv1D-MaxPooling, las capas BiLSTM modelan dinámicas temporales, y el mecanismo de atención se enfoca en las características temporales más informativas. Finalmente, logra una precisión de clasificación del 93%, mostrando un desempeño excelente en la diferenciación de cinco niveles de gravedad.
La enfermedad de Parkinson es una enfermedad neurodegenerativa progresiva que afecta a más de 10 millones de personas en todo el mundo, manifestándose principalmente con síntomas motores como temblor, rigidez, bradicinesia e inestabilidad postural. La evaluación tradicional de la gravedad de la EP se basa principalmente en escalas clínicas como la UPDRS (Escala Unificada de Evaluación de la Enfermedad de Parkinson) y MDS-UPDRS.
Desarrollar métodos automáticos no invasivos, objetivos y accesibles para la evaluación de la gravedad de la EP basados en análisis de video, utilizando técnicas de visión por computadora y aprendizaje automático para lograr una clasificación precisa de la enfermedad, proporcionando a los médicos una herramienta confiable de diagnóstico asistido.
Se propone una arquitectura híbrida CNN-BiLSTM mejorada con atención, que combina efectivamente la extracción de características espaciales y el modelado de series temporales
Se implementa la clasificación multiclase de la gravedad de la EP, capaz de distinguir cinco niveles diferentes de gravedad
Se integra un mecanismo de atención, mejorando la capacidad del modelo para enfocarse en características temporales críticas
Se logra una precisión de clasificación del 93%, significativamente superior a los métodos de referencia
Se proporciona una herramienta de monitoreo no invasiva de la EP, apoyando a los médicos en el seguimiento de la progresión de la enfermedad
Entrada: Vector de características de 57 dimensiones derivado de videos de golpeteo de dedos, que contiene características temporales, de frecuencia y amplitud
Salida: Resultado de clasificación de la gravedad de la EP en cinco clases (Clase 0-4)
Restricciones: Datos anotados por expertos basados en el estándar MDS-UPDRS
Fusión de Características Multimodales: Utiliza simultáneamente características espaciales extraídas por CNN y características temporales modeladas por BiLSTM
Diseño BiLSTM de Doble Capa: La primera capa BiLSTM modela dependencias temporales básicas, la segunda capa procesa características mejoradas con atención
Pesos de Atención Adaptativos: Calcula dinámicamente pesos de atención, enfocándose automáticamente en segmentos temporales críticos
Optimización Extremo a Extremo: Toda la arquitectura puede entrenarse extremo a extremo, evitando ingeniería de características manual
Fuente de Datos: Conjunto de datos público ParkTest
Escala de Datos: Videos de golpeteo de dedos de 250 participantes globales
Recopilación de Datos: Principalmente recopilados en el hogar de los participantes mediante cámara web, 48 personas completadas en clínica
Método de Anotación: Anotado por neurólogos expertos y evaluadores certificados en MDS-UPDRS
Dimensión de Características: Características de 57 dimensiones, incluyendo velocidad de golpeteo de dedos, aceleración, frecuencia, período, amplitud y desplazamiento de muñeca
En comparación con trabajos existentes, este artículo integra por primera vez CNN, BiLSTM y mecanismo de atención de manera completa para la clasificación multiclase de la gravedad de la EP, logrando mejor desempeño en características de movimiento derivadas de video.
Efectividad del Método: La arquitectura CNN-BiLSTM mejorada con atención puede detectar efectivamente la gravedad multiclase de la EP
Importancia de Características: La combinación de características temporales, de frecuencia y amplitud es crucial para la clasificación de EP
Valor Clínico: Proporciona una herramienta de evaluación de enfermedad objetiva y reproducible
Ventaja Técnica: La integración de representación espacio-temporal y mecanismo de atención mejora significativamente el desempeño de la detección automática de la gravedad de la EP
1 Md Saiful Islam et al. Using ai to measure parkinson's disease severity at home. NPJ digital medicine, 6(1):156, 2023.
27 Daniel Deng et al. Interpretable video-based tracking and quantification of parkinsonism clinical motor states. npj Parkinson's Disease, 10(1):122, 2024.
30 Umesh Kumar Lilhore et al. Hybrid cnn-lstm model with efficient hyperparameter tuning for prediction of parkinson's disease. Scientific Reports, 13(1):14605, 2023.
Evaluación General: Este es un artículo de investigación técnicamente sólido con valor de aplicación claro. Los autores proponen una arquitectura CNN-BiLSTM mejorada con atención que logra buenos resultados en la tarea de detección multiclase de EP, proporcionando una contribución técnica valiosa para este campo. Aunque existen limitaciones en la escala de datos y generalización, la calidad general de la investigación es alta, con buenas perspectivas de aplicación clínica.