2025-11-21T15:04:16.225643

Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders

Vona, Valcamonica, Garzotto
Tangible Augmented Reality (TAR) is an interaction paradigm that integrates physical and digital worlds to create immersive, interactive experiences. This paper explores two TAR applications, Holomarket and Along the Oceanic Flow (ATOF), and presents insights from two exploratory studies evaluating their usability and likeability among individuals with neurodevelopmental disorders (NDD). Holomarket is designed to simulate a supermarket shopping experience, helping users develop essential life skills such as item selection, basic arithmetic, and money handling. Participants interacted with augmented food items and a smart cash register, navigating a virtual supermarket environment. While participants enjoyed the realistic setting and tangible interactions, some usability challenges, such as difficulty manipulating virtual objects and discomfort with prolonged headset use, were noted. ATOF transforms the user environment into an oceanic world, where participants use a dolphin-shaped smart object to complete tasks like collecting items and solving puzzles. This application aims to improve motor coordination and cognitive skills. Participants appreciated the immersive experience, the customizable tasks, and the tangible dolphin interface. However, some faced difficulties interacting with specific virtual elements. Overall, both applications demonstrated potential as therapeutic tools for NDD, offering engaging and immersive experiences. Despite some usability challenges and hardware limitations, the positive feedback suggests that TAR could play a crucial role in future therapeutic interventions. Further research is needed to refine these applications and enhance user interaction and comfort.
academic

Dos Estudios Exploratorios sobre Realidad Aumentada Tangible para Trastornos del Neurodesarrollo

Información Básica

  • ID del Artículo: 2510.14598
  • Título: Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders
  • Autores: Francesco Vona (University of Applied Sciences Hamm-Lippstadt), Giulia Valcamonica (Politecnico di Milano), Franca Garzotto (Politecnico di Milano)
  • Clasificación: cs.HC (Interacción Humano-Computadora)
  • Fecha de Publicación: 16 de octubre de 2025
  • Enlace del Artículo: https://arxiv.org/abs/2510.14598

Resumen

Este artículo explora dos aplicaciones de Realidad Aumentada Tangible (RAT)—Holomarket y Along the Oceanic Flow (ATOF)—y evalúa su usabilidad y aceptabilidad en poblaciones con trastornos del neurodesarrollo (TND) mediante dos estudios exploratorios. Holomarket simula la experiencia de compra en un supermercado para ayudar a los usuarios a desarrollar habilidades de vida cotidiana; ATOF transforma el entorno del usuario en un mundo oceánico, mejorando la coordinación motora y las habilidades cognitivas a través de objetos inteligentes con forma de delfín. A pesar de algunos desafíos de usabilidad y limitaciones de hardware, la retroalimentación positiva indica un potencial significativo de la RAT en futuras intervenciones terapéuticas.

Contexto y Motivación de la Investigación

Definición del Problema

Este estudio aborda los desafíos enfrentados por poblaciones con trastornos del neurodesarrollo (TND) en el entrenamiento de habilidades de vida cotidiana e intervenciones terapéuticas. Los TND incluyen trastorno del espectro autista (TEA), trastorno por déficit de atención e hiperactividad (TDAH) y discapacidad intelectual, que afectan las funciones cognitivas, sociales y motoras.

Importancia del Problema

  1. Necesidad Terapéutica Urgente: Los TND afectan la capacidad de los individuos para realizar actividades de la vida diaria, requiriendo intervenciones terapéuticas personalizadas
  2. Limitaciones de Métodos Tradicionales: Los métodos actuales de AR/VR carecen de interacción táctil, mientras que las poblaciones con TND se benefician especialmente de la participación multisensorial
  3. Oportunidades de Desarrollo Tecnológico: El rápido desarrollo de tecnologías inmersivas abre nuevas fronteras para intervenciones terapéuticas

Limitaciones de Enfoques Existentes

  • Las terapias de AR y VR carecen de elementos de interacción tangible
  • Ausencia de principios de diseño especializados para poblaciones con TND
  • Integración insuficiente de interacciones físicas y digitales

Motivación de la Investigación

Mediante la tecnología RAT combinada con objetos inteligentes, crear experiencias terapéuticas intuitivas y altamente participativas para poblaciones con TND, colmando la brecha de retroalimentación táctil en las terapias de AR tradicionales.

Contribuciones Principales

  1. Investigación Pionera: Según los autores, este es el primer estudio que explora la aplicación de RAT en poblaciones con TND
  2. Desarrollo de Aplicaciones Duales: Desarrollo de dos sistemas de aplicación RAT dirigidos al entrenamiento de diferentes habilidades
  3. Evaluación Empírica: Verificación de la viabilidad y aceptabilidad de la RAT en terapia para TND mediante estudios exploratorios
  4. Orientación de Diseño: Proporciona experiencias clave y principios orientadores para el diseño de aplicaciones RAT
  5. Colaboración Interdisciplinaria: Demuestra los resultados del diseño colaborativo entre psicólogos, cuidadores e ingenieros

Detalles Metodológicos

Definición de Tareas

Este estudio define dos tareas terapéuticas distintas:

  1. Entrenamiento de Habilidades de Vida: Desarrollo de capacidades de compra, aritmética y manejo del dinero a través de Holomarket
  2. Entrenamiento Motriz-Cognitivo: Mejora de la coordinación motora y habilidades cognitivas a través de ATOF

Arquitectura del Sistema

Sistema Holomarket

  • Componentes Principales:
    • Microsoft HoloLens como dispositivo de visualización AR
    • Estantes de alimentos holográficos y lista de compras
    • Caja registradora inteligente equipada con RFID
    • Accesorios de alimentos y moneda con etiquetas RFID
  • Modos de Interacción:
    • Modo Each Price: Juego de memoria combinado con experiencia de compra
    • Modo Total Price: Entrenamiento en cálculo de precio total y pago
  • Implementación Técnica: Desarrollado utilizando Unity, Visual Studio, Vuforia y Mixed Reality Toolkit (MRTK)

Sistema ATOF

  • Componentes Principales:
    • Entorno inmersivo con temática oceánica
    • Objetos inteligentes con forma de delfín como herramientas de interacción
    • Mapeo espacial y adaptación ambiental
  • Modos de Juego:
    • Modo Infinito: Recolección de anillos de burbujas, evitando obstáculos
    • Modo Aventura: Tareas progresivas impulsadas por narrativa

Puntos de Innovación Técnica

  1. Integración del Paradigma RAT: Combinación perfecta de tecnología AR con objetos físicos inteligentes
  2. Adaptabilidad Ambiental: Adaptación a diferentes entornos físicos mediante tecnología de mapeo espacial
  3. Personalización Adaptativa: Apoyo para ajustar la dificultad de tareas y parámetros según las capacidades del usuario
  4. Retroalimentación Multisensorial: Combinación de retroalimentación visual, táctil y auditiva para mejorar la inmersión

Configuración Experimental

Participantes

Estudio ATOF

  • Tamaño de Muestra: 11 pacientes con TND
  • Distribución de Género: 5 hombres (45,5%), 6 mujeres (54,5%)
  • Edad: Promedio 30,09 años (DE=6,24), rango 20-44 años
  • Distribución de Diagnósticos:
    • Discapacidad intelectual moderada: 45,5%
    • Discapacidad intelectual severa: 27,3%
    • Síndromes genéticos: 18,2%
    • Trastorno del espectro autista: 9,1%

Estudio Holomarket

  • Tamaño de Muestra: 5 pacientes con discapacidad cognitiva leve
  • Distribución de Género: 2 hombres (40%), 3 mujeres (60%)
  • Edad: Promedio 36,0 años (DE=6,2)

Métricas de Evaluación

Evaluación mediante escala Likert de 7 puntos en dos dimensiones:

  1. Aceptabilidad (Likeability): Grado de disfrute del usuario con la aplicación
  2. Usabilidad (Usability): Facilidad de uso e intuitividad de los mecanismos de interacción

Procedimiento Experimental

Experimento ATOF

  • Duración: 2 días
  • Primer Día: Exploración de la sala y tutorial estándar
  • Segundo Día: Tutorial avanzado y encuesta
  • Entorno: Gimnasio de 5×4 metros

Experimento Holomarket

  • Duración: Sesión única
  • Configuración de Tareas: 15 estantes de alimentos, 4 artículos de lista de compras
  • Entorno: Pasillo central de 3×5 metros

Resultados Experimentales

Resultados Principales de ATOF

Resultados Cuantitativos

  • Puntuación Promedio de Aceptabilidad: M = 5,2 (DE = 1,21), sobre 7 puntos
  • Puntuación Promedio de Usabilidad: M = 5,4 (DE = 1,36), sobre 7 puntos

Observaciones Cualitativas

  • La mayoría de usuarios mostraron gran interés
  • Los usuarios deseaban probar diferentes configuraciones de tareas, demostrando la importancia de la personalización
  • Buena aceptación del HoloLens, sin confusión ni miedo
  • Algunos usuarios reportaron sentirse "transportados a otro mundo interesante"

Resultados Principales de Holomarket

Resultados Cuantitativos

  • Puntuación Promedio de Aceptabilidad: 51,75/70 (DE = 6,94)
  • Puntuación Promedio de Usabilidad: 63,5/70 (DE = 5,68)

Hallazgos Clave

  • Aceptación generalizada del entorno virtual del supermercado
  • Buena valoración de la conexión entre lista de compras y artículos en estantes
  • Dificultad con gestos de pinza, requiriendo asistencia externa
  • Problemas de comodidad del HoloLens, requiriendo ajustes frecuentes

Desafíos Comunes

  1. Dificultades de Interacción: Operación de objetos virtuales poco intuitiva
  2. Limitaciones de Hardware: Restricciones de campo visual del HoloLens e incomodidad al usar
  3. Retroalimentación Poco Clara: Necesidad de mejorar los mecanismos de retroalimentación del sistema
  4. Reconocimiento de Gestos: Acciones de pinza y arrastre poco naturales para los usuarios

Trabajos Relacionados

Desarrollo de Tecnología RAT

  • Potencial de aplicación de tecnología RAT en educación, terapia y diseño
  • Concepto de hologramas tangibles: fusión de objetos virtuales con aumentación física
  • Objetos de impresión 3D capacitiva para interacción remota

Tecnología Terapéutica para TND

  • Aplicaciones de AR/VR en terapia para TND: mejora de habilidades motoras, función cognitiva e interacción social
  • Juguete tangible Polipo: interacción física para mejorar desarrollo cognitivo y social
  • Investigación piloto de HoloLens 2 en pacientes con TEA severo

Vacíos de Investigación

A pesar del potencial mostrado por AR/VR en terapia para TND, aún faltan soluciones RAT especialmente diseñadas para las necesidades de TND.

Conclusiones y Discusión

Conclusiones Principales

  1. Validación del Potencial RAT: Ambas aplicaciones demostraron potencial como herramientas terapéuticas para TND
  2. Alta Aceptabilidad del Usuario: Los participantes disfrutaron generalmente de la experiencia RAT, considerándola atractiva
  3. Viabilidad Técnica: El paradigma RAT puede integrar exitosamente interacciones físicas y digitales
  4. Necesidad de Personalización: La personalización es crucial para aplicaciones terapéuticas de TND

Síntesis de Experiencias de Diseño

Experiencias de ATOF

  1. Grupo Objetivo: Las aplicaciones RAT son más beneficiosas para usuarios con discapacidad moderada, pero también muestran promesa para usuarios con discapacidad severa
  2. Importancia de la Personalización: Ajustar tareas según capacidades individuales es crucial para mejorar usabilidad y aceptabilidad
  3. Valor de Experiencias Compartidas: La participación multiusuario y el monitoreo en tiempo real del terapeuta mejoran la participación

Experiencias de Holomarket

  1. Valor del Realismo: El entorno virtual del supermercado fue bien recibido por su realismo
  2. Desafíos de Diseño de Interacción: Necesidad de métodos de interacción más intuitivos que reemplacen gestos complejos
  3. Necesidad de Adaptación de Hardware: Problemas de comodidad del dispositivo y limitaciones de campo visual requieren mejoras tecnológicas

Limitaciones

  1. Limitación del Tamaño de Muestra: El tamaño pequeño de muestra limita el análisis estadístico y la generalización de resultados
  2. Duración Corta de Investigación: Imposibilidad de evaluar beneficios a largo plazo o mejoras sostenidas
  3. Restricciones de Hardware: Las limitaciones técnicas del HoloLens afectan la experiencia del usuario
  4. Complejidad de Interacción: Los gestos de interacción son demasiado complejos para el grupo de usuarios objetivo

Direcciones Futuras

Mejoras Técnicas

  1. Actualización a HoloLens 2: Mejora del reconocimiento de gestos e intuitividad de interacción
  2. Mejora de Recopilación de Datos: Métricas de análisis de rendimiento más detalladas
  3. Experiencias Colaborativas: Coordinación multidevice y tareas de resolución de problemas cooperativos

Planes de Investigación

  1. Investigación a Largo Plazo: Estudio controlado de 6 meses evaluando efectividad de aplicaciones RAT
  2. Expansión de Escala: Colaboración con tres centros terapéuticos en Milán para obtener muestras más grandes
  3. Comparación Controlada: Comparación de efectividad entre intervención RAT y métodos terapéuticos tradicionales

Evaluación Profunda

Fortalezas

  1. Fuerte Innovación: Primera exploración sistemática de la aplicación de RAT en terapia para TND
  2. Alto Valor Práctico: Soluciona el problema práctico de falta de retroalimentación táctil en terapias AR
  3. Diseño Riguroso: Utiliza metodología de codiseño, integrando necesidades de profesionales y usuarios
  4. Evaluación Integral: Evaluación desde dimensiones de usabilidad y aceptabilidad
  5. Colaboración Interdisciplinaria: Demuestra integración efectiva entre tecnología y campos médicos

Deficiencias

  1. Tamaño de Muestra Pequeño: Limita la potencia estadística y capacidad de generalización de resultados
  2. Falta de Grupo de Control: Imposibilidad de comparación directa con métodos terapéuticos tradicionales
  3. Evaluación a Corto Plazo: Incapacidad de evaluar efectos terapéuticos a largo plazo
  4. Fuerte Dependencia Tecnológica: Limitado por restricciones técnicas del hardware AR actual
  5. Gran Variabilidad Individual: La heterogeneidad de participantes aumenta la complejidad del análisis de datos

Impacto

Contribuciones Académicas

  • Abre una nueva dirección de investigación de RAT en el campo terapéutico de TND
  • Proporciona marco de diseño y métodos de evaluación para investigaciones posteriores
  • Llena el vacío de investigación en interacción táctil en terapias AR

Valor Práctico

  • Proporciona nuevas opciones de herramientas de intervención para instituciones terapéuticas
  • Valida la viabilidad de aplicación de tecnología inmersiva en poblaciones especiales
  • Proporciona perspectivas de necesidades del usuario para desarrollo de productos relacionados

Reproducibilidad

  • Proporciona descripción técnica detallada de implementación
  • El uso de herramientas y plataformas de código abierto mejora la reproducibilidad
  • Procedimientos experimentales claros facilitan la verificación por otros investigadores

Escenarios de Aplicación

  1. Instituciones Terapéuticas: Centros de cuidado diurno, hospitales de rehabilitación como terapia complementaria
  2. Entornos Educativos: Escuelas de educación especial para entrenamiento de habilidades
  3. Uso Doméstico: Apoyo terapéutico doméstico bajo orientación profesional
  4. Aplicación de Investigación: Evaluación de efectividad terapéutica para TND e investigación de métodos de intervención

Referencias Bibliográficas

Este artículo cita 18 referencias relacionadas, cubriendo principalmente:

  • Investigación de desarrollo y aplicación de tecnología RAT
  • Aplicaciones de AR/VR en terapia para TND
  • Diseño de interfaces tangibles y objetos inteligentes
  • Estándares de diagnóstico y tratamiento de trastornos del neurodesarrollo

Las referencias importantes incluyen criterios diagnósticos del DSM-5, revisión sistemática de AR en intervención del autismo, e investigación relacionada con herramientas narrativas digitales tangibles.


Evaluación General: Este es un artículo de investigación HCI de significado pionero que explora sistemáticamente por primera vez la aplicación de tecnología RAT en terapia para trastornos del neurodesarrollo. A pesar de limitaciones en tamaño de muestra y duración de investigación, su solución técnica innovadora, metodología de diseño rigurosa y resultados preliminares positivos establecen una base importante para el desarrollo de este campo. La naturaleza interdisciplinaria del artículo y su valor práctico le confieren significancia académica y social importante.