Tangible Augmented Reality (TAR) is an interaction paradigm that integrates physical and digital worlds to create immersive, interactive experiences. This paper explores two TAR applications, Holomarket and Along the Oceanic Flow (ATOF), and presents insights from two exploratory studies evaluating their usability and likeability among individuals with neurodevelopmental disorders (NDD). Holomarket is designed to simulate a supermarket shopping experience, helping users develop essential life skills such as item selection, basic arithmetic, and money handling. Participants interacted with augmented food items and a smart cash register, navigating a virtual supermarket environment. While participants enjoyed the realistic setting and tangible interactions, some usability challenges, such as difficulty manipulating virtual objects and discomfort with prolonged headset use, were noted. ATOF transforms the user environment into an oceanic world, where participants use a dolphin-shaped smart object to complete tasks like collecting items and solving puzzles. This application aims to improve motor coordination and cognitive skills. Participants appreciated the immersive experience, the customizable tasks, and the tangible dolphin interface. However, some faced difficulties interacting with specific virtual elements. Overall, both applications demonstrated potential as therapeutic tools for NDD, offering engaging and immersive experiences. Despite some usability challenges and hardware limitations, the positive feedback suggests that TAR could play a crucial role in future therapeutic interventions. Further research is needed to refine these applications and enhance user interaction and comfort.
- ID Articolo: 2510.14598
- Titolo: Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders
- Autori: Francesco Vona (University of Applied Sciences Hamm-Lippstadt), Giulia Valcamonica (Politecnico di Milano), Franca Garzotto (Politecnico di Milano)
- Classificazione: cs.HC (Human-Computer Interaction)
- Data di Pubblicazione: 16 ottobre 2025
- Link dell'Articolo: https://arxiv.org/abs/2510.14598
Questo articolo esplora due applicazioni di realtà aumentata tangibile (TAR)—Holomarket e Along the Oceanic Flow (ATOF)—e valuta la loro usabilità e gradevolezza attraverso due studi esplorativi in una popolazione con disturbi del neurosviluppo (NDD). Holomarket simula l'esperienza di acquisto in un supermercato, aiutando gli utenti a sviluppare competenze di vita quotidiana; ATOF trasforma l'ambiente dell'utente in un mondo oceanico, migliorando la coordinazione motoria e le abilità cognitive attraverso oggetti intelligenti a forma di delfino. Nonostante alcune sfide di usabilità e limitazioni hardware, il feedback positivo indica un significativo potenziale della TAR negli interventi terapeutici futuri.
Questo studio affronta le sfide affrontate dalla popolazione con disturbi del neurosviluppo (NDD) nell'addestramento alle competenze della vita quotidiana e negli interventi terapeutici. I NDD includono il disturbo dello spettro autistico (ASD), il disturbo da deficit di attenzione e iperattività (ADHD) e la disabilità intellettiva, che influenzano le funzioni cognitive, sociali e motorie.
- Necessità Terapeutica Urgente: I NDD influenzano la capacità di vita quotidiana degli individui, richiedendo interventi terapeutici personalizzati
- Limitazioni dei Metodi Tradizionali: Gli attuali metodi di terapia AR/VR mancano di interazione tattile, mentre la popolazione con NDD beneficia particolarmente della partecipazione multisensoriale
- Opportunità di Sviluppo Tecnologico: Il rapido sviluppo della tecnologia immersiva apre nuove frontiere per gli interventi terapeutici
- La terapia AR e VR manca di elementi di interazione tangibile
- Assenza di principi di progettazione specializzati per la popolazione con NDD
- Integrazione insufficiente dell'interazione fisica e digitale
Attraverso la tecnologia TAR combinata con oggetti intelligenti (Smart Objects), creare esperienze terapeutiche intuitive e altamente coinvolgenti per la popolazione con NDD, colmando la lacuna del feedback tattile nella terapia AR tradizionale.
- Ricerca Pioneristico: A conoscenza degli autori, questo è il primo studio che esplora l'applicazione della TAR nella popolazione con NDD
- Sviluppo di Applicazioni Duali: Sviluppo di due sistemi di applicazioni TAR destinati all'addestramento di diverse competenze
- Valutazione Empirica: Verifica della fattibilità e dell'accettabilità della TAR nella terapia per NDD attraverso studi esplorativi
- Linee Guida di Progettazione: Fornitura di esperienze chiave e principi guida per la progettazione di applicazioni TAR
- Collaborazione Interdisciplinare: Dimostrazione dei risultati della progettazione collaborativa tra psicologi, operatori sanitari e ingegneri
Questo studio ha definito due compiti terapeutici distinti:
- Addestramento alle Competenze di Vita: Sviluppo di abilità di acquisto, aritmetica e gestione del denaro attraverso Holomarket
- Addestramento Motorio-Cognitivo: Miglioramento della coordinazione motoria e delle abilità cognitive attraverso ATOF
- Componenti Principali:
- Microsoft HoloLens come dispositivo di visualizzazione AR
- Scaffali di cibo olografici e liste della spesa
- Cassa intelligente dotata di RFID
- Oggetti di scena alimentari e valuta con etichette RFID
- Modalità di Interazione:
- Each Price Mode: gioco di memoria combinato con esperienza di acquisto
- Total Price Mode: addestramento al calcolo del prezzo totale e al pagamento
- Implementazione Tecnica: Sviluppo utilizzando Unity, Visual Studio, Vuforia e Mixed Reality Toolkit (MRTK)
- Componenti Principali:
- Ambiente immersivo a tema oceanico
- Oggetti intelligenti a forma di delfino come strumenti di interazione
- Mappatura spaziale e adattamento ambientale
- Modalità di Gioco:
- Infinity Mode: raccolta di bolle anulari, evitamento di ostacoli
- Adventure Mode: compiti progressivi guidati dalla storia
- Integrazione del Paradigma TAR: Fusione senza soluzione di continuità della tecnologia AR con oggetti fisici intelligenti
- Adattabilità Ambientale: Adattamento a diversi ambienti fisici attraverso la tecnologia di mappatura spaziale
- Personalizzazione: Supporto per l'adeguamento della difficoltà dei compiti e dei parametri in base alle capacità dell'utente
- Feedback Multisensoriale: Combinazione di feedback visivo, tattile e uditivo per migliorare l'immersione
- Dimensione del Campione: 11 pazienti con NDD
- Distribuzione di Genere: 5 maschi (45,5%), 6 femmine (54,5%)
- Età: Media 30,09 anni (SD=6,24), intervallo 20-44 anni
- Distribuzione Diagnostica:
- Disabilità intellettiva moderata: 45,5%
- Disabilità intellettiva grave: 27,3%
- Sindromi genetiche: 18,2%
- Disturbo dello spettro autistico: 9,1%
- Dimensione del Campione: 5 pazienti con lieve compromissione cognitiva
- Distribuzione di Genere: 2 maschi (40%), 3 femmine (60%)
- Età: Media 36,0 anni (SD=6,2)
Valutazione utilizzando una scala Likert a 7 punti su due dimensioni:
- Gradevolezza (Likeability): Grado di piacere dell'utente nell'utilizzo dell'applicazione
- Usabilità (Usability): Facilità d'uso dell'applicazione e intuitività dei meccanismi di interazione
- Durata: 2 giorni
- Primo Giorno: Esplorazione della stanza e tutorial standard
- Secondo Giorno: Tutorial avanzato e somministrazione del questionario
- Ambiente: Palestra di 5×4 metri
- Durata: Sessione singola
- Configurazione dei Compiti: 15 scaffali di cibo, 4 articoli della lista della spesa
- Ambiente: Corridoio centrale di 3×5 metri
- Punteggio Medio di Gradevolezza: M = 5,2 (SD = 1,21), su scala 7
- Punteggio Medio di Usabilità: M = 5,4 (SD = 1,36), su scala 7
- La maggior parte degli utenti ha mostrato un forte interesse
- Gli utenti hanno desiderato provare diverse configurazioni di compiti, dimostrando l'importanza della personalizzazione
- Buona accettazione di HoloLens da parte degli utenti, senza confusione o paura
- Alcuni utenti hanno riferito di sentirsi "trasportati in un altro mondo interessante"
- Punteggio Medio di Gradevolezza: 51,75/70 (SD = 6,94)
- Punteggio Medio di Usabilità: 63,5/70 (SD = 5,68)
- Gli utenti hanno generalmente apprezzato l'ambiente del supermercato virtuale
- La connessione tra la lista della spesa e gli articoli sugli scaffali ha ricevuto valutazioni positive
- Difficoltà nell'operazione del gesto di pizzicamento, richiedente assistenza esterna
- Problemi di comfort nel indossare HoloLens, necessitando frequenti regolazioni
- Difficoltà di Interazione: Manipolazione di oggetti virtuali non sufficientemente intuitiva
- Limitazioni Hardware: Limitazioni del campo visivo di HoloLens e disagio nel indossarlo
- Feedback Poco Chiaro: Meccanismi di feedback del sistema necessitano di miglioramento
- Riconoscimento dei Gesti: L'azione di pizzicamento e trascinamento risulta innaturale per gli utenti
- Potenziale di applicazione della tecnologia TAR nei settori dell'educazione, terapia e design
- Concetto di ologrammi tangibili: fusione di oggetti virtuali con aumentamento fisico
- Oggetti stampati in 3D capacitivi per l'interazione remota
- Applicazioni di AR/VR nella terapia per NDD: miglioramento delle abilità motorie, funzioni cognitive e interazione sociale
- Giocattoli tangibili Polipo: interazione fisica che migliora lo sviluppo cognitivo e sociale
- Studi pilota di HoloLens 2 in pazienti con ASD grave
Nonostante AR/VR mostrino promesse nella terapia per NDD, mancano ancora soluzioni TAR specificamente progettate per le esigenze dei NDD.
- Validazione del Potenziale TAR: Entrambe le applicazioni hanno dimostrato potenziale come strumenti terapeutici per NDD
- Alta Accettabilità da Parte degli Utenti: I partecipanti hanno generalmente apprezzato l'esperienza TAR, considerandola coinvolgente
- Fattibilità Tecnica: Il paradigma TAR è in grado di integrare con successo l'interazione fisica e digitale
- Necessità di Personalizzazione: La personalizzazione è cruciale per le applicazioni terapeutiche per NDD
- Gruppo Target: Le applicazioni TAR sono più vantaggiose per gli utenti con disabilità moderata, ma mostrano promesse anche per gli utenti con disabilità grave
- Importanza della Personalizzazione: L'adeguamento dei compiti in base alle capacità individuali è cruciale per migliorare l'usabilità e la gradevolezza
- Valore dell'Esperienza Condivisa: La partecipazione multi-utente e il monitoraggio in tempo reale del terapeuta migliorano il coinvolgimento
- Valore del Realismo: L'ambiente del supermercato virtuale realistico è stato ben accolto dagli utenti
- Sfide di Progettazione dell'Interazione: Necessità di metodi di interazione più intuitivi per sostituire i gesti complessi
- Necessità di Adattamento Hardware: Il comfort del dispositivo e le limitazioni del campo visivo richiedono miglioramenti tecnologici
- Limitazione della Dimensione del Campione: La piccola dimensione del campione limita l'analisi statistica e la generalizzabilità dei risultati
- Breve Durata della Ricerca: Impossibilità di valutare i benefici a lungo termine o i miglioramenti
- Vincoli Hardware: Le limitazioni tecniche di HoloLens influenzano l'esperienza dell'utente
- Complessità dell'Interazione: L'interazione gestuale è eccessivamente complessa per il gruppo target
- Aggiornamento a HoloLens 2: Miglioramento del riconoscimento dei gesti e dell'intuitività dell'interazione
- Raccolta Dati Migliorata: Metriche di analisi delle prestazioni più dettagliate
- Esperienza Collaborativa: Coordinamento multi-dispositivo e compiti di risoluzione dei problemi cooperativi
- Ricerca a Lungo Termine: Studio controllato di 6 mesi per valutare l'efficacia delle applicazioni TAR
- Ampliamento della Scala: Collaborazione con tre centri terapeutici a Milano per ottenere campioni più grandi
- Confronto Controllato: Confronto dell'efficacia dell'intervento TAR con i metodi di terapia tradizionali
- Forte Innovatività: Prima esplorazione sistematica dell'applicazione della TAR nella terapia per NDD
- Alto Valore Pratico: Risoluzione del problema pratico della mancanza di feedback tattile nella terapia AR
- Progettazione Rigorosa: Utilizzo del metodo di co-design, integrando le esigenze dei professionisti e degli utenti
- Valutazione Completa: Valutazione da due dimensioni di usabilità e gradevolezza
- Collaborazione Interdisciplinare: Riflessione di un'efficace combinazione tra il settore tecnologico e quello medico
- Dimensione del Campione Relativamente Piccola: Limita la potenza statistica e la capacità di generalizzazione dei risultati
- Assenza di Gruppo di Controllo: Impossibilità di effettuare confronti diretti con i metodi di terapia tradizionali
- Valutazione a Breve Termine: Incapacità di valutare gli effetti terapeutici a lungo termine
- Forte Dipendenza dalla Tecnologia: Limitato dalle limitazioni tecniche dell'attuale hardware AR
- Grande Variabilità Individuale: L'eterogeneità dei partecipanti aumenta la complessità dell'analisi dei dati
- Apertura di una nuova direzione di ricerca per la TAR nel campo della terapia per NDD
- Fornitura di un framework di progettazione e metodi di valutazione per ricerche successive
- Colmamento della lacuna di ricerca sull'interazione tattile nella terapia AR
- Fornitura di nuove opzioni di strumenti di intervento per le istituzioni terapeutiche
- Validazione della fattibilità dell'applicazione della tecnologia immersiva in popolazioni speciali
- Fornitura di intuizioni sulle esigenze degli utenti per lo sviluppo di prodotti correlati
- Fornitura di descrizioni dettagliate dell'implementazione tecnica
- Utilizzo di strumenti e piattaforme open-source che migliorano la riproducibilità
- Procedure sperimentali chiare che facilitano la verifica da parte di altri ricercatori
- Istituzioni Terapeutiche: Centri di assistenza diurna, ospedali di riabilitazione come terapia ausiliaria
- Ambienti Educativi: Scuole di educazione speciale per l'addestramento alle competenze
- Uso Domestico: Supporto alla terapia domestica sotto supervisione professionale
- Applicazioni di Ricerca: Valutazione dell'efficacia della terapia per NDD e ricerca sui metodi di intervento
Questo articolo cita 18 riferimenti correlati, principalmente riguardanti:
- Ricerca sullo sviluppo e l'applicazione della tecnologia TAR
- Applicazioni di AR/VR nella terapia per NDD
- Progettazione di interfacce tangibili e oggetti intelligenti
- Standard diagnostici e terapeutici per i disturbi del neurosviluppo
I riferimenti importanti includono i criteri diagnostici del DSM-5, revisioni sistematiche di AR negli interventi per l'autismo e ricerche correlate su strumenti di narrativa digitale tangibile.
Valutazione Complessiva: Questo è un articolo di ricerca HCI di significato pioneristico che esplora sistematicamente per la prima volta l'applicazione della tecnologia TAR nella terapia per i disturbi del neurosviluppo. Nonostante le limitazioni nella dimensione del campione e nella durata della ricerca, la sua soluzione tecnica innovativa, il metodo di progettazione rigoroso e i risultati preliminari positivi pongono una base importante per lo sviluppo di questo campo. La natura interdisciplinare dell'articolo e il suo valore pratico gli conferiscono un significato accademico e sociale importante.