Zwei explorative Studien zu greifbarer erweiterter Realität für neurodevelopmentale Störungen

Grundinformationen

• Paper-ID: 2510.14598
• Titel: Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders
• Autoren: Francesco Vona (Fachhochschule Hamm-Lippstadt), Giulia Valcamonica (Politecnico di Milano), Franca Garzotto (Politecnico di Milano)
• Klassifizierung: cs.HC (Mensch-Computer-Interaktion)
• Veröffentlichungsdatum: 16. Oktober 2025
• Paper-Link: https://arxiv.org/abs/2510.14598

Zusammenfassung

Dieses Papier untersucht zwei Anwendungen der greifbaren erweiterten Realität (TAR) – Holomarket und Along the Oceanic Flow (ATOF) – und bewertet deren Benutzerfreundlichkeit und Beliebtheit bei Personen mit neurodevelopmentalen Störungen (NDD) durch zwei explorative Studien. Holomarket simuliert ein Supermarkt-Einkaufserlebnis und hilft Benutzern, grundlegende Alltagsfähigkeiten zu entwickeln; ATOF wandelt die Benutzerumgebung in eine Meereswelt um und verbessert durch delfinförmige intelligente Objekte motorische Koordination und kognitive Fähigkeiten. Trotz einiger Benutzerfreundlichkeitsprobleme und Hardwarebeschränkungen deuten positive Rückmeldungen auf großes Potenzial für TAR in zukünftigen therapeutischen Interventionen hin.

Forschungshintergrund und Motivation

Problemdefinition

Diese Studie zielt darauf ab, die Herausforderungen zu bewältigen, denen sich Personen mit neurodevelopmentalen Störungen (NDD) bei der Schulung von Alltagsfähigkeiten und therapeutischen Interventionen gegenübersehen. NDD umfasst Autismus-Spektrum-Störungen (ASD), Aufmerksamkeitsdefizit-Hyperaktivitätsstörung (ADHS) und intellektuelle Behinderungen, die kognitive, soziale und motorische Funktionen beeinträchtigen.

Problemrelevanz

1. Dringender therapeutischer Bedarf: NDD beeinträchtigt die Alltagsfähigkeiten von Personen und erfordert personalisierte therapeutische Interventionen
2. Einschränkungen traditioneller Methoden: Bestehende AR/VR-Therapiemethoden mangelt es an haptischer Interaktion, während NDD-Populationen besonders von multisensorischer Beteiligung profitieren
3. Technologische Entwicklungschancen: Die schnelle Entwicklung immersiver Technologien eröffnet neue Grenzen für therapeutische Interventionen

Einschränkungen bestehender Ansätze

• AR- und VR-Therapien mangelt es an greifbaren Interaktionselementen
• Mangel an speziellen Designprinzipien für NDD-Populationen
• Unzureichende Integration von physischer und digitaler Interaktion

Forschungsmotivation

Durch die Kombination von TAR-Technologie mit intelligenten Objekten (Smart Objects) sollen intuitive, hochgradig ansprechende therapeutische Erfahrungen für NDD-Populationen geschaffen werden, um das Fehlen von haptischem Feedback in traditionellen AR-Therapien zu beheben.

Kernbeiträge

1. Bahnbrechende Forschung: Nach Angaben der Autoren ist dies die erste Studie, die die Anwendung von TAR bei NDD-Populationen untersucht
2. Duale Anwendungsentwicklung: Entwicklung von zwei TAR-Anwendungssystemen für verschiedene Fähigkeitstrainings
3. Empirische Bewertung: Validierung der Machbarkeit und Akzeptanz von TAR in der NDD-Therapie durch explorative Studien
4. Designrichtlinien: Bereitstellung von Schlüsselerfahrungen und Richtlinien für die TAR-Anwendungsgestaltung
5. Interdisziplinäre Zusammenarbeit: Demonstration der Ergebnisse der Zusammenarbeit zwischen Psychologen, Pflegekräften und Ingenieuren

Methodische Details

Aufgabendefinition

Diese Studie definiert zwei verschiedene therapeutische Aufgaben:

1. Alltagsfähigkeitentraining: Entwicklung von Einkaufs-, Rechen- und Geldumgangsfähigkeiten durch Holomarket
2. Motorisch-kognitives Training: Verbesserung motorischer Koordination und kognitiver Fähigkeiten durch ATOF

Systemarchitektur

Holomarket-System

• Kernkomponenten:
  • Microsoft HoloLens als AR-Anzeigevorrichtung
  • Holografische Lebensmittelregale und Einkaufslisten
  • Mit RFID ausgestattete intelligente Kasse
  • RFID-gekennzeichnete Lebensmittelpropaganda und Währung
• Interaktionsmodi:
  • Each Price Mode: Gedächtnisspiel kombiniert mit Einkaufserlebnis
  • Total Price Mode: Gesamtpreisberechnung und Zahlungstraining
• Technische Implementierung: Entwicklung mit Unity, Visual Studio, Vuforia und Mixed Reality Toolkit (MRTK)

ATOF-System

• Kernkomponenten:
  • Meeresthematische immersive Umgebung
  • Delfinförmige intelligente Objekte als Interaktionswerkzeuge
  • Räumliche Kartierung und Umgebungsanpassung
• Spielmodi:
  • Infinity Mode: Sammeln von Blasenringen, Vermeidung von Hindernissen
  • Adventure Mode: Geschichtsgesteuerte progressive Aufgaben

Technologische Innovationen

1. TAR-Paradigma-Integration: Nahtlose Kombination von AR-Technologie mit physischen intelligenten Objekten
2. Umgebungsadaptivität: Anpassung an verschiedene physische Umgebungen durch räumliche Kartierungstechnologie
3. Personalisierte Anpassung: Unterstützung der Anpassung von Aufgabenschwierigkeit und Parametern basierend auf Benutzerfähigkeiten
4. Multisensorisches Feedback: Kombination von visuellen, haptischen und akustischen Rückmeldungen zur Verbesserung der Immersion

Experimentelle Einrichtung

Teilnehmer

ATOF-Studie

• Stichprobengröße: 11 NDD-Patienten
• Geschlechterverteilung: 5 männlich (45,5%), 6 weiblich (54,5%)
• Alter: Durchschnitt 30,09 Jahre (SD=6,24), Bereich 20-44 Jahre
• Diagnoseverteilung:
  • Mittelschwere intellektuelle Behinderung: 45,5%
  • Schwere intellektuelle Behinderung: 27,3%
  • Genetische Syndrome: 18,2%
  • Autismus-Spektrum-Störung: 9,1%

Holomarket-Studie

• Stichprobengröße: 5 Patienten mit leichter kognitiver Beeinträchtigung
• Geschlechterverteilung: 2 männlich (40%), 3 weiblich (60%)
• Alter: Durchschnitt 36,0 Jahre (SD=6,2)

Bewertungskriterien

Bewertung mit einer 7-Punkte-Likert-Skala auf zwei Dimensionen:

1. Beliebtheit (Likeability): Grad der Benutzerfreude an der Anwendung
2. Benutzerfreundlichkeit (Usability): Benutzerfreundlichkeit der Anwendung und Intuitivität der Interaktionsmechanismen

Experimentelles Verfahren

ATOF-Experiment

• Dauer: 2 Tage
• Tag 1: Raumexploration und Standard-Tutorial
• Tag 2: Fortgeschrittenes Tutorial und Fragebogenumfrage
• Umgebung: 5×4 Meter Sporthalle

Holomarket-Experiment

• Dauer: Einzelne Sitzung
• Aufgabenkonfiguration: 15 Lebensmittelregale, 4 Einkaufslistenelemente
• Umgebung: 3×5 Meter Mittelgang

Experimentelle Ergebnisse

ATOF-Hauptergebnisse

Quantitative Ergebnisse

• Durchschnittliche Beliebtheitsbewertung: M = 5,2 (SD = 1,21), maximal 7 Punkte
• Durchschnittliche Benutzerfreundlichkeitsbewertung: M = 5,4 (SD = 1,36), maximal 7 Punkte

Qualitative Beobachtungen

• Die meisten Benutzer zeigten großes Interesse
• Benutzer wünschten sich, verschiedene Aufgabenkonfigurationen auszuprobieren, was die Bedeutung der Personalisierung unterstreicht
• Benutzer zeigten gute Akzeptanz der HoloLens ohne Verwirrung oder Angst
• Einige Benutzer berichteten, sich "in eine andere interessante Welt versetzt" zu fühlen

Holomarket-Hauptergebnisse

Quantitative Ergebnisse

• Durchschnittliche Beliebtheitsbewertung: 51,75/70 (SD = 6,94)
• Durchschnittliche Benutzerfreundlichkeitsbewertung: 63,5/70 (SD = 5,68)

Wichtigste Erkenntnisse

• Benutzer mochten die virtuelle Supermarktumgebung allgemein
• Die Verbindung zwischen Einkaufsliste und Regalartikeln wurde positiv bewertet
• Pinch-Gesten waren schwierig zu bedienen und erforderten externe Hilfe
• HoloLens-Tragekomfort war problematisch und erforderte häufige Anpassungen

Gemeinsame Herausforderungen

1. Interaktionsschwierigkeiten: Bedienung virtueller Objekte nicht intuitiv genug
2. Hardwarebeschränkungen: HoloLens-Sichtfeldeinschränkungen und Trageunbehagen
3. Unklare Rückmeldungen: Systemrückmeldungsmechanismen müssen verbessert werden
4. Gestenerkennung: Pinch-Drag-Bewegungen wirken für Benutzer unnatürlich

Verwandte Arbeiten

TAR-Technologieentwicklung

• Anwendungspotenzial von TAR-Technologie in Bildung, Therapie und Design
• Konzept der greifbaren Hologramme: Fusion virtueller Objekte mit physischer Augmentation
• Kapazitive 3D-gedruckte Objekte für Remote-Interaktion

NDD-Therapietechnologie

• Anwendung von AR/VR in der NDD-Therapie: Verbesserung motorischer Fähigkeiten, kognitiver Funktionen und sozialer Interaktion
• Polipo-Greifspielzeug: Physische Interaktion zur Verbesserung kognitiver und sozialer Entwicklung
• Pilotforschung mit HoloLens 2 bei Patienten mit schwerer ASD

Forschungslücken

Obwohl AR/VR in der NDD-Therapie vielversprechend sind, fehlen speziell für NDD-Anforderungen konzipierte TAR-Lösungen.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. TAR-Potenzial validiert: Beide Anwendungen zeigen Potenzial als NDD-Therapiewerkzeuge
2. Hohe Benutzerakzeptanz: Teilnehmer genossen die TAR-Erfahrung allgemein und fanden sie ansprechend
3. Technische Machbarkeit: Das TAR-Paradigma kann physische und digitale Interaktion erfolgreich integrieren
4. Personalisierungsbedarf: Anpassung ist für NDD-Therapieanwendungen entscheidend

Zusammenfassung der Designerfahrungen

Erkenntnisse aus ATOF

1. Zielgruppe: TAR-Anwendungen sind für Benutzer mit mittelschweren Beeinträchtigungen am vorteilhaftesten, zeigen aber auch Potenzial für schwer beeinträchtigte Benutzer
2. Bedeutung der Anpassung: Die Anpassung von Aufgaben an individuelle Fähigkeiten ist entscheidend für die Verbesserung von Benutzerfreundlichkeit und Beliebtheit
3. Wert gemeinsamer Erfahrungen: Mehrbenutzer-Beteiligung und Echtzeit-Therapeutenüberwachung erhöhen die Engagement

Erkenntnisse aus Holomarket

1. Wert der Realitätstreue: Die Realitätstreue der virtuellen Supermarktumgebung wurde von Benutzern geschätzt
2. Herausforderungen beim Interaktionsdesign: Intuitivere Interaktionsmethoden sind erforderlich, um komplexe Gesten zu ersetzen
3. Hardwareanpassungsbedarf: Gerätekomfort und Sichtfeldeinschränkungen erfordern technische Verbesserungen

Einschränkungen

1. Stichprobengrößenbeschränkung: Kleine Stichprobengröße begrenzt statistische Analyse und Verallgemeinerung der Ergebnisse
2. Kurze Forschungsdauer: Unmöglich, Langzeiteffekte oder Verbesserungen zu bewerten
3. Hardwarebeschränkungen: Technische Einschränkungen der HoloLens beeinträchtigen das Benutzererlebnis
4. Interaktionskomplexität: Gestenerkennung ist für die Zielbenutzergruppe zu komplex

Zukünftige Richtungen

Technische Verbesserungen

1. Upgrade auf HoloLens 2: Verbesserung der Gestenerkennung und Interaktionsintuitivität
2. Verbesserte Datenerfassung: Detaillierte Leistungsanalysemetriken
3. Kooperative Erfahrungen: Multi-Device-Koordination und kooperative Problemlösungsaufgaben

Forschungspläne

1. Langzeitstudien: 6-Monate-Kontrollstudie zur Bewertung der TAR-Anwendungseffektivität
2. Skalierungserweiterung: Zusammenarbeit mit drei Therapiezentren in Mailand für größere Stichproben
3. Kontrollvergleiche: Vergleich der TAR-Interventionseffektivität mit traditionellen Therapiemethoden

Tiefgreifende Bewertung

Stärken

1. Hohe Innovativität: Erste systematische Erforschung der TAR-Anwendung in der NDD-Therapie
2. Hoher praktischer Wert: Löst das praktische Problem des fehlenden haptischen Feedbacks in der AR-Therapie
3. Strenge Gestaltung: Verwendung von Co-Design-Methoden unter Berücksichtigung von Fachleuten und Benutzerbedürfnissen
4. Umfassende Bewertung: Bewertung aus Perspektiven von Benutzerfreundlichkeit und Beliebtheit
5. Interdisziplinäre Zusammenarbeit: Effektive Kombination von Technologie und Medizin

Mängel

1. Kleine Stichprobengröße: Begrenzt die statistische Aussagekraft und Verallgemeinerbarkeit der Ergebnisse
2. Fehlende Kontrollgruppe: Keine direkte Vergleichbarkeit mit traditionellen Therapiemethoden
3. Kurzfristige Bewertung: Unfähigkeit, Langzeittherapieeffekte zu bewerten
4. Starke Technologieabhängigkeit: Begrenzt durch aktuelle AR-Hardware-Einschränkungen
5. Große individuelle Unterschiede: Heterogenität der Teilnehmer erhöht die Komplexität der Datenanalyse

Auswirkungen

Akademische Beiträge

• Eröffnet neue Forschungsrichtung für TAR in der NDD-Therapie
• Bietet Designrahmen und Bewertungsmethoden für nachfolgende Forschung
• Füllt Forschungslücke bei haptischer Interaktion in AR-Therapie

Praktischer Wert

• Bietet Therapieeinrichtungen neue Interventionswerkzeugoptionen
• Validiert die Machbarkeit immersiver Technologien bei speziellen Populationen
• Bietet Benutzerbedarfserkenntnisse für verwandte Produktentwicklung

Reproduzierbarkeit

• Bietet detaillierte Beschreibungen der technischen Implementierung
• Verwendung von Open-Source-Tools und Plattformen verbessert die Reproduzierbarkeit
• Klare experimentelle Verfahren ermöglichen Wiederholung durch andere Forscher

Anwendungsszenarien

1. Therapieeinrichtungen: Ergänzende Therapie in Tagesstätten und Rehabilitationskrankenhäusern
2. Bildungsumgebung: Fähigkeitentraining in Förderschulen
3. Heimnutzung: Unterstützung der Haustherapie unter professioneller Anleitung
4. Forschungsanwendung: Bewertung der NDD-Therapieeffektivität und Interventionsmethodenforschung

Literaturverzeichnis

Dieses Papier zitiert 18 relevante Literaturquellen, die hauptsächlich folgende Bereiche abdecken:

• TAR-Technologieentwicklung und Anwendungsforschung
• Anwendung von AR/VR in der NDD-Therapie
• Greifbare Schnittstellengestaltung und intelligente Objektgestaltung
• Diagnose- und Behandlungsstandards für neurodevelopmentale Störungen

Wichtige Literaturquellen umfassen DSM-5-Diagnosestandards, systematische Übersichten von AR in der Autismus-Intervention und verwandte Forschung zu greifbaren digitalen Erzählwerkzeugen.

Gesamtbewertung: Dies ist ein bahnbrechendes HCI-Forschungspapier, das erstmals systematisch die Anwendung von TAR-Technologie in der NDD-Therapie untersucht. Trotz Einschränkungen bei Stichprobengröße und Forschungsdauer legen die innovative technische Lösung, strenge Designmethode und positive vorläufige Ergebnisse eine wichtige Grundlage für die Entwicklung dieses Bereichs. Die interdisziplinäre Natur und der praktische Wert des Papiers verleihen ihm bedeutende akademische und gesellschaftliche Relevanz.