Два исследовательских исследования осязаемой дополненной реальности при нарушениях нейроразвития

Основная информация

• ID статьи: 2510.14598
• Название: Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders
• Авторы: Francesco Vona (University of Applied Sciences Hamm-Lippstadt), Giulia Valcamonica (Politecnico di Milano), Franca Garzotto (Politecnico di Milano)
• Категория: cs.HC (Взаимодействие человека и компьютера)
• Дата публикации: 16 октября 2025 г.
• Ссылка на статью: https://arxiv.org/abs/2510.14598

Аннотация

В данной статье исследуются два приложения осязаемой дополненной реальности (ОДР) — Holomarket и Along the Oceanic Flow (ATOF), и оценивается их удобство использования и привлекательность для людей с нарушениями нейроразвития (ННР) посредством двух исследовательских исследований. Holomarket моделирует опыт покупок в супермаркете, помогая пользователям развивать базовые жизненные навыки; ATOF преобразует окружение пользователя в подводный мир, повышая координацию движений и когнитивные навыки через интерактивные объекты в форме дельфинов. Несмотря на некоторые проблемы удобства использования и аппаратные ограничения, позитивные отзывы указывают на значительный потенциал ОДР в будущих терапевтических вмешательствах.

Предпосылки и мотивация исследования

Определение проблемы

Данное исследование направлено на решение проблем, с которыми сталкиваются люди с нарушениями нейроразвития (ННР) при обучении навыкам повседневной жизни и терапевтических вмешательствах. ННР включают расстройство аутистического спектра (РАС), синдром дефицита внимания и гиперактивности (СДВГ) и интеллектуальные нарушения, которые влияют на когнитивные, социальные и двигательные функции.

Значимость проблемы

1. Острая терапевтическая необходимость: ННР влияют на способность индивида к повседневной деятельности, требуя персонализированных терапевтических вмешательств
2. Ограничения традиционных методов: Существующие методы AR/VR-терапии не имеют тактильного взаимодействия, тогда как люди с ННР особенно выигрывают от мультисенсорного участия
3. Возможности технологического развития: Быстрое развитие иммерсивных технологий открывает новые горизонты для терапевтических вмешательств

Ограничения существующих подходов

• AR и VR терапия не имеют элементов осязаемого взаимодействия
• Отсутствуют специализированные принципы проектирования для людей с ННР
• Недостаточная интеграция физического и цифрового взаимодействия

Мотивация исследования

Посредством технологии ОДР в сочетании с интеллектуальными объектами создать интуитивный и высокоэффективный терапевтический опыт для людей с ННР, восполняя недостаток тактильной обратной связи в традиционной AR-терапии.

Основные вклады

1. Пионерское исследование: По знанию авторов, это первое исследование, изучающее применение ОДР у людей с ННР
2. Разработка двух приложений: Разработаны две системы ОДР-приложений для обучения различным навыкам
3. Эмпирическая оценка: Исследовательские исследования подтвердили осуществимость и приемлемость ОДР при лечении ННР
4. Руководящие принципы проектирования: Предоставлены ключевые практические знания и руководящие принципы для проектирования ОДР-приложений
5. Междисциплинарное сотрудничество: Демонстрирует результаты совместного проектирования психологов, медицинских работников и инженеров

Подробное описание методологии

Определение задач

Исследование определило две различные терапевтические задачи:

1. Обучение жизненным навыкам: Развитие навыков покупок, арифметики и обращения с деньгами через Holomarket
2. Обучение двигательно-когнитивным навыкам: Повышение координации движений и когнитивных навыков через ATOF

Архитектура системы

Система Holomarket

• Основные компоненты:
  • Microsoft HoloLens в качестве устройства отображения AR
  • Голографические полки с продуктами и список покупок
  • Интеллектуальная касса с RFID
  • Реквизит продуктов и валюта с RFID-метками
• Режимы взаимодействия:
  • Each Price Mode: игра на запоминание в сочетании с опытом покупок
  • Total Price Mode: обучение расчету общей цены и оплате
• Техническая реализация: Разработано с использованием Unity, Visual Studio, Vuforia и Mixed Reality Toolkit (MRTK)

Система ATOF

• Основные компоненты:
  • Иммерсивная среда с морской тематикой
  • Интеллектуальные объекты в форме дельфинов в качестве инструментов взаимодействия
  • Пространственное картирование и адаптация окружающей среды
• Игровые режимы:
  • Infinity Mode: сбор пузырьков, избегание препятствий
  • Adventure Mode: задачи, управляемые сюжетом

Технологические инновации

1. Интеграция парадигмы ОДР: Бесшовное объединение технологии AR с физическими интеллектуальными объектами
2. Адаптивность окружающей среды: Адаптация к различным физическим окружениям посредством технологии пространственного картирования
3. Персонализированная настройка: Поддержка регулировки сложности задач и параметров в соответствии с возможностями пользователя
4. Мультисенсорная обратная связь: Сочетание визуальной, тактильной и слуховой обратной связи для повышения иммерсивности

Экспериментальная установка

Участники

Исследование ATOF

• Размер выборки: 11 пациентов с ННР
• Распределение по полу: 5 мужчин (45,5%), 6 женщин (54,5%)
• Возраст: средний возраст 30,09 лет (SD=6,24), диапазон 20-44 года
• Распределение диагнозов:
  • Умеренное интеллектуальное нарушение: 45,5%
  • Тяжелое интеллектуальное нарушение: 27,3%
  • Генетические синдромы: 18,2%
  • Расстройство аутистического спектра: 9,1%

Исследование Holomarket

• Размер выборки: 5 пациентов с легким когнитивным нарушением
• Распределение по полу: 2 мужчины (40%), 3 женщины (60%)
• Возраст: средний возраст 36,0 лет (SD=6,2)

Показатели оценки

Использована 7-балльная шкала Лайкерта для оценки двух измерений:

1. Привлекательность (Likeability): Степень удовольствия пользователя от приложения
2. Удобство использования (Usability): Простота использования приложения и интуитивность механизмов взаимодействия

Экспериментальная процедура

Эксперимент ATOF

• Продолжительность: 2 дня
• День первый: Исследование помещения и стандартное обучение
• День второй: Продвинутое обучение и опрос
• Окружающая среда: Спортивный зал размером 5×4 метра

Эксперимент Holomarket

• Продолжительность: Одна сессия
• Конфигурация задачи: 15 полок с продуктами, 4 предмета в списке покупок
• Окружающая среда: Центральный проход размером 3×5 метров

Результаты экспериментов

Основные результаты ATOF

Количественные результаты

• Средний балл привлекательности: M = 5,2 (SD = 1,21), максимум 7 баллов
• Средний балл удобства использования: M = 5,4 (SD = 1,36), максимум 7 баллов

Качественные наблюдения

• Большинство пользователей проявили живой интерес
• Пользователи желали попробовать различные конфигурации задач, что подтверждает важность персонализации
• Пользователи хорошо восприняли HoloLens, без признаков замешательства или страха
• Некоторые пользователи заявили, что чувствовали себя "перенесенными в другой интересный мир"

Основные результаты Holomarket

Количественные результаты

• Средний балл привлекательности: 51,75/70 (SD = 6,94)
• Средний балл удобства использования: 63,5/70 (SD = 5,68)

Ключевые выводы

• Пользователи в целом положительно оценили виртуальную среду супермаркета
• Связь между списком покупок и товарами на полках получила положительную оценку
• Жест щипка вызвал трудности, потребовалась внешняя помощь
• Проблемы с комфортом ношения HoloLens, требовалась частая регулировка

Общие вызовы

1. Трудности взаимодействия: Операции с виртуальными объектами недостаточно интуитивны
2. Аппаратные ограничения: Ограниченное поле зрения HoloLens и дискомфорт при ношении
3. Неясная обратная связь: Механизм обратной связи системы требует улучшения
4. Распознавание жестов: Движения щипка и перетаскивания неестественны для пользователей

Связанные работы

Развитие технологии ОДР

• Потенциал применения технологии ОДР в образовании, терапии и дизайне
• Концепция осязаемых голограмм: слияние виртуальных объектов и физического усиления
• Емкостная 3D-печать объектов для реализации удаленного взаимодействия

Технологии терапии ННР

• Применение AR/VR при лечении ННР: улучшение двигательных навыков, когнитивных функций и социального взаимодействия
• Осязаемые игрушки Polipo: физическое взаимодействие для повышения когнитивного и социального развития
• Пилотное исследование HoloLens 2 у пациентов с тяжелым РАС

Исследовательские пробелы

Несмотря на перспективность AR/VR при лечении ННР, решения ОДР, специально разработанные для удовлетворения потребностей ННР, по-прежнему отсутствуют.

Заключение и обсуждение

Основные выводы

1. Подтверждение потенциала ОДР: Оба приложения продемонстрировали потенциал в качестве инструментов терапии ННР
2. Высокая приемлемость пользователями: Участники в целом получили удовольствие от опыта ОДР и сочли его увлекательным
3. Техническая осуществимость: Парадигма ОДР может успешно интегрировать физическое и цифровое взаимодействие
4. Необходимость персонализации: Настройка имеет решающее значение для приложений терапии ННР

Резюме опыта проектирования

Опыт из ATOF

1. Целевая группа: Приложения ОДР наиболее полезны для пользователей с умеренными нарушениями, но также показывают перспективы для пользователей с тяжелыми нарушениями
2. Важность персонализации: Регулировка задач в соответствии с индивидуальными возможностями имеет решающее значение для повышения удобства использования и привлекательности
3. Ценность совместного опыта: Участие нескольких пользователей и мониторинг терапевта в реальном времени повышают вовлеченность

Опыт из Holomarket

1. Ценность реалистичности: Реалистичная среда виртуального супермаркета получила положительную оценку пользователей
2. Вызовы проектирования взаимодействия: Требуются более интуитивные методы взаимодействия вместо сложных жестов
3. Необходимость адаптации оборудования: Комфорт устройства и ограничения поля зрения требуют технологических улучшений

Ограничения

1. Ограничение размера выборки: Небольшой размер выборки ограничивает статистический анализ и обобщение результатов
2. Короткая продолжительность исследования: Невозможно оценить долгосрочные преимущества или улучшения
3. Аппаратные ограничения: Технические ограничения HoloLens влияют на пользовательский опыт
4. Сложность взаимодействия: Жестовое взаимодействие слишком сложно для целевой группы пользователей

Направления будущих исследований

Технологические улучшения

1. Обновление до HoloLens 2: Улучшение распознавания жестов и интуитивности взаимодействия
2. Расширенный сбор данных: Детальные метрики анализа производительности
3. Совместный опыт: Многоустройственное сотрудничество и задачи совместного решения проблем

Планы исследований

1. Долгосрочные исследования: 6-месячное контролируемое исследование для оценки эффективности приложений ОДР
2. Расширение масштаба: Сотрудничество с тремя терапевтическими центрами в Милане для получения большей выборки
3. Сравнение с контролем: Сравнение эффективности вмешательства ОДР с традиционными методами лечения

Углубленная оценка

Преимущества

1. Высокая инновационность: Первое систематическое исследование применения ОДР при лечении ННР
2. Высокая практическая ценность: Решение практической проблемы отсутствия тактильной обратной связи в AR-терапии
3. Строгое проектирование: Использование метода совместного проектирования с учетом потребностей специалистов и пользователей
4. Комплексная оценка: Оценка с точки зрения удобства использования и привлекательности
5. Междисциплинарное сотрудничество: Демонстрирует эффективное сочетание технологии и медицины

Недостатки

1. Небольшой размер выборки: Ограничивает статистическую мощность и обобщаемость результатов
2. Отсутствие контрольной группы: Невозможно прямое сравнение с традиционными методами лечения
3. Краткосрочная оценка: Не позволяет оценить долгосрочные терапевтические эффекты
4. Сильная технологическая зависимость: Ограничена текущими техническими возможностями AR-оборудования
5. Высокая индивидуальная вариативность: Гетерогенность участников усложняет анализ данных

Влияние

Академический вклад

• Открывает новое направление исследований ОДР в области лечения ННР
• Предоставляет рамки проектирования и методы оценки для последующих исследований
• Заполняет пробел в исследованиях тактильного взаимодействия в AR-терапии

Практическая ценность

• Предоставляет терапевтическим учреждениям новые варианты инструментов вмешательства
• Подтверждает осуществимость применения иммерсивных технологий в специальных группах населения
• Предоставляет информацию о потребностях пользователей для разработки соответствующих продуктов

Воспроизводимость

• Предоставляет подробное описание технической реализации
• Использование открытых инструментов и платформ повышает воспроизводимость
• Четкие экспериментальные процедуры облегчают повторную проверку другими исследователями

Сценарии применения

1. Терапевтические учреждения: Вспомогательная терапия в дневных центрах и реабилитационных больницах
2. Образовательная среда: Обучение навыкам в школах специального образования
3. Домашнее использование: Поддержка домашней терапии под профессиональным руководством
4. Исследовательское применение: Оценка эффективности лечения ННР и исследование методов вмешательства

Библиография

Статья цитирует 18 соответствующих источников, охватывающих в основном:

• Исследования развития и применения технологии ОДР
• Применение AR/VR при лечении ННР
• Проектирование осязаемых интерфейсов и интеллектуальных объектов
• Диагностика и стандарты лечения нарушений нейроразвития

Важные цитируемые источники включают диагностические критерии DSM-5, систематический обзор AR в вмешательствах при аутизме и исследования инструментов осязаемого цифрового повествования.

Общая оценка: Это пионерская статья в области HCI, первая систематически исследующая применение технологии ОДР при лечении нарушений нейроразвития. Несмотря на ограничения в размере выборки и продолжительности исследования, инновационное техническое решение, строгая методология проектирования и позитивные предварительные результаты закладывают важную основу для развития этой области. Междисциплинарный характер и практическая ценность статьи придают ей значительное академическое и социальное значение.