2025-11-21T15:04:16.225643

Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders

Vona, Valcamonica, Garzotto
Tangible Augmented Reality (TAR) is an interaction paradigm that integrates physical and digital worlds to create immersive, interactive experiences. This paper explores two TAR applications, Holomarket and Along the Oceanic Flow (ATOF), and presents insights from two exploratory studies evaluating their usability and likeability among individuals with neurodevelopmental disorders (NDD). Holomarket is designed to simulate a supermarket shopping experience, helping users develop essential life skills such as item selection, basic arithmetic, and money handling. Participants interacted with augmented food items and a smart cash register, navigating a virtual supermarket environment. While participants enjoyed the realistic setting and tangible interactions, some usability challenges, such as difficulty manipulating virtual objects and discomfort with prolonged headset use, were noted. ATOF transforms the user environment into an oceanic world, where participants use a dolphin-shaped smart object to complete tasks like collecting items and solving puzzles. This application aims to improve motor coordination and cognitive skills. Participants appreciated the immersive experience, the customizable tasks, and the tangible dolphin interface. However, some faced difficulties interacting with specific virtual elements. Overall, both applications demonstrated potential as therapeutic tools for NDD, offering engaging and immersive experiences. Despite some usability challenges and hardware limitations, the positive feedback suggests that TAR could play a crucial role in future therapeutic interventions. Further research is needed to refine these applications and enhance user interaction and comfort.
academic

신경발달장애를 위한 유형적 증강현실에 관한 두 가지 탐색적 연구

기본 정보

  • 논문 ID: 2510.14598
  • 제목: Two Explorative Studies on Tangible Augmented Reality for Neurodevelopmental Disorders
  • 저자: Francesco Vona (University of Applied Sciences Hamm-Lippstadt), Giulia Valcamonica (Politecnico di Milano), Franca Garzotto (Politecnico di Milano)
  • 분류: cs.HC (인간-컴퓨터 상호작용)
  • 발표 시간: 2025년 10월 16일
  • 논문 링크: https://arxiv.org/abs/2510.14598

초록

본 논문은 두 개의 유형적 증강현실(TAR) 응용 프로그램인 Holomarket과 Along the Oceanic Flow (ATOF)를 탐색하고, 두 가지 탐색적 연구를 통해 신경발달장애(NDD) 인구에서의 사용성과 선호도를 평가했습니다. Holomarket은 슈퍼마켓 쇼핑 경험을 시뮬레이션하여 사용자가 기본 생활 기술을 개발하도록 돕습니다. ATOF는 사용자 환경을 해양 세계로 변환하고 돌고래 모양의 스마트 객체를 통해 운동 협응 및 인지 기술을 향상시킵니다. 일부 사용성 문제와 하드웨어 제한이 있음에도 불구하고, 긍정적인 피드백은 향후 치료 개입에서 TAR의 중요한 잠재력을 시사합니다.

연구 배경 및 동기

문제 정의

본 연구는 신경발달장애(NDD) 인구가 일상생활 기술 훈련 및 치료 개입에서 직면하는 과제를 해결하는 것을 목표로 합니다. NDD에는 자폐스펙트럼장애(ASD), 주의력결핍과잉행동장애(ADHD) 및 지적장애 등이 포함되며, 이러한 질환들은 인지, 사회 및 운동 기능에 영향을 미칩니다.

문제의 중요성

  1. 긴급한 치료 필요성: NDD는 개인의 일상생활 능력에 영향을 미치며 개인화된 치료 개입이 필요합니다.
  2. 기존 방법의 한계: 현존하는 AR/VR 치료 방법은 촉각 상호작용이 부족하며, NDD 인구는 특히 다감각 참여로부터 이익을 얻습니다.
  3. 기술 발전의 기회: 몰입형 기술의 빠른 발전은 치료 개입을 위한 새로운 경계를 열어줍니다.

기존 방법의 한계

  • AR 및 VR 치료는 유형적 상호작용 요소가 부족합니다.
  • NDD 인구를 위한 전문화된 설계 원칙이 부족합니다.
  • 물리적 및 디지털 상호작용의 통합이 불충분합니다.

연구 동기

TAR 기술과 스마트 객체(Smart Objects)를 결합하여 NDD 인구를 위해 직관적이고 참여도가 높은 치료 경험을 창출하고, 기존 AR 치료에서 촉각 피드백의 부족을 보완합니다.

핵심 기여

  1. 선도적 연구: 저자들의 지식으로는 NDD 인구에서 TAR 응용을 탐색하는 첫 번째 연구입니다.
  2. 이중 응용 개발: 서로 다른 기술 훈련을 위한 두 개의 TAR 응용 시스템을 개발했습니다.
  3. 실증적 평가: 탐색적 연구를 통해 NDD 치료에서 TAR의 타당성과 수용도를 검증했습니다.
  4. 설계 지침: TAR 응용 설계의 주요 경험과 지침 원칙을 제공합니다.
  5. 학제간 협력: 심리학자, 간호사 및 엔지니어의 협력 설계 결과를 보여줍니다.

방법론 상세 설명

작업 정의

본 연구는 두 가지 서로 다른 치료 작업을 정의했습니다:

  1. 생활 기술 훈련: Holomarket을 통해 쇼핑, 산술 및 금전 처리 능력 배양
  2. 운동 인지 훈련: ATOF를 통해 운동 협응 및 인지 기술 향상

시스템 아키텍처

Holomarket 시스템

  • 핵심 구성 요소:
    • AR 디스플레이 장치로서의 Microsoft HoloLens
    • 홀로그래픽 식품 선반 및 쇼핑 목록
    • RFID가 장착된 스마트 계산대
    • RFID 태그가 있는 식품 소품 및 화폐
  • 상호작용 모드:
    • Each Price Mode: 쇼핑 경험과 결합된 기억 게임
    • Total Price Mode: 총 가격 계산 및 결제 훈련
  • 기술 구현: Unity, Visual Studio, Vuforia 및 Mixed Reality Toolkit (MRTK)을 사용하여 개발

ATOF 시스템

  • 핵심 구성 요소:
    • 해양 테마의 몰입형 환경
    • 상호작용 도구로서의 돌고래 모양 스마트 객체
    • 공간 매핑 및 환경 적응
  • 게임 모드:
    • Infinity Mode: 기포 고리 수집, 장애물 회피
    • Adventure Mode: 스토리 기반의 점진적 작업

기술 혁신 포인트

  1. TAR 패러다임 통합: AR 기술과 물리적 스마트 객체의 원활한 결합
  2. 환경 적응성: 공간 매핑 기술을 통한 다양한 물리적 환경 적응
  3. 개인화 커스터마이제이션: 사용자 능력에 따라 작업 난이도 및 매개변수 조정 지원
  4. 다감각 피드백: 시각, 촉각 및 청각 피드백을 결합하여 몰입감 강화

실험 설정

참여자

ATOF 연구

  • 표본 규모: NDD 환자 11명
  • 성별 분포: 남성 5명(45.5%), 여성 6명(54.5%)
  • 연령: 평균 30.09세(SD=6.24), 범위 20-44세
  • 진단 분포:
    • 중등도 지적장애: 45.5%
    • 중증 지적장애: 27.3%
    • 유전 증후군: 18.2%
    • 자폐스펙트럼장애: 9.1%

Holomarket 연구

  • 표본 규모: 경증 인지 장애 환자 5명
  • 성별 분포: 남성 2명(40%), 여성 3명(60%)
  • 연령: 평균 36.0세(SD=6.2)

평가 지표

7점 리커트 척도를 사용하여 두 가지 차원을 평가했습니다:

  1. 선호도(Likeability): 응용 프로그램에 대한 사용자의 즐거움 정도
  2. 사용성(Usability): 응용 프로그램의 사용 용이성 및 상호작용 메커니즘의 직관성

실험 절차

ATOF 실험

  • 지속 시간: 2일
  • 첫째 날: 공간 탐색 및 표준 튜토리얼
  • 둘째 날: 고급 튜토리얼 및 설문 조사
  • 환경: 5×4미터 체육관

Holomarket 실험

  • 지속 시간: 단일 세션
  • 작업 구성: 15종류 식품 선반, 4종류 쇼핑 목록 항목
  • 환경: 3×5미터 중앙 통로

실험 결과

ATOF 주요 결과

정량적 결과

  • 선호도 평균 점수: M = 5.2 (SD = 1.21), 만점 7점
  • 사용성 평균 점수: M = 5.4 (SD = 1.36), 만점 7점

정성적 관찰

  • 대부분의 사용자가 높은 관심을 보였습니다.
  • 사용자들은 다양한 작업 구성을 시도하고 싶어 했으며, 이는 개인화 커스터마이제이션의 중요성을 증명합니다.
  • 사용자들은 HoloLens에 대해 좋은 수용도를 보였으며 혼란이나 두려움이 없었습니다.
  • 일부 사용자는 "다른 흥미로운 세계로 전송된 느낌"이라고 주장했습니다.

Holomarket 주요 결과

정량적 결과

  • 선호도 평균 점수: 51.75/70 (SD = 6.94)
  • 사용성 평균 점수: 63.5/70 (SD = 5.68)

주요 발견

  • 사용자들은 일반적으로 가상 슈퍼마켓 환경을 선호했습니다.
  • 쇼핑 목록과 선반 항목 간의 연결이 호평을 받았습니다.
  • 핀칭 제스처 조작이 어려워 외부 지원이 필요했습니다.
  • HoloLens 착용 편안함 문제로 빈번한 조정이 필요했습니다.

공통 과제

  1. 상호작용 어려움: 가상 객체 조작이 충분히 직관적이지 않습니다.
  2. 하드웨어 제한: HoloLens 시야 제한 및 착용 불편함
  3. 피드백 불명확: 시스템 피드백 메커니즘 개선 필요
  4. 제스처 인식: 핀칭 드래그 동작이 사용자에게 부자연스럽습니다.

관련 연구

TAR 기술 발전

  • 교육, 치료 및 설계 분야에서의 TAR 기술 응용 및 잠재력
  • 유형적 홀로그램 개념: 가상 객체와 물리적 강화의 융합
  • 원격 상호작용을 위한 정전식 3D 프린팅 객체

NDD 치료 기술

  • NDD 치료에서의 AR/VR 응용: 운동 기술, 인지 기능 및 사회적 상호작용 개선
  • Polipo 유형적 장난감: 인지 및 사회적 발전을 강화하는 물리적 상호작용
  • 중증 ASD 환자에서의 HoloLens 2 파일럿 연구

연구 공백

AR/VR이 NDD 치료에서 전망을 보이고 있음에도 불구하고, NDD 필요에 맞게 설계된 전문화된 TAR 솔루션은 여전히 부족합니다.

결론 및 논의

주요 결론

  1. TAR 잠재력 검증: 두 응용 프로그램 모두 NDD 치료 도구로서의 잠재력을 보여주었습니다.
  2. 높은 사용자 수용도: 참여자들은 일반적으로 TAR 경험을 즐겼으며 매력적이라고 생각했습니다.
  3. 기술 타당성: TAR 패러다임은 물리적 및 디지털 상호작용을 성공적으로 통합할 수 있습니다.
  4. 개인화 필요성: 커스터마이제이션은 NDD 치료 응용 프로그램에 매우 중요합니다.

설계 경험 요약

ATOF로부터의 경험

  1. 목표 집단: TAR 응용 프로그램은 중등도 장애 사용자에게 가장 유익하지만 중증 장애 사용자에게도 전망을 보여줍니다.
  2. 커스터마이제이션의 중요성: 개별 능력에 따른 작업 조정은 사용성과 선호도 향상에 매우 중요합니다.
  3. 공유 경험의 가치: 다중 사용자 참여 및 치료사의 실시간 모니터링은 참여도를 향상시킵니다.

Holomarket으로부터의 경험

  1. 현실감의 가치: 가상 슈퍼마켓 환경의 현실감이 사용자에게 호평을 받았습니다.
  2. 상호작용 설계 과제: 복잡한 제스처를 대체할 더 직관적인 상호작용 방법이 필요합니다.
  3. 하드웨어 적응 필요성: 장치 편안함 및 시야 제한은 기술 개선이 필요합니다.

제한 사항

  1. 표본 규모 제한: 작은 표본 크기는 통계 분석 및 결과 일반화를 제한합니다.
  2. 연구 기간 단기: 장기 효과 또는 개선을 평가할 수 없습니다.
  3. 하드웨어 제약: HoloLens의 기술적 제한은 사용자 경험에 영향을 미칩니다.
  4. 상호작용 복잡성: 제스처 상호작용은 목표 사용자 집단에게 너무 복잡합니다.

향후 방향

기술 개선

  1. HoloLens 2로 업그레이드: 제스처 인식 및 상호작용 직관성 개선
  2. 데이터 수집 강화: 상세한 성능 분석 지표
  3. 협력 경험: 다중 장치 협력 및 협력 문제 해결 작업

연구 계획

  1. 장기 연구: TAR 응용 효과를 평가하기 위한 6개월 대조 연구
  2. 규모 확대: 밀라노의 세 개 치료 센터와의 협력으로 더 큰 표본 획득
  3. 대조 비교: TAR 개입과 기존 치료 방법의 효과 비교

심층 평가

장점

  1. 높은 혁신성: NDD 치료에서 TAR의 응용을 처음으로 체계적으로 탐색합니다.
  2. 높은 실용 가치: AR 치료에서 촉각 피드백 부족이라는 실제 문제를 해결합니다.
  3. 엄밀한 설계: 공동 설계 방법을 채택하여 전문가 및 사용자 필요를 결합합니다.
  4. 포괄적인 평가: 사용성과 선호도 두 가지 차원에서 평가합니다.
  5. 학제간 협력: 기술과 의료 분야의 효과적인 결합을 보여줍니다.

부족한 점

  1. 표본 규모 편소: 결과의 통계적 효력 및 일반화 능력을 제한합니다.
  2. 대조군 부재: 기존 치료 방법과의 직접적인 비교가 불가능합니다.
  3. 단기 평가: 장기 치료 효과를 평가할 수 없습니다.
  4. 기술 의존성 높음: 현재 AR 하드웨어의 기술적 제한에 의해 제약을 받습니다.
  5. 개인차 큼: 참여자의 이질성은 데이터 분석 복잡성을 증가시킵니다.

영향력

학술적 기여

  • NDD 치료 분야에서 TAR 연구 방향을 개척했습니다.
  • 후속 연구를 위한 설계 프레임워크 및 평가 방법을 제공합니다.
  • AR 치료에서 촉각 상호작용 연구의 공백을 채웁니다.

실용적 가치

  • 치료 기관에 새로운 개입 도구 선택을 제공합니다.
  • 특수 인구에서 몰입형 기술의 응용 타당성을 검증합니다.
  • 관련 제품 개발을 위한 사용자 필요 통찰력을 제공합니다.

재현성

  • 상세한 기술 구현 설명을 제공합니다.
  • 오픈소스 도구 및 플랫폼의 사용은 재현성을 향상시킵니다.
  • 명확한 실험 절차는 다른 연구자의 반복 검증을 용이하게 합니다.

적용 시나리오

  1. 치료 기관: 주간 보호 센터, 재활 병원의 보조 치료
  2. 교육 환경: 특수 교육 학교의 기술 훈련
  3. 가정 사용: 전문가 지도 하의 가정 치료 지원
  4. 연구 응용: NDD 치료 효과 평가 및 개입 방법 연구

참고 문헌

본 논문은 18편의 관련 문헌을 인용하며, 주로 다음을 포함합니다:

  • TAR 기술 발전 및 응용 연구
  • NDD 치료에서의 AR/VR 응용
  • 유형적 인터페이스 및 스마트 객체 설계
  • 신경발달장애의 진단 및 치료 표준

중요 참고 문헌에는 DSM-5 진단 기준, 자폐증 개입에서의 AR에 관한 체계적 검토, 그리고 유형적 디지털 내러티브 도구 관련 연구가 포함됩니다.

종합 평가: 이것은 HCI 연구 논문으로서 개척적 의미를 가지며, 신경발달장애 치료에서 TAR 기술의 응용을 처음으로 체계적으로 탐색합니다. 표본 규모 및 연구 기간의 제한이 있음에도 불구하고, 혁신적인 기술 솔루션, 엄밀한 설계 방법 및 긍정적인 초기 결과는 해당 분야의 발전을 위한 중요한 기초를 마련했습니다. 논문의 학제간 특성과 실용적 가치는 이를 중요한 학술적 및 사회적 의미를 갖게 합니다.