Pseudo-haptics exploit carefully crafted visual or auditory cues to trick the brain into "feeling" forces that are never physically applied, offering a low-cost alternative to traditional haptic hardware. Here, we present a comparative psychophysical study that quantifies how visual and auditory stimuli combine to evoke pseudo-haptic pressure sensations on a commodity tablet. Using a Unity-based Rollball game, participants (n = 4) guided a virtual ball across three textured terrains while their finger forces were captured in real time with a Robotous RFT40 force-torque sensor. Each terrain was paired with a distinct rolling-sound profile spanning 440 Hz - 4.7 kHz, 440 Hz - 13.1 kHz, or 440 Hz - 8.9 kHz; crevice collisions triggered additional "knocking" bursts to heighten realism. Average tactile forces increased systematically with cue intensity: 0.40 N, 0.79 N and 0.88 N for visual-only trials and 0.41 N, 0.81 N and 0.90 N for audio-only trials on Terrains 1-3, respectively. Higher audio frequencies and denser visual textures both elicited stronger muscle activation, and their combination further reduced the force needed to perceive surface changes, confirming multisensory integration. These results demonstrate that consumer-grade isometric devices can reliably induce and measure graded pseudo-haptic feedback without specialized actuators, opening a path toward affordable rehabilitation tools, training simulators and assistive interfaces.
- 논문 ID: 2510.09570
- 제목: Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation
- 저자: Nishant Gautam, Somya Sharma, Peter Corcoran, Kaspar Althoefer
- 기관: Queen Mary University of London (Advanced Robotics), University of Galway (C3I)
- 분류: cs.HC cs.GR cs.NE cs.RO physics.med-ph
- 논문 링크: https://arxiv.org/abs/2510.09570
본 연구는 의사 촉각 피드백 기술을 탐색하였으며, 신중하게 설계된 시각 또는 청각 신호를 통해 뇌를 속여 실제로 가해지지 않은 힘을 "느끼게" 함으로써 전통적인 촉각 하드웨어에 대한 저비용 대안을 제공합니다. 본 연구는 Unity 기반의 Rollball 게임을 이용한 비교 심리물리학 연구를 수행하였으며, 시각 및 청각 자극이 상용 태블릿 PC에서 의사 촉각 압력 감각을 어떻게 유발하는지 정량적으로 분석했습니다. 4명의 참여자가 Robotous RFT40 힘-토크 센서를 사용하여 실시간으로 손가락 힘을 측정하면서 가상 공을 세 가지 질감의 지형을 통해 조종했습니다. 실험 결과는 지형 1-3에서 시각 전용 시험의 평균 촉각 힘이 각각 0.40 N, 0.79 N, 0.88 N이고, 청각 전용 시험이 0.41 N, 0.81 N, 0.90 N임을 보여주었습니다. 본 연구는 소비자급 등척 장치가 단계적 의사 촉각 피드백을 안정적으로 유도하고 측정할 수 있음을 증명했습니다.
전통적인 촉각 기술은 여러 핵심 과제에 직면하고 있습니다:
- 하드웨어 비용 고가: 전문적인 힘 피드백 모터 및 액추에이터는 부피가 크고 가격이 비싸 연구 실험실 및 고급 시뮬레이터 외의 광범위한 응용을 제한합니다
- 정량적 증거 부족: 의사 촉각 개념 증명이 20년의 역사를 가지고 있음에도 불구하고, 특정 시각 및 음성 매개변수가 인지된 압력을 어떻게 공동으로 조절하는지에 대한 정량적 증거가 여전히 부족합니다
- 측정 정확도 부족: 소비자급 등척 장치가 엄격한 심리물리학 연구를 위해 충분한 충실도로 이러한 효과를 유도하고 측정할 수 있는지 여부가 불명확합니다
의사 촉각 기술은 "터치"의 부담을 하드웨어에서 다중감각 통합으로 전환함으로써 저비용의 소프트웨어 정의 촉각 경험을 제공하며, 상용 휴대폰 및 태블릿 PC로 확장할 수 있습니다. 이 기술은 다음 분야에서 중요한 응용 가치를 가집니다:
- 운동 재활 훈련기
- 촉각 보조 도구
- 몰입형 게임
- 로봇 공학
- 생의학 응용
- 경제적이고 실용적인 다중 모달 테스트 플랫폼: 200파운드의 태블릿 PC와 기성 힘 센서가 고급 촉각 장치의 핵심 기능을 복제할 수 있음을 증명하여 빠르고 휴대 가능한 실험을 실현합니다
- 체계적인 신호-힘 매핑: 음성 및 시각 채널을 분리함으로써 더 높은 공간 주파수 질감과 더 높은 음조 소리가 모두 더 강한 자발적 압력을 유발하며, 이들의 조합이 초가산 효과를 생성함을 증명합니다
- 심리물리학 벤치마크: 표면 변화의 겨우 눈에 띄는 차이(JND)가 0.05 N 미만임을 보고하여 기준 압력 범위(0.40-0.90 N)를 확립합니다
- 응용 전망: 저비용 운동 재활 훈련기, 촉각 보조 도구 및 몰입형 게임을 위한 경로를 개척합니다
본 연구는 Unity 엔진으로 개발된 "Rollball" 게임을 실험 플랫폼으로 사용하였으며, 참여자는 세 가지 다른 질감의 지형에서 가상 공을 굴려야 합니다.
- 태블릿 장치: Lenovo M10 HD 2nd Gen 10.1" 태블릿 PC
- 힘 센서: Robotous RFT40 힘-토크 센서(용량 100N, 정확도 밀리뉴턴급)
- 크기 사양: 40(D)×18.5(H) mm, 무게 60g
- 지형 1: 매끄러운 표면, 장애물 없음, 기준 측정 제공
- 지형 2: 자갈 같은 질감, 구멍과 균열 장애물 포함
- 지형 3: 산악 질감, 가파른 경사와 다양한 기울기 포함
각 지형은 다른 굴림 소리 구성과 쌍을 이룹니다:
- 지형 1: 440 Hz - 4.7 kHz
- 지형 2: 440 Hz - 13.1 kHz(충돌 시 "두드리는" 소리 생성)
- 지형 3: 440 Hz - 8.9 kHz
본 연구는 세 가지 실험 조건을 설계했습니다:
- 시각 신호만: 참여자는 시각 질감 정보에만 의존
- 청각 신호만: 참여자는 음성 피드백에만 의존
- 시청각 결합: 시각 및 청각 신호를 동시에 제공
사용자가 화면을 터치할 때 "터치 효과 원"이 생성되며, 그 반경은 가해진 압력에 정비례합니다:
P=Te×td
여기서 Te는 터치 이벤트 또는 터치 효과 원, td는 총 터치 지속 시간(초)입니다.
Weber 법칙을 사용하여 계산합니다:
K=ΔI/I
여기서 ΔI는 원래 강도를 초과하는 추가 자극, I는 감각의 원래 강도, K는 Weber 상수입니다.
- 실험군: 4명(남성 2명, 여성 2명), 나이 22-26세
- 대조군: 2명의 후보자(남성 34세, 여성 33세)
- 선별 기준: 간질, 편두통 또는 신경계 질환 병력이 있는 후보자 제외
- 온도 및 습도의 급격한 변화를 피하는 통제된 환경
- 센서에 과도한 힘이나 토크 가하지 않음
- 태블릿 PC는 긁힘 방지 화면 보호기 장착
- 실시간 힘-토크 데이터 수집
- 터치 반경 원격 측정
- 각 지형에 대해 10회 터치/클릭의 평균 측정
| 지형 | 시각 신호만 압력(N) | 청각 신호만 압력(N) |
|---|
| 지형 1 | 0.39834 | 0.40550 |
| 지형 2 | 0.7889 | 0.8077 |
| 지형 3 | 0.8825 | 0.9022 |
| 지형 | 픽셀 범위 | 지시자 값(0-10) |
|---|
| 지형 1 | 13-34 | 0.69-2.82 |
| 지형 2 | 19-58 | 0.97-6.15 |
| 지형 3 | 13-56 | 0.97-6.14 |
- 체계적인 힘 증가: 신호 강도 증가에 따라 촉각 힘이 체계적으로 증가합니다
- 청각 우위: 청각 전용 조건에서 사용자가 가한 압력이 시각 전용 조건보다 약간 높습니다
- 다중감각 통합: 시청각 결합 조건에서 표면 변화를 인지하는 데 필요한 힘이 추가로 감소합니다
- 주파수-압력 상관성: 더 높은 음성 주파수와 더 조밀한 시각 질감이 모두 더 강한 근육 활성화를 유발합니다
참여자는 지형 또는 청각 피드백이 변할 때 터치패드 상호작용에 필요한 힘의 차이를 거의 즉시 인지했다고 보고했습니다. 본 연구는 표면 변화의 JND 벤치마크를 확립하여 향후 의사 촉각 인터페이스를 위한 목표 압력 범위를 제공합니다.
- Yoshida et al. (1968): SD 방법을 사용한 재료 촉각 감지 연구
- Hollins et al. (2000): 17가지 질감 재료를 사용한 다차원 감지 연구
- Li et al. (2016): CAD 기반 연질 표면 시뮬레이션 제안
- "양피지 피부 착각": 청각 피드백의 모든 변화가 질감 감지 변화를 유도할 수 있음
- 음성 지연 효과: 청각 피드백 지연이 의사 피드백 효과를 약화시킴
- 재료 식별: 저음 소리 효과가 사용자로 하여금 물체를 더 무겁게 인지하게 함
- 기술 타당성: 소비자급 등척 장치가 단계적 의사 촉각 피드백을 안정적으로 유도하고 측정할 수 있습니다
- 다중감각 통합: 시각 및 청각 신호의 결합이 초가산 효과를 생성하여 다중감각 통합 이론을 확인합니다
- 응용 잠재력: 저비용 재활 도구, 훈련 시뮬레이터 및 보조 인터페이스를 위한 경로를 개척합니다
- 측정 정확도: JND가 0.05 N 미만이고 기준 압력 범위가 0.40-0.90 N인 벤치마크를 확립합니다
- 표본 규모: 참여자가 4명으로 표본 크기가 작습니다
- 실험 시간: 2개월 반의 시간 제약으로 제한됩니다
- 생리적 측정: 피부 전도도 및 심박수 등의 심리물리학 측정을 채택하지 않았습니다
- 장치 의존성: 터치 반경 값이 특정 장치에 의존합니다
- 연구 확장: 신경과학자와의 협력, 근전도 및 안전도 채택
- 치료 응용: 화상 환자의 분산 치료 및 감각 재교육
- 기술 통합: Ultraleap의 초음파 터치 어레이 및 MediaPipe 프레임워크와의 통합
- 다중 모달 탐색: 열 피드백 및 기류 피드백 통합
- 혁신적 방법: 시각 및 청각 신호가 의사 촉각 피드백에 미치는 영향을 처음으로 체계적으로 정량화했습니다
- 실용적 가치: 저비용 소비자급 장치의 타당성을 증명하여 중요한 상업적 응용 전망을 가집니다
- 엄격한 설계: 다양한 측정 방법(힘 센서, 터치 반경, 심리물리학 평가)을 채택했습니다
- 학제간 의의: 인간-컴퓨터 상호작용, 심리물리학, 로봇 공학 등 여러 분야를 결합합니다
- 통계적 검정력 부족: 4명의 표본 크기가 너무 작아 결과의 통계적 유의성 및 일반화 능력에 영향을 미칩니다
- 대조 실험 설계: 진정한 신호 없는 대조군이 부족합니다
- 개인차 분석: 개인 간 차이 및 영향 요인에 대한 충분한 분석이 없습니다
- 장기 효과: 적응 효과 및 장기 사용의 영향을 연구하지 않았습니다
- 학술적 기여: 의사 촉각 연구에 중요한 정량적 기초를 제공합니다
- 산업 응용: 소비자 전자제품, 게임, 재활 의학 등 분야에 새로운 기술 경로를 제공합니다
- 방법론적 가치: 재현 가능한 실험 패러다임 및 측정 표준을 확립합니다
- 재활 의학: 운동 재활 훈련, 감각 기능 회복
- 교육 훈련: 수술 시뮬레이터, 기술 훈련 시스템
- 소비자 전자제품: 모바일 장치 촉각 피드백 강화
- 보조 기술: 시각 장애인 네비게이션 시스템, 촉각 보조 도구
논문은 촉각 감지, 다중감각 통합, 가상 현실, 인간-컴퓨터 상호작용 등 여러 연구 분야의 중요한 작업을 포함하는 41개의 관련 문헌을 인용하여 연구에 견고한 이론적 기초를 제공합니다.
종합 평가: 본 연구는 의사 촉각 피드백 분야에 중요한 기여를 하였으며, 체계적인 실험 설계를 통해 시청각 신호가 촉각 감지에 미치는 영향을 정량화하여 저비용 촉각 기술 개발을 위한 새로운 경로를 개척했습니다. 표본 크기가 작다는 제한사항이 있지만, 혁신적인 방법과 실용적 가치로 인해 본 분야의 중요한 참고 문헌이 되었습니다.