2025-11-15T00:37:12.201999

Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation

Gautam, Sharma, Corcoran et al.
Pseudo-haptics exploit carefully crafted visual or auditory cues to trick the brain into "feeling" forces that are never physically applied, offering a low-cost alternative to traditional haptic hardware. Here, we present a comparative psychophysical study that quantifies how visual and auditory stimuli combine to evoke pseudo-haptic pressure sensations on a commodity tablet. Using a Unity-based Rollball game, participants (n = 4) guided a virtual ball across three textured terrains while their finger forces were captured in real time with a Robotous RFT40 force-torque sensor. Each terrain was paired with a distinct rolling-sound profile spanning 440 Hz - 4.7 kHz, 440 Hz - 13.1 kHz, or 440 Hz - 8.9 kHz; crevice collisions triggered additional "knocking" bursts to heighten realism. Average tactile forces increased systematically with cue intensity: 0.40 N, 0.79 N and 0.88 N for visual-only trials and 0.41 N, 0.81 N and 0.90 N for audio-only trials on Terrains 1-3, respectively. Higher audio frequencies and denser visual textures both elicited stronger muscle activation, and their combination further reduced the force needed to perceive surface changes, confirming multisensory integration. These results demonstrate that consumer-grade isometric devices can reliably induce and measure graded pseudo-haptic feedback without specialized actuators, opening a path toward affordable rehabilitation tools, training simulators and assistive interfaces.
academic

Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation

基本信息

  • 论文ID: 2510.09570
  • 标题: Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation
  • 作者: Nishant Gautam, Somya Sharma, Peter Corcoran, Kaspar Althoefer
  • 机构: Queen Mary University of London (Advanced Robotics), University of Galway (C3I)
  • 分类: cs.HC cs.GR cs.NE cs.RO physics.med-ph
  • 论文链接: https://arxiv.org/abs/2510.09570

摘要

本研究探索了伪触觉反馈技术，通过精心设计的视觉或听觉线索欺骗大脑"感受"实际上并未施加的力，为传统触觉硬件提供了低成本替代方案。研究采用基于Unity的Rollball游戏进行比较心理物理学研究，定量分析视觉和听觉刺激如何结合唤起商用平板电脑上的伪触觉压力感觉。4名参与者操控虚拟球穿越三种纹理地形，同时使用Robotous RFT40力-扭矩传感器实时捕获手指力。实验结果显示，在地形1-3上，仅视觉试验的平均触觉力分别为0.40 N、0.79 N和0.88 N，仅听觉试验为0.41 N、0.81 N和0.90 N。研究证明消费级等距设备可以可靠地诱导和测量分级伪触觉反馈。

研究背景与动机

问题定义

传统触觉技术面临几个关键挑战：

  1. 硬件成本高昂：专业的力反馈电机和执行器体积庞大且价格昂贵，限制了在研究实验室和高端模拟器之外的广泛应用
  2. 缺乏定量证据：尽管伪触觉概念验证已有二十年历史，但仍缺乏关于特定视觉和音频参数如何共同调节感知压力的定量证据
  3. 测量精度不足：消费级等距设备是否能够以足够的保真度诱导和测量此类效果用于严格的心理物理学研究仍不明确

研究意义

伪触觉技术通过将"触摸"负担从硬件转移到多感官整合，承诺提供低成本、软件定义的触觉体验，可扩展到商用手机和平板电脑。这种技术在以下领域具有重要应用价值：

  • 运动康复训练器
  • 触觉辅助工具
  • 沉浸式游戏
  • 机器人技术
  • 生物医学应用

核心贡献

  1. 经济实用的多模态测试平台：证明了200英镑的平板电脑加现成的力传感器可以复制高端触觉设备的关键功能，实现快速、便携的实验
  2. 系统化线索-力映射：通过解耦音频和视觉通道，证明了更高空间频率纹理和更高音调声音都会引起更强的自主压力，它们的组合产生超加性效果
  3. 心理物理学基准：报告了表面变化的恰可觉察差异(JND)低于0.05 N，建立了基线压力范围(0.40-0.90 N)
  4. 应用前景：为廉价运动康复训练器、触觉辅助工具和沉浸式游戏开辟了路径

方法详解

实验设计

研究采用Unity引擎开发的"Rollball"游戏作为实验平台，参与者需要在三种不同纹理的地形上滚动虚拟球。

硬件配置

  • 平板设备：Lenovo M10 HD 2nd Gen 10.1"平板电脑
  • 力传感器：Robotous RFT40力-扭矩传感器（容量100N，精度达毫牛顿级）
  • 尺寸规格：40(D)×18.5(H) mm，重量60g

地形设计

  1. 地形1：平滑表面，无障碍物，提供基线测量
  2. 地形2：砾石状纹理，包含孔洞和裂缝障碍
  3. 地形3：山地纹理，具有陡峭和多样化坡度

音频线索设计

每个地形配对不同的滚动声音配置：

  • 地形1：440 Hz - 4.7 kHz
  • 地形2：440 Hz - 13.1 kHz（碰撞时产生"敲击"声）
  • 地形3：440 Hz - 8.9 kHz

实验条件

研究设计了三种实验条件：

  1. 仅视觉线索：参与者仅依赖视觉纹理信息
  2. 仅听觉线索：参与者仅依赖音频反馈
  3. 视听结合：同时提供视觉和听觉线索

测量指标

触摸半径测量

当用户触摸屏幕时，会产生"触摸效果圆圈"，其半径与施加压力成正比：

P=Te×tdP = T_e \times t_d

其中 TeT_e 为触摸事件或触摸效果圆圈，tdt_d 为触摸总持续时间（秒）。

恰可觉察差异(JND)

采用韦伯定律计算：

K=ΔI/IK = \Delta I / I

其中 ΔI\Delta I 表示超出原始强度的额外刺激，II 表示感觉的原始强度，K为韦伯常数。

实验设置

参与者

  • 实验组：4名个体（2男2女），年龄22-26岁
  • 控制组：2名候选者（1男34岁，1女33岁）
  • 筛选标准：排除有癫痫、偏头痛或神经系统疾病病史的候选者

实验环境

  • 受控环境，避免温度和湿度的突然变化
  • 避免对传感器施加过度力或扭矩
  • 平板电脑配备防刮屏幕保护膜

数据采集

  • 实时力-扭矩数据采集
  • 触摸半径遥测
  • 每个地形进行10次触摸/点击的平均测量

实验结果

主要结果

平均触觉压力数据

地形仅视觉线索压力(N)仅听觉线索压力(N)
地形10.398340.40550
地形20.78890.8077
地形30.88250.9022

触摸半径读数

地形像素范围指示器值(0-10)
地形113-340.69-2.82
地形219-580.97-6.15
地形313-560.97-6.14

关键发现

  1. 系统性力增加：随着线索强度增加，触觉力系统性增加
  2. 听觉优势：仅听觉条件下用户施加的压力略高于仅视觉条件
  3. 多感官整合：视听结合条件下感知表面变化所需的力进一步减少
  4. 频率-压力相关性：更高音频频率和更密集视觉纹理都引起更强的肌肉激活

心理物理学分析

参与者报告在地形或听觉反馈改变时几乎立即感知到触摸板交互所需力的差异。研究建立了表面变化的JND基准，为未来伪触觉界面提供了目标压力范围。

相关工作

视觉线索研究

  • Yoshida et al. (1968)：使用SD方法研究材料触觉感知
  • Hollins et al. (2000)：使用17种纹理材料进行多维感知研究
  • Li et al. (2016)：提出基于CAD的软表面模拟

听觉线索研究

  • "羊皮纸皮肤错觉"：听觉反馈的任何变化都能诱导纹理感知变化
  • 音频延迟效应：听觉反馈延迟会削弱伪反馈效果
  • 材料识别：低音调声音效果使用户感知物体更重

结论与讨论

主要结论

  1. 技术可行性：消费级等距设备可以可靠地诱导和测量分级伪触觉反馈
  2. 多感官整合：视觉和听觉线索的结合产生超加性效果，确认了多感官整合理论
  3. 应用潜力：为廉价康复工具、训练模拟器和辅助界面开辟了道路
  4. 测量精度：建立了JND低于0.05 N的基准和0.40-0.90 N的基线压力范围

局限性

  1. 样本规模：仅有4名参与者，样本量较小
  2. 实验时间：受限于两个半月的时间约束
  3. 生理测量：未采用皮肤电导和心率等心理物理学测量
  4. 设备依赖性：触摸半径值依赖于特定设备

未来方向

  1. 扩展研究：与神经科学家合作，采用肌电图和眼电图
  2. 治疗应用：烧伤患者的分散治疗和感觉再教育
  3. 技术整合：与Ultraleap的超声波触摸阵列和MediaPipe框架集成
  4. 多模态探索：整合热反馈和气流反馈

深度评价

优点

  1. 创新性方法：首次系统性地量化了视觉和听觉线索对伪触觉反馈的影响
  2. 实用价值：证明了低成本消费级设备的可行性，具有重要的商业应用前景
  3. 严谨设计：采用了多种测量方法（力传感器、触摸半径、心理物理学评估）
  4. 跨学科意义：结合了人机交互、心理物理学、机器人技术等多个领域

不足

  1. 统计功效不足：4人的样本量过小，影响结果的统计显著性和泛化能力
  2. 对照实验设计：缺乏真正的无线索对照组
  3. 个体差异分析：未充分分析个体间的差异和影响因素
  4. 长期效应：未研究适应性效应和长期使用的影响

影响力

  1. 学术贡献：为伪触觉研究提供了重要的定量基础
  2. 产业应用：为消费电子、游戏、康复医学等领域提供了新的技术路径
  3. 方法论价值：建立了可复制的实验范式和测量标准

适用场景

  1. 康复医学：运动康复训练、感觉功能恢复
  2. 教育培训：手术模拟器、技能训练系统
  3. 消费电子：移动设备触觉反馈增强
  4. 辅助技术：视障人士导航系统、触觉辅助工具

参考文献

论文引用了41篇相关文献，涵盖了触觉感知、多感官整合、虚拟现实、人机交互等多个研究领域的重要工作，为研究提供了坚实的理论基础。

总体评价：本研究在伪触觉反馈领域做出了重要贡献，通过系统性的实验设计量化了视听线索对触觉感知的影响，为低成本触觉技术的发展开辟了新路径。尽管存在样本量小等局限性，但其创新性方法和实用价值使其成为该领域的重要参考文献。