Pseudo-haptics exploit carefully crafted visual or auditory cues to trick the brain into "feeling" forces that are never physically applied, offering a low-cost alternative to traditional haptic hardware. Here, we present a comparative psychophysical study that quantifies how visual and auditory stimuli combine to evoke pseudo-haptic pressure sensations on a commodity tablet. Using a Unity-based Rollball game, participants (n = 4) guided a virtual ball across three textured terrains while their finger forces were captured in real time with a Robotous RFT40 force-torque sensor. Each terrain was paired with a distinct rolling-sound profile spanning 440 Hz - 4.7 kHz, 440 Hz - 13.1 kHz, or 440 Hz - 8.9 kHz; crevice collisions triggered additional "knocking" bursts to heighten realism. Average tactile forces increased systematically with cue intensity: 0.40 N, 0.79 N and 0.88 N for visual-only trials and 0.41 N, 0.81 N and 0.90 N for audio-only trials on Terrains 1-3, respectively. Higher audio frequencies and denser visual textures both elicited stronger muscle activation, and their combination further reduced the force needed to perceive surface changes, confirming multisensory integration. These results demonstrate that consumer-grade isometric devices can reliably induce and measure graded pseudo-haptic feedback without specialized actuators, opening a path toward affordable rehabilitation tools, training simulators and assistive interfaces.
- ID статьи: 2510.09570
- Название: Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation
- Авторы: Nishant Gautam, Somya Sharma, Peter Corcoran, Kaspar Althoefer
- Учреждения: Queen Mary University of London (Advanced Robotics), University of Galway (C3I)
- Классификация: cs.HC cs.GR cs.NE cs.RO physics.med-ph
- Ссылка на статью: https://arxiv.org/abs/2510.09570
Данное исследование изучает технологию псевдо-тактильной обратной связи, которая обманывает мозг, заставляя его "ощущать" силы, которые на самом деле не применяются, посредством тщательно разработанных визуальных или слуховых сигналов, предоставляя низкостоимостную альтернативу традиционному тактильному оборудованию. Исследование проводило сравнительное психофизическое исследование с использованием игры Rollball на базе Unity, количественно анализируя, как визуальные и слуховые стимулы в сочетании вызывают ощущение псевдо-тактильного давления на коммерческом планшете. Четыре участника управляли виртуальным шаром через три типа текстурированной местности, при этом в реальном времени захватывая силу пальца с помощью датчика силы-момента Robotous RFT40. Результаты экспериментов показали, что на местности 1-3 средние тактильные силы при только визуальных испытаниях составили 0,40 Н, 0,79 Н и 0,88 Н соответственно, а при только слуховых испытаниях — 0,41 Н, 0,81 Н и 0,90 Н. Исследование доказало, что потребительские изометрические устройства могут надежно вызывать и измерять градуированную псевдо-тактильную обратную связь.
Традиционные тактильные технологии сталкиваются с несколькими ключевыми проблемами:
- Высокая стоимость оборудования: Профессиональные силовые обратные двигатели и исполнительные механизмы громоздки и дороги, что ограничивает их применение за пределами исследовательских лабораторий и высокотехнологичных симуляторов
- Отсутствие количественных доказательств: Несмотря на двадцатилетнюю историю концепции псевдо-тактильной обратной связи, отсутствуют количественные данные о том, как конкретные визуальные и аудиопараметры совместно регулируют восприятие давления
- Недостаточная точность измерения: Остается неясным, могут ли потребительские изометрические устройства вызывать и измерять такие эффекты с достаточной точностью для строгих психофизических исследований
Технология псевдо-тактильной обратной связи обещает предоставить низкостоимостный, определяемый программным обеспечением тактильный опыт путем переноса "осязания" с оборудования на мультисенсорную интеграцию, масштабируемый до коммерческих смартфонов и планшетов. Эта технология имеет важное прикладное значение в следующих областях:
- Тренажеры для восстановления двигательных функций
- Тактильные вспомогательные инструменты
- Иммерсивные игры
- Робототехника
- Биомедицинские приложения
- Экономичная мультимодальная тестовая платформа: Продемонстрировано, что планшет стоимостью 200 фунтов стерлингов плюс готовый датчик силы может воспроизводить ключевые функции высокотехнологичного тактильного оборудования, обеспечивая быстрые и портативные эксперименты
- Систематизированное отображение сигнал-сила: Путем разделения аудио и визуальных каналов продемонстрировано, что более высокие пространственные частоты текстуры и более высокие тоны звука вызывают более сильное автономное давление, а их комбинация создает супераддитивный эффект
- Психофизические эталоны: Сообщены пороги различимости (JND) для изменений поверхности ниже 0,05 Н, установлены базовые диапазоны давления (0,40-0,90 Н)
- Перспективы применения: Открыты пути для недорогих тренажеров восстановления двигательных функций, тактильных вспомогательных инструментов и иммерсивных игр
Исследование использовало игру "Rollball", разработанную на движке Unity, в качестве экспериментальной платформы, где участники должны были катить виртуальный шар через три типа текстурированной местности.
- Планшетное устройство: Планшет Lenovo M10 HD 2nd Gen 10,1"
- Датчик силы: Датчик силы-момента Robotous RFT40 (грузоподъемность 100 Н, точность на уровне миллиньютонов)
- Размеры: 40(Г)×18,5(В) мм, вес 60 г
- Местность 1: Гладкая поверхность без препятствий, обеспечивает базовое измерение
- Местность 2: Текстура щебня с отверстиями и трещинами в качестве препятствий
- Местность 3: Горная местность с крутыми и разнообразными склонами
Каждой местности соответствовала различная конфигурация звука качения:
- Местность 1: 440 Гц - 4,7 кГц
- Местность 2: 440 Гц - 13,1 кГц (при столкновении издает "щелкающий" звук)
- Местность 3: 440 Гц - 8,9 кГц
Исследование предусматривало три экспериментальных условия:
- Только визуальные сигналы: Участники полагались исключительно на визуальную информацию о текстуре
- Только слуховые сигналы: Участники полагались исключительно на аудиообратную связь
- Визуально-слуховая комбинация: Одновременное предоставление визуальных и слуховых сигналов
При касании экрана пользователем создается "круг сенсорного эффекта", радиус которого пропорционален приложенному давлению:
P=Te×td
где Te — сенсорное событие или круг сенсорного эффекта, td — общая продолжительность касания (секунды).
Рассчитывается с использованием закона Вебера:
K=ΔI/I
где ΔI представляет дополнительный стимул сверх исходной интенсивности, I — исходную интенсивность ощущения, K — константу Вебера.
- Экспериментальная группа: 4 человека (2 мужчины, 2 женщины), возраст 22-26 лет
- Контрольная группа: 2 кандидата (1 мужчина 34 лет, 1 женщина 33 лет)
- Критерии отбора: Исключены кандидаты с историей эпилепсии, мигрени или неврологических заболеваний
- Контролируемая среда, исключающая резкие изменения температуры и влажности
- Избегание чрезмерного приложения силы или момента к датчику
- Планшет оснащен защитной пленкой от царапин
- Сбор данных о силе-моменте в реальном времени
- Телеметрия радиуса касания
- Усредненные измерения 10 касаний/нажатий для каждой местности
| Местность | Давление при только визуальных сигналах (Н) | Давление при только слуховых сигналах (Н) |
|---|
| Местность 1 | 0,39834 | 0,40550 |
| Местность 2 | 0,7889 | 0,8077 |
| Местность 3 | 0,8825 | 0,9022 |
| Местность | Диапазон пикселей | Значение индикатора (0-10) |
|---|
| Местность 1 | 13-34 | 0,69-2,82 |
| Местность 2 | 19-58 | 0,97-6,15 |
| Местность 3 | 13-56 | 0,97-6,14 |
- Систематическое увеличение силы: Тактильная сила систематически увеличивается с усилением интенсивности сигналов
- Слуховое преимущество: При только слуховых условиях пользователи прилагали немного большее давление, чем при только визуальных условиях
- Мультисенсорная интеграция: При визуально-слуховой комбинации сила, необходимая для восприятия изменений поверхности, дополнительно снижается
- Корреляция частота-давление: Более высокие аудиочастоты и более плотная визуальная текстура вызывают более сильную мышечную активацию
Участники сообщили о почти мгновенном восприятии различий в силе, необходимой для взаимодействия с сенсорной панелью при изменении местности или слуховой обратной связи. Исследование установило эталоны JND для изменений поверхности, обеспечивая целевые диапазоны давления для будущих интерфейсов псевдо-тактильной обратной связи.
- Yoshida et al. (1968): Использование метода SD для исследования тактильного восприятия материалов
- Hollins et al. (2000): Многомерное исследование восприятия с использованием 17 типов текстур материалов
- Li et al. (2016): Предложение моделирования мягких поверхностей на основе CAD
- "Иллюзия кожи пергамента": Любое изменение слуховой обратной связи вызывает изменение восприятия текстуры
- Эффект задержки звука: Задержка слуховой обратной связи ослабляет эффект псевдо-обратной связи
- Идентификация материала: Низкочастотные звуки заставляют пользователей воспринимать объект как более тяжелый
- Техническая осуществимость: Потребительские изометрические устройства могут надежно вызывать и измерять градуированную псевдо-тактильную обратную связь
- Мультисенсорная интеграция: Комбинация визуальных и слуховых сигналов создает супераддитивный эффект, подтверждая теорию мультисенсорной интеграции
- Потенциал применения: Открыты пути для недорогих инструментов восстановления, тренировочных симуляторов и вспомогательных интерфейсов
- Точность измерения: Установлены эталоны JND ниже 0,05 Н и базовый диапазон давления 0,40-0,90 Н
- Размер выборки: Только 4 участника, небольшой объем выборки
- Временные ограничения: Ограничено двумя с половиной месяцами
- Физиологические измерения: Не использовались психофизические измерения, такие как электропроводность кожи и частота сердечных сокращений
- Зависимость от устройства: Значения радиуса касания зависят от конкретного устройства
- Расширенные исследования: Сотрудничество с нейробиологами, использование электромиографии и электроокулографии
- Терапевтические приложения: Отвлекающая терапия для пациентов с ожогами и переобучение сенсорных функций
- Технологическая интеграция: Интеграция с ультразвуковыми сенсорными матрицами Ultraleap и фреймворком MediaPipe
- Мультимодальное исследование: Интеграция тепловой обратной связи и воздушного потока
- Инновационный подход: Первое систематическое количественное исследование влияния визуальных и слуховых сигналов на псевдо-тактильную обратную связь
- Практическая ценность: Демонстрация осуществимости низкостоимостных потребительских устройств с важными коммерческими перспективами
- Строгий дизайн: Использование множественных методов измерения (датчики силы, радиус касания, психофизическая оценка)
- Междисциплинарное значение: Объединение человеко-машинного взаимодействия, психофизики, робототехники и других областей
- Недостаточная статистическая мощность: Выборка из 4 человек слишком мала, что влияет на статистическую значимость и обобщаемость результатов
- Дизайн контрольного эксперимента: Отсутствие истинной контрольной группы без сигналов
- Анализ индивидуальных различий: Недостаточный анализ межиндивидуальных различий и влияющих факторов
- Долгосрочные эффекты: Не исследованы эффекты адаптации и влияние длительного использования
- Научный вклад: Предоставление важной количественной базы для исследований псевдо-тактильной обратной связи
- Промышленное применение: Открытие новых технологических путей для потребительской электроники, игр и восстановительной медицины
- Методологическая ценность: Установление воспроизводимой экспериментальной парадигмы и стандартов измерения
- Восстановительная медицина: Восстановление двигательных функций, восстановление сенсорных функций
- Образование и обучение: Хирургические симуляторы, системы обучения навыкам
- Потребительская электроника: Улучшение тактильной обратной связи мобильных устройств
- Вспомогательные технологии: Системы навигации для слабовидящих, тактильные вспомогательные инструменты
Статья цитирует 41 соответствующий источник, охватывающий важные работы в области тактильного восприятия, мультисенсорной интеграции, виртуальной реальности, человеко-машинного взаимодействия и других исследовательских областей, обеспечивая прочную теоретическую базу для исследования.
Общая оценка: Данное исследование вносит значительный вклад в область псевдо-тактильной обратной связи, количественно определяя влияние визуально-слуховых сигналов на тактильное восприятие посредством систематического экспериментального дизайна, открывая новые пути для развития низкостоимостных тактильных технологий. Несмотря на ограничения, такие как небольшой размер выборки, его инновационный подход и практическая ценность делают его важным справочным материалом в этой области.