2025-11-15T00:37:12.201999

Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation

Gautam, Sharma, Corcoran et al.
Pseudo-haptics exploit carefully crafted visual or auditory cues to trick the brain into "feeling" forces that are never physically applied, offering a low-cost alternative to traditional haptic hardware. Here, we present a comparative psychophysical study that quantifies how visual and auditory stimuli combine to evoke pseudo-haptic pressure sensations on a commodity tablet. Using a Unity-based Rollball game, participants (n = 4) guided a virtual ball across three textured terrains while their finger forces were captured in real time with a Robotous RFT40 force-torque sensor. Each terrain was paired with a distinct rolling-sound profile spanning 440 Hz - 4.7 kHz, 440 Hz - 13.1 kHz, or 440 Hz - 8.9 kHz; crevice collisions triggered additional "knocking" bursts to heighten realism. Average tactile forces increased systematically with cue intensity: 0.40 N, 0.79 N and 0.88 N for visual-only trials and 0.41 N, 0.81 N and 0.90 N for audio-only trials on Terrains 1-3, respectively. Higher audio frequencies and denser visual textures both elicited stronger muscle activation, and their combination further reduced the force needed to perceive surface changes, confirming multisensory integration. These results demonstrate that consumer-grade isometric devices can reliably induce and measure graded pseudo-haptic feedback without specialized actuators, opening a path toward affordable rehabilitation tools, training simulators and assistive interfaces.
academic

Differentielle Analyse von Pseudo-Haptischem Feedback: Neuartige Vergleichsstudie zur Integration visueller und auditiver Hinweise für psychophysikalische Bewertung

Grundinformationen

  • Papier-ID: 2510.09570
  • Titel: Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation
  • Autoren: Nishant Gautam, Somya Sharma, Peter Corcoran, Kaspar Althoefer
  • Institutionen: Queen Mary University of London (Advanced Robotics), University of Galway (C3I)
  • Klassifizierung: cs.HC cs.GR cs.NE cs.RO physics.med-ph
  • Papierlink: https://arxiv.org/abs/2510.09570

Zusammenfassung

Diese Studie untersucht die Technologie des pseudo-haptischen Feedbacks, die das Gehirn durch sorgfältig gestaltete visuelle oder auditive Hinweise dazu „täuscht", Kräfte zu „spüren", die tatsächlich nicht ausgeübt werden. Dies bietet eine kostengünstige Alternative zu herkömmlicher Haptik-Hardware. Die Studie nutzt ein auf Unity basierendes Rollball-Spiel für eine vergleichende psychophysikalische Untersuchung und analysiert quantitativ, wie visuelle und auditive Reize kombiniert pseudo-haptische Druckempfindungen auf kommerziellen Tablets auslösen. Vier Teilnehmer steuerten eine virtuelle Kugel über drei verschiedene Texturterräne, während ein Robotous RFT40 Kraft-Drehmoment-Sensor die Fingerkraft in Echtzeit erfasste. Die Ergebnisse zeigen, dass bei ausschließlich visuellen Versuchen die durchschnittlichen haptischen Kräfte auf Terrain 1-3 jeweils 0,40 N, 0,79 N und 0,88 N betrugen, bei ausschließlich auditiven Versuchen 0,41 N, 0,81 N und 0,90 N. Die Studie belegt, dass Verbrauchergeräte zuverlässig abgestufte pseudo-haptische Rückmeldungen induzieren und messen können.

Forschungshintergrund und Motivation

Problemdefinition

Die traditionelle Haptik-Technologie sieht sich mehreren Schlüsselherausforderungen gegenüber:

  1. Hohe Hardwarekosten: Professionelle Kraft-Feedback-Motoren und Aktuatoren sind voluminös und teuer, was ihre Verbreitung über Forschungslabore und High-End-Simulatoren hinaus einschränkt
  2. Mangel an quantitativen Belegen: Obwohl Machbarkeitsnachweise für pseudo-haptisches Feedback seit zwei Jahrzehnten existieren, fehlen quantitative Belege dafür, wie spezifische visuelle und auditive Parameter gemeinsam die Druckwahrnehmung modulieren
  3. Unzureichende Messenauigkeit: Es ist unklar, ob Verbrauchergeräte solche Effekte mit ausreichender Wiedergabetreue für strenge psychophysikalische Forschung induzieren und messen können

Forschungsbedeutung

Die pseudo-haptische Technologie verspricht kostengünstige, softwaregesteuerte haptische Erfahrungen durch Verlagerung der „Berührungslast" von der Hardware zur multisensorischen Integration, skalierbar auf kommerzielle Mobiltelefone und Tablets. Diese Technologie hat wichtige Anwendungswerte in folgenden Bereichen:

  • Motorische Rehabilitationstrainer
  • Haptische Hilfsmittel
  • Immersive Spiele
  • Robotik
  • Biomedizinische Anwendungen

Kernbeiträge

  1. Wirtschaftliche multimodale Testplattform: Nachweis, dass ein 200-Pfund-Tablet plus handelsüblicher Kraftsensor die Schlüsselfunktionen hochwertiger Haptik-Geräte replizieren kann, ermöglicht schnelle, tragbare Experimente
  2. Systematische Hinweis-Kraft-Abbildung: Durch Entkopplung von Audio- und Visualkanälen wird nachgewiesen, dass höhere räumliche Frequenztexturen und höhere Tonhöhen beide stärkere autonome Druckausübung hervorrufen, wobei ihre Kombination überadditive Effekte erzeugt
  3. Psychophysikalische Benchmarks: Berichtet über Just-Noticeable-Difference (JND) für Oberflächenveränderungen unter 0,05 N, etabliert Basisdruck-Bereiche (0,40-0,90 N)
  4. Anwendungsperspektiven: Eröffnet Wege für kostengünstige Rehabilitationstrainer, haptische Hilfsmittel und immersive Spiele

Methodische Details

Experimentelles Design

Die Studie nutzt das mit der Unity-Engine entwickelte „Rollball"-Spiel als experimentelle Plattform, bei der Teilnehmer eine virtuelle Kugel über drei verschiedene Texturterräne rollen müssen.

Hardwarekonfiguration

  • Tablet-Gerät: Lenovo M10 HD 2nd Gen 10,1"-Tablet
  • Kraftsensor: Robotous RFT40 Kraft-Drehmoment-Sensor (Kapazität 100 N, Genauigkeit im Millinewton-Bereich)
  • Größenspezifikationen: 40(T)×18,5(H) mm, Gewicht 60 g

Terrainegestaltung

  1. Terrain 1: Glatte Oberfläche, keine Hindernisse, bietet Basismessungen
  2. Terrain 2: Kiesige Textur mit Löchern und Rissen als Hindernisse
  3. Terrain 3: Bergige Textur mit steilen und vielfältigen Neigungen

Auditive Hinweisgestaltung

Jedes Terrain ist mit verschiedenen Rollgeräuschkonfigurationen gekoppelt:

  • Terrain 1: 440 Hz - 4,7 kHz
  • Terrain 2: 440 Hz - 13,1 kHz (erzeugt „Klopf"-Geräusche bei Kollisionen)
  • Terrain 3: 440 Hz - 8,9 kHz

Experimentelle Bedingungen

Die Studie konzipierte drei experimentelle Bedingungen:

  1. Nur visuelle Hinweise: Teilnehmer verlassen sich ausschließlich auf visuelle Texturinformationen
  2. Nur auditive Hinweise: Teilnehmer verlassen sich ausschließlich auf Audio-Rückmeldung
  3. Audiovisuelle Kombination: Sowohl visuelle als auch auditive Hinweise werden bereitgestellt

Messindikatoren

Berührungsradius-Messung

Wenn der Benutzer den Bildschirm berührt, wird ein „Berührungseffekt-Kreis" erzeugt, dessen Radius proportional zur ausgeübten Kraft ist:

P=Te×tdP = T_e \times t_d

wobei TeT_e das Berührungsereignis oder der Berührungseffekt-Kreis ist und tdt_d die gesamte Berührungsdauer (Sekunden) darstellt.

Just-Noticeable-Difference (JND)

Berechnet nach Webers Gesetz:

K=ΔI/IK = \Delta I / I

wobei ΔI\Delta I den zusätzlichen Reiz über die ursprüngliche Intensität darstellt, II die ursprüngliche Intensität der Empfindung darstellt und K die Weber-Konstante ist.

Experimentelle Einrichtung

Teilnehmer

  • Experimentalgruppe: 4 Personen (2 männlich, 2 weiblich), Alter 22-26 Jahre
  • Kontrollgruppe: 2 Kandidaten (1 männlich 34 Jahre, 1 weiblich 33 Jahre)
  • Auswahlkriterien: Ausschluss von Kandidaten mit Epilepsie-, Migräne- oder neurologischen Erkrankungsgeschichte

Experimentelle Umgebung

  • Kontrollierte Umgebung, Vermeidung plötzlicher Temperatur- und Feuchtigkeitsschwankungen
  • Vermeidung übermäßiger Kraft- oder Drehmomentausübung auf den Sensor
  • Tablet mit kratzfestem Displayschutzfolie ausgestattet

Datenerfassung

  • Echtzeit-Kraft-Drehmoment-Datenerfassung
  • Berührungsradius-Telemetrie
  • Durchschnittsmessungen von 10 Berührungen/Klicks pro Terrain

Experimentelle Ergebnisse

Hauptergebnisse

Durchschnittliche haptische Druckdaten

TerrainNur visuelle Hinweise Druck (N)Nur auditive Hinweise Druck (N)
Terrain 10,398340,40550
Terrain 20,78890,8077
Terrain 30,88250,9022

Berührungsradius-Messwerte

TerrainPixelbereichIndikatorwert (0-10)
Terrain 113-340,69-2,82
Terrain 219-580,97-6,15
Terrain 313-560,97-6,14

Wichtigste Erkenntnisse

  1. Systematische Kraftzunahme: Mit zunehmender Hinweisintensität nimmt die haptische Kraft systematisch zu
  2. Auditive Überlegenheit: Unter ausschließlich auditiven Bedingungen üben Benutzer leicht höhere Drücke aus als unter ausschließlich visuellen Bedingungen
  3. Multisensorische Integration: Unter audiovisuellen Kombinationsbedingungen wird die für die Wahrnehmung von Oberflächenveränderungen erforderliche Kraft weiter reduziert
  4. Frequenz-Druck-Korrelation: Sowohl höhere Audiofrequenzen als auch dichtere visuelle Texturen rufen stärkere Muskelaktivierung hervor

Psychophysikalische Analyse

Teilnehmer berichteten von einer nahezu unmittelbaren Wahrnehmung von Unterschieden in der für die Touchpad-Interaktion erforderlichen Kraft bei Änderungen des Terrains oder der auditiven Rückmeldung. Die Studie etabliert JND-Benchmarks für Oberflächenveränderungen und bietet Zieldruck-Bereiche für zukünftige pseudo-haptische Schnittstellen.

Verwandte Arbeiten

Visuelle Hinweisforschung

  • Yoshida et al. (1968): Verwendung der SD-Methode zur Untersuchung der taktilen Materialwahrnehmung
  • Hollins et al. (2000): Mehrdimensionale Wahrnehmungsforschung mit 17 Texturmaterialien
  • Li et al. (2016): Vorschlag CAD-basierter Weichflächensimulation

Auditive Hinweisforschung

  • „Pergamentin-Haut-Illusion": Jede Änderung der auditiven Rückmeldung kann Texturwahrnehmungsveränderungen induzieren
  • Audio-Verzögerungseffekt: Verzögerung der auditiven Rückmeldung schwächt den pseudo-haptischen Effekt ab
  • Materialidentifikation: Tieftongeräusche lassen Benutzer Objekte als schwerer wahrnehmen

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Technische Machbarkeit: Verbrauchergeräte können zuverlässig abgestufte pseudo-haptische Rückmeldungen induzieren und messen
  2. Multisensorische Integration: Die Kombination visueller und auditiver Hinweise erzeugt überadditive Effekte und bestätigt die Theorie der multisensorischen Integration
  3. Anwendungspotenzial: Eröffnet Wege für kostengünstige Rehabilitationswerkzeuge, Trainingssimulatoren und Hilfschnittstellen
  4. Messenauigkeit: Etabliert JND-Benchmarks unter 0,05 N und Basisdruck-Bereiche von 0,40-0,90 N

Einschränkungen

  1. Stichprobengröße: Nur 4 Teilnehmer, relativ kleine Stichprobe
  2. Experimentelle Zeitdauer: Begrenzt durch zwei Monate Zeitbeschränkung
  3. Physiologische Messungen: Keine psychophysikalischen Messungen wie Hautleitfähigkeit und Herzfrequenz
  4. Geräteabhängigkeit: Berührungsradiuswerte sind geräteabhängig

Zukünftige Richtungen

  1. Erweiterte Forschung: Zusammenarbeit mit Neurowissenschaftlern, Verwendung von Elektromyographie und Elektrookulographie
  2. Therapeutische Anwendungen: Ablenkungstherapie für Brandwundenpatienten und sensorische Umschulung
  3. Technologische Integration: Integration mit Ultraleak-Ultraschall-Berührungsanordnungen und MediaPipe-Framework
  4. Multimodale Erkundung: Integration von Wärme- und Luftströmungsrückmeldung

Tiefgreifende Bewertung

Stärken

  1. Innovative Methodik: Erstmalige systematische Quantifizierung der Auswirkungen visueller und auditiver Hinweise auf pseudo-haptisches Feedback
  2. Praktischer Wert: Nachweis der Machbarkeit kostengünstiger Verbrauchergeräte mit wichtigen kommerziellen Anwendungsaussichten
  3. Rigoroses Design: Verwendung mehrerer Messmethoden (Kraftsensor, Berührungsradius, psychophysikalische Bewertung)
  4. Interdisziplinäre Bedeutung: Integration von Mensch-Computer-Interaktion, Psychophysik, Robotik und anderen Disziplinen

Mängel

  1. Unzureichende statistische Aussagekraft: Stichprobengröße von 4 Personen ist zu klein und beeinträchtigt statistische Signifikanz und Verallgemeinerbarkeit
  2. Kontrolliertes Experimentaldesign: Fehlen echter Kontrollgruppen ohne Hinweise
  3. Analyse individueller Unterschiede: Unzureichende Analyse von Unterschieden zwischen Individuen und Einflussfaktoren
  4. Langzeiteffekte: Keine Untersuchung von Adaptationseffekten und Auswirkungen der Langzeitnutzung

Auswirkungen

  1. Akademischer Beitrag: Bietet wichtige quantitative Grundlagen für pseudo-haptische Forschung
  2. Industrielle Anwendung: Bietet neue technologische Wege für Unterhaltungselektronik, Spiele, Rehabilitationsmedizin und andere Bereiche
  3. Methodologischer Wert: Etabliert reproduzierbare experimentelle Paradigmen und Messnormen

Anwendungsszenarien

  1. Rehabilitationsmedizin: Motorische Rehabilitationstraining, Wiederherstellung sensorischer Funktionen
  2. Bildungs- und Schulungswesen: Chirurgische Simulatoren, Fertigkeitstrainingssysteme
  3. Unterhaltungselektronik: Haptische Rückmeldungsverstärkung mobiler Geräte
  4. Hilfstechnologie: Navigationssysteme für Sehbehinderte, haptische Hilfsmittel

Literaturverzeichnis

Das Papier zitiert 41 relevante Referenzen, die wichtige Arbeiten aus mehreren Forschungsbereichen abdecken, darunter taktile Wahrnehmung, multisensorische Integration, virtuelle Realität und Mensch-Computer-Interaktion, und bieten eine solide theoretische Grundlage für die Forschung.


Gesamtbewertung: Diese Studie leistet wichtige Beiträge im Bereich des pseudo-haptischen Feedbacks. Durch systematisches experimentelles Design quantifiziert sie die Auswirkungen audiovisueller Hinweise auf die taktile Wahrnehmung und eröffnet neue Wege für die Entwicklung kostengünstiger Haptik-Technologie. Trotz Einschränkungen wie kleiner Stichprobengröße machen ihre innovative Methodik und praktischer Wert sie zu einer wichtigen Referenz in diesem Forschungsbereich.