Pseudo-haptics exploit carefully crafted visual or auditory cues to trick the brain into "feeling" forces that are never physically applied, offering a low-cost alternative to traditional haptic hardware. Here, we present a comparative psychophysical study that quantifies how visual and auditory stimuli combine to evoke pseudo-haptic pressure sensations on a commodity tablet. Using a Unity-based Rollball game, participants (n = 4) guided a virtual ball across three textured terrains while their finger forces were captured in real time with a Robotous RFT40 force-torque sensor. Each terrain was paired with a distinct rolling-sound profile spanning 440 Hz - 4.7 kHz, 440 Hz - 13.1 kHz, or 440 Hz - 8.9 kHz; crevice collisions triggered additional "knocking" bursts to heighten realism. Average tactile forces increased systematically with cue intensity: 0.40 N, 0.79 N and 0.88 N for visual-only trials and 0.41 N, 0.81 N and 0.90 N for audio-only trials on Terrains 1-3, respectively. Higher audio frequencies and denser visual textures both elicited stronger muscle activation, and their combination further reduced the force needed to perceive surface changes, confirming multisensory integration. These results demonstrate that consumer-grade isometric devices can reliably induce and measure graded pseudo-haptic feedback without specialized actuators, opening a path toward affordable rehabilitation tools, training simulators and assistive interfaces.
- Papier-ID: 2510.09570
- Titel: Differential Analysis of Pseudo Haptic Feedback: Novel Comparative Study of Visual and Auditory Cue Integration for Psychophysical Evaluation
- Autoren: Nishant Gautam, Somya Sharma, Peter Corcoran, Kaspar Althoefer
- Institutionen: Queen Mary University of London (Advanced Robotics), University of Galway (C3I)
- Klassifizierung: cs.HC cs.GR cs.NE cs.RO physics.med-ph
- Papierlink: https://arxiv.org/abs/2510.09570
Diese Studie untersucht die Technologie des pseudo-haptischen Feedbacks, die das Gehirn durch sorgfältig gestaltete visuelle oder auditive Hinweise dazu „täuscht", Kräfte zu „spüren", die tatsächlich nicht ausgeübt werden. Dies bietet eine kostengünstige Alternative zu herkömmlicher Haptik-Hardware. Die Studie nutzt ein auf Unity basierendes Rollball-Spiel für eine vergleichende psychophysikalische Untersuchung und analysiert quantitativ, wie visuelle und auditive Reize kombiniert pseudo-haptische Druckempfindungen auf kommerziellen Tablets auslösen. Vier Teilnehmer steuerten eine virtuelle Kugel über drei verschiedene Texturterräne, während ein Robotous RFT40 Kraft-Drehmoment-Sensor die Fingerkraft in Echtzeit erfasste. Die Ergebnisse zeigen, dass bei ausschließlich visuellen Versuchen die durchschnittlichen haptischen Kräfte auf Terrain 1-3 jeweils 0,40 N, 0,79 N und 0,88 N betrugen, bei ausschließlich auditiven Versuchen 0,41 N, 0,81 N und 0,90 N. Die Studie belegt, dass Verbrauchergeräte zuverlässig abgestufte pseudo-haptische Rückmeldungen induzieren und messen können.
Die traditionelle Haptik-Technologie sieht sich mehreren Schlüsselherausforderungen gegenüber:
- Hohe Hardwarekosten: Professionelle Kraft-Feedback-Motoren und Aktuatoren sind voluminös und teuer, was ihre Verbreitung über Forschungslabore und High-End-Simulatoren hinaus einschränkt
- Mangel an quantitativen Belegen: Obwohl Machbarkeitsnachweise für pseudo-haptisches Feedback seit zwei Jahrzehnten existieren, fehlen quantitative Belege dafür, wie spezifische visuelle und auditive Parameter gemeinsam die Druckwahrnehmung modulieren
- Unzureichende Messenauigkeit: Es ist unklar, ob Verbrauchergeräte solche Effekte mit ausreichender Wiedergabetreue für strenge psychophysikalische Forschung induzieren und messen können
Die pseudo-haptische Technologie verspricht kostengünstige, softwaregesteuerte haptische Erfahrungen durch Verlagerung der „Berührungslast" von der Hardware zur multisensorischen Integration, skalierbar auf kommerzielle Mobiltelefone und Tablets. Diese Technologie hat wichtige Anwendungswerte in folgenden Bereichen:
- Motorische Rehabilitationstrainer
- Haptische Hilfsmittel
- Immersive Spiele
- Robotik
- Biomedizinische Anwendungen
- Wirtschaftliche multimodale Testplattform: Nachweis, dass ein 200-Pfund-Tablet plus handelsüblicher Kraftsensor die Schlüsselfunktionen hochwertiger Haptik-Geräte replizieren kann, ermöglicht schnelle, tragbare Experimente
- Systematische Hinweis-Kraft-Abbildung: Durch Entkopplung von Audio- und Visualkanälen wird nachgewiesen, dass höhere räumliche Frequenztexturen und höhere Tonhöhen beide stärkere autonome Druckausübung hervorrufen, wobei ihre Kombination überadditive Effekte erzeugt
- Psychophysikalische Benchmarks: Berichtet über Just-Noticeable-Difference (JND) für Oberflächenveränderungen unter 0,05 N, etabliert Basisdruck-Bereiche (0,40-0,90 N)
- Anwendungsperspektiven: Eröffnet Wege für kostengünstige Rehabilitationstrainer, haptische Hilfsmittel und immersive Spiele
Die Studie nutzt das mit der Unity-Engine entwickelte „Rollball"-Spiel als experimentelle Plattform, bei der Teilnehmer eine virtuelle Kugel über drei verschiedene Texturterräne rollen müssen.
- Tablet-Gerät: Lenovo M10 HD 2nd Gen 10,1"-Tablet
- Kraftsensor: Robotous RFT40 Kraft-Drehmoment-Sensor (Kapazität 100 N, Genauigkeit im Millinewton-Bereich)
- Größenspezifikationen: 40(T)×18,5(H) mm, Gewicht 60 g
- Terrain 1: Glatte Oberfläche, keine Hindernisse, bietet Basismessungen
- Terrain 2: Kiesige Textur mit Löchern und Rissen als Hindernisse
- Terrain 3: Bergige Textur mit steilen und vielfältigen Neigungen
Jedes Terrain ist mit verschiedenen Rollgeräuschkonfigurationen gekoppelt:
- Terrain 1: 440 Hz - 4,7 kHz
- Terrain 2: 440 Hz - 13,1 kHz (erzeugt „Klopf"-Geräusche bei Kollisionen)
- Terrain 3: 440 Hz - 8,9 kHz
Die Studie konzipierte drei experimentelle Bedingungen:
- Nur visuelle Hinweise: Teilnehmer verlassen sich ausschließlich auf visuelle Texturinformationen
- Nur auditive Hinweise: Teilnehmer verlassen sich ausschließlich auf Audio-Rückmeldung
- Audiovisuelle Kombination: Sowohl visuelle als auch auditive Hinweise werden bereitgestellt
Wenn der Benutzer den Bildschirm berührt, wird ein „Berührungseffekt-Kreis" erzeugt, dessen Radius proportional zur ausgeübten Kraft ist:
P=Te×td
wobei Te das Berührungsereignis oder der Berührungseffekt-Kreis ist und td die gesamte Berührungsdauer (Sekunden) darstellt.
Berechnet nach Webers Gesetz:
K=ΔI/I
wobei ΔI den zusätzlichen Reiz über die ursprüngliche Intensität darstellt, I die ursprüngliche Intensität der Empfindung darstellt und K die Weber-Konstante ist.
- Experimentalgruppe: 4 Personen (2 männlich, 2 weiblich), Alter 22-26 Jahre
- Kontrollgruppe: 2 Kandidaten (1 männlich 34 Jahre, 1 weiblich 33 Jahre)
- Auswahlkriterien: Ausschluss von Kandidaten mit Epilepsie-, Migräne- oder neurologischen Erkrankungsgeschichte
- Kontrollierte Umgebung, Vermeidung plötzlicher Temperatur- und Feuchtigkeitsschwankungen
- Vermeidung übermäßiger Kraft- oder Drehmomentausübung auf den Sensor
- Tablet mit kratzfestem Displayschutzfolie ausgestattet
- Echtzeit-Kraft-Drehmoment-Datenerfassung
- Berührungsradius-Telemetrie
- Durchschnittsmessungen von 10 Berührungen/Klicks pro Terrain
| Terrain | Nur visuelle Hinweise Druck (N) | Nur auditive Hinweise Druck (N) |
|---|
| Terrain 1 | 0,39834 | 0,40550 |
| Terrain 2 | 0,7889 | 0,8077 |
| Terrain 3 | 0,8825 | 0,9022 |
| Terrain | Pixelbereich | Indikatorwert (0-10) |
|---|
| Terrain 1 | 13-34 | 0,69-2,82 |
| Terrain 2 | 19-58 | 0,97-6,15 |
| Terrain 3 | 13-56 | 0,97-6,14 |
- Systematische Kraftzunahme: Mit zunehmender Hinweisintensität nimmt die haptische Kraft systematisch zu
- Auditive Überlegenheit: Unter ausschließlich auditiven Bedingungen üben Benutzer leicht höhere Drücke aus als unter ausschließlich visuellen Bedingungen
- Multisensorische Integration: Unter audiovisuellen Kombinationsbedingungen wird die für die Wahrnehmung von Oberflächenveränderungen erforderliche Kraft weiter reduziert
- Frequenz-Druck-Korrelation: Sowohl höhere Audiofrequenzen als auch dichtere visuelle Texturen rufen stärkere Muskelaktivierung hervor
Teilnehmer berichteten von einer nahezu unmittelbaren Wahrnehmung von Unterschieden in der für die Touchpad-Interaktion erforderlichen Kraft bei Änderungen des Terrains oder der auditiven Rückmeldung. Die Studie etabliert JND-Benchmarks für Oberflächenveränderungen und bietet Zieldruck-Bereiche für zukünftige pseudo-haptische Schnittstellen.
- Yoshida et al. (1968): Verwendung der SD-Methode zur Untersuchung der taktilen Materialwahrnehmung
- Hollins et al. (2000): Mehrdimensionale Wahrnehmungsforschung mit 17 Texturmaterialien
- Li et al. (2016): Vorschlag CAD-basierter Weichflächensimulation
- „Pergamentin-Haut-Illusion": Jede Änderung der auditiven Rückmeldung kann Texturwahrnehmungsveränderungen induzieren
- Audio-Verzögerungseffekt: Verzögerung der auditiven Rückmeldung schwächt den pseudo-haptischen Effekt ab
- Materialidentifikation: Tieftongeräusche lassen Benutzer Objekte als schwerer wahrnehmen
- Technische Machbarkeit: Verbrauchergeräte können zuverlässig abgestufte pseudo-haptische Rückmeldungen induzieren und messen
- Multisensorische Integration: Die Kombination visueller und auditiver Hinweise erzeugt überadditive Effekte und bestätigt die Theorie der multisensorischen Integration
- Anwendungspotenzial: Eröffnet Wege für kostengünstige Rehabilitationswerkzeuge, Trainingssimulatoren und Hilfschnittstellen
- Messenauigkeit: Etabliert JND-Benchmarks unter 0,05 N und Basisdruck-Bereiche von 0,40-0,90 N
- Stichprobengröße: Nur 4 Teilnehmer, relativ kleine Stichprobe
- Experimentelle Zeitdauer: Begrenzt durch zwei Monate Zeitbeschränkung
- Physiologische Messungen: Keine psychophysikalischen Messungen wie Hautleitfähigkeit und Herzfrequenz
- Geräteabhängigkeit: Berührungsradiuswerte sind geräteabhängig
- Erweiterte Forschung: Zusammenarbeit mit Neurowissenschaftlern, Verwendung von Elektromyographie und Elektrookulographie
- Therapeutische Anwendungen: Ablenkungstherapie für Brandwundenpatienten und sensorische Umschulung
- Technologische Integration: Integration mit Ultraleak-Ultraschall-Berührungsanordnungen und MediaPipe-Framework
- Multimodale Erkundung: Integration von Wärme- und Luftströmungsrückmeldung
- Innovative Methodik: Erstmalige systematische Quantifizierung der Auswirkungen visueller und auditiver Hinweise auf pseudo-haptisches Feedback
- Praktischer Wert: Nachweis der Machbarkeit kostengünstiger Verbrauchergeräte mit wichtigen kommerziellen Anwendungsaussichten
- Rigoroses Design: Verwendung mehrerer Messmethoden (Kraftsensor, Berührungsradius, psychophysikalische Bewertung)
- Interdisziplinäre Bedeutung: Integration von Mensch-Computer-Interaktion, Psychophysik, Robotik und anderen Disziplinen
- Unzureichende statistische Aussagekraft: Stichprobengröße von 4 Personen ist zu klein und beeinträchtigt statistische Signifikanz und Verallgemeinerbarkeit
- Kontrolliertes Experimentaldesign: Fehlen echter Kontrollgruppen ohne Hinweise
- Analyse individueller Unterschiede: Unzureichende Analyse von Unterschieden zwischen Individuen und Einflussfaktoren
- Langzeiteffekte: Keine Untersuchung von Adaptationseffekten und Auswirkungen der Langzeitnutzung
- Akademischer Beitrag: Bietet wichtige quantitative Grundlagen für pseudo-haptische Forschung
- Industrielle Anwendung: Bietet neue technologische Wege für Unterhaltungselektronik, Spiele, Rehabilitationsmedizin und andere Bereiche
- Methodologischer Wert: Etabliert reproduzierbare experimentelle Paradigmen und Messnormen
- Rehabilitationsmedizin: Motorische Rehabilitationstraining, Wiederherstellung sensorischer Funktionen
- Bildungs- und Schulungswesen: Chirurgische Simulatoren, Fertigkeitstrainingssysteme
- Unterhaltungselektronik: Haptische Rückmeldungsverstärkung mobiler Geräte
- Hilfstechnologie: Navigationssysteme für Sehbehinderte, haptische Hilfsmittel
Das Papier zitiert 41 relevante Referenzen, die wichtige Arbeiten aus mehreren Forschungsbereichen abdecken, darunter taktile Wahrnehmung, multisensorische Integration, virtuelle Realität und Mensch-Computer-Interaktion, und bieten eine solide theoretische Grundlage für die Forschung.
Gesamtbewertung: Diese Studie leistet wichtige Beiträge im Bereich des pseudo-haptischen Feedbacks. Durch systematisches experimentelles Design quantifiziert sie die Auswirkungen audiovisueller Hinweise auf die taktile Wahrnehmung und eröffnet neue Wege für die Entwicklung kostengünstiger Haptik-Technologie. Trotz Einschränkungen wie kleiner Stichprobengröße machen ihre innovative Methodik und praktischer Wert sie zu einer wichtigen Referenz in diesem Forschungsbereich.