Hanzi-Zeichen-Lernen durch VR-basierte Zapfen-Nut-Verbindungen

Grundinformationen

• Paper-ID: 2510.11264
• Titel: Learning Hanzi Character Through VR-Based Mortise-Tenon
• Autoren: Conglin Ma, Jiatong Li, Sen-Zhe Xu, Ju Dai, Jie Liu, Feng Zhou
• Klassifizierung: cs.HC (Mensch-Computer-Interaktion)
• Veröffentlichungsdatum: 13. Oktober 2025 (arXiv-Preprint)
• Paper-Link: https://arxiv.org/abs/2510.11264
• Demo-Video: https://youtu.be/oUwfFTRpFyo

Zusammenfassung

Dieser Artikel stellt ein innovatives VR-System namens HVRMT vor, das das Hanzi-Lernen durch die Integration traditioneller Zapfen-Nut-Handwerksprinzipien neu definiert. Das System dekonstruiert Hanzi-Komponenten in interaktive "Strukturradikale", ähnlich wie Holz-Zapfen-Nut-Module. Durch die Nutzung von PICOs 6DoF-Raumverfolgungstechnologie und LLM-Morphologieanalyse können Lernende Strichfolgen durch taktiles Feedback, das Holzreibung simuliert, zusammensetzen. Das System unterstützt auch Mehrbenutzer-Online-Erfahrungen und verbessert gleichzeitig die Lernbeteiligung und Merkfähigkeit bei der Bewahrung des immateriellen Kulturerbes.

Forschungshintergrund und Motivation

Kernprobleme

1. Abstraktionslerndilemma: Traditionelle Hanzi-Unterrichtsmethoden mangelt es an verkörperter Erfahrung, wodurch Lernende Schwierigkeiten haben, aussagekräftige Verbindungen zu realen Kontexten und kulturellem Hintergrund herzustellen
2. Herausforderung der Kulturvermittlung: Bestehende digitale Lernsysteme können die dreidimensionalen Eigenschaften von Hanzi als Kulturträger nicht ausreichend darstellen
3. Unzureichende Beteiligung: Flache, buchgestützte Trainingsmethoden begrenzen die praktische Teilhabe und interaktive Erkundung der Lernenden

Forschungsmotivation

• Traditionelle "entkörperte" Unterrichtsmethoden führen zu Gedächtnisverlust und oberflächlichem Strukturverständnis
• Bestehende Gamifizierungssysteme (wie "Hanzi Factory") konzentrieren sich immer noch auf statische Darstellung und etablieren keine dynamischen Verbindungen zwischen Hanzi-Struktur und traditioneller Kultur
• Obwohl virtuelle Lernumgebungen Fortschritte gemacht haben, gibt es immer noch Einschränkungen bei der Vermittlung von Kulturerbe und struktureller Komplexität

Kernbeiträge

1. Innovative Unterrichtsmetapher: Erstmalige systematische Anwendung alter Zapfen-Nut-Handwerksprinzipien auf das Hanzi-Lernen, Umwandlung abstrakter Hanzi-Komponenten in interaktive "Strukturradikale"
2. Multimodales VR-System: Integrierte VR-Lernumgebung mit PICOs 6DoF-Raumverfolgung, LLM-Morphologieanalyse und taktischem Feedback
3. Digitale Bewahrung von Kulturerbe: Rekonstruktion traditioneller Handwerkskenntnisse durch das Konzept "Zeichen mit Holz bauen" und Bereitstellung neuer Wege für die digitale Vermittlung immateriellen Kulturerbes
4. Kollaboratives Mehrbenutzer-Lernen: Realisierung von Mehrbenutzer-VR-Kooperationserfahrungen, Umwandlung des Hanzi-Lernens in eine sozialisierte Kulturvermittlungsaktivität

Methodische Erläuterung

Aufgabendefinition

Eingabe: Sprachbeschreibung des Benutzers (z.B. "eine süße Katze") Ausgabe:

• Zapfen-Nut-Komponenten des entsprechenden Hanzi
• 3D-Modellerzeugung
• Hanzi-Zusammenbau-Validierung und Aktivierung

Einschränkungen: Zapfen-Nut-Komponenten müssen traditionellen Handwerksprinzipien entsprechen, Hanzi-Struktur muss genau bleiben

Systemarchitektur

1. Kernkonzept-Abbildung

• Hanzi-Striche → Zapfen-Nut-Komponenten: Abbildung von Hanzi-Strichen auf Zapfen-Nut-Teile, Lernende montieren Hanzi-Radikale wie beim Bau eines Holzrahmens
• Strukturlogik → Handwerkskenntnisse: Nutzung der Präzision und Funktionalität der Zapfen-Nut-Handwerkskunst als konkrete Metapher für abstraktes Hanzi-Gedächtnis

2. Technisches Framework

Sprachverarbeitungsmodul:

• Nutzung von PICOs 6DoF-Raumverfolgung zur Erfassung von Sprache und Bewegung
• Sprache-zu-Text-Konvertierung und Extraktion von Kernzeichen
• Prompt-Engineering basierend auf ChatGLM:

{
  "model": "glm-4-flash",
  "messages": [{
    "role": "user",
    "content": "Extrahieren Sie das Hauptobjekt aus dem Satz, ignorieren Sie Modifikatoren wie Farben, das Ergebnis muss ein einzelnes Zeichen sein"
  }]
}

LLM-gesteuerte Morphologieanalyse:

• Erzeugung von 2D-Bildern und 3D-Modellen basierend auf Benutzereingabe
• Verwendung von CogView-4 für Bildgenerierung:

{
  "model": "cogView-4-250304",
  "prompt": "Einfacher Hintergrund, keine komplexe Umgebung, einfarbiger Hintergrund, klares Hauptobjekt",
  "size": "512x512"
}

3D-Modellerzeugung:

• Verwendung der Tripo-Schnittstelle für Bild-zu-Modell-Konvertierung
• Laden und Anzeige von Modellen über GltfAsset-Komponente
• Modelle befinden sich anfangs im "deaktivierten" Zustand und benötigen Aktivierungsberechtigung durch Hanzi-Zusammenbau

3. Virtueller Raumdesign

Das System unterteilt den virtuellen Raum in drei Funktionsbereiche:

• Sprachbereich (a): Spracherkennung, Schlüsselwortextraktion und Bildgenerierung
• Modellbereich (b): 3D-Modellierung und Anzeige
• Hanzi-Bereich (c): Zapfen-Nut-Zusammenbau und OCR-Erkennung

Technische Innovationspunkte

1. Zapfen-Nut-Hanzi-Abbildungsmechanismus

• Äquivalenztabelle (Equivalent Table): Erkennung von Komponentennummern und Klassifizierung in äquivalente Mengen
• Rezepttabelle (Recipe Table): Bestimmung, ob zwei Komponenten basierend auf Komponentenwiederverwendbarkeit kombiniert werden können
• Dynamische Zusammenbau-Validierung: Echtzeiterkennung des Zusammenbaus und Vergleich mit extrahiertem Kernzeichen

2. Mehrbenutzer-Kooperationssystem

• Der erste anmeldende Benutzer wird als Hausherr-Rolle festgelegt
• Andere Benutzer treten als Clients über integrierte Netzwerk-Multicast-Empfangsfunktion ein
• Unterstützung für Mehrbenutzer-Echtzeit-Zusammenarbeit und kulturellen Austausch

3. Interaktionsdesign

• VR-Joystick: Bewegung und Richtungswechsel
• Abzugstaste: UI-Interaktion und zugehörige Operationen
• Grifftaste: Komponenten aufgreifen
• Taktiles Feedback: Simulation der Holzkontakt-Empfindung

Experimentelle Einrichtung

Teilnehmer

• Stichprobengröße: 16 Teilnehmer
• Gruppeneinteilung: Aufteilung in 4 Gruppen, jede Gruppe führt identische Tests durch

Experimentelles Design

• Vergleichsexperiment: Teilnehmer lernen zunächst mit dem HVRMT-System Hanzi, dann mit anderen Methoden identische Hanzi
• Bewertungsdimensionen: Immersion, Benutzerfreundlichkeit, Unterhaltungswert, Informationsbeschaffungseffizienz
• Bewertungsstandard: 5-Punkte-Likert-Skala (1=sehr unzufrieden, 5=sehr zufrieden)

Bewertungsindikatoren

• Durchschnittliche Zufriedenheit (AVG-SI): Gesamtzufriedenheitsbewertung über vier Dimensionen
• Benutzererfahrungsvergleich: Multidimensionaler Vergleich zwischen HVRMT-System und traditionellen Methoden

Experimentelle Ergebnisse

Hauptergebnisse

Benutzerforschungsergebnisse zeigen, dass das HVRMT-System in allen vier Bewertungsdimensionen gut abschneidet:

• Immersion: VR-Umgebung und Zapfen-Nut-Metapher verbessern signifikant die Lern-Immersion
• Unterhaltungswert: Kombination traditioneller Handwerkskunst mit moderner Technologie erhöht Lernvergnügen
• Merkfähigkeit: Verkörperte Interaktion verbessert effektiv die Merkfähigkeit
• Kulturverständnis: Vertiefung des Verständnisses für kulturelle Bedeutung von Hanzi durch Zapfen-Nut-Handwerkskunst

Systemvalidierung

• Technische Machbarkeit: Erfolgreiche Realisierung von Spracherkennung, 3D-Modellierung, Zapfen-Nut-Zusammenbau und anderen Kernfunktionen
• Pädagogischer Wert: Benutzer-Feedback validiert die Effektivität des Systems beim Hanzi-Lernen
• Mehrbenutzer-Erfahrung: Kooperationsfunktionen verbessern Benutzerinteraktion und Lernreichtum

Verwandte Arbeiten

LLM-Anwendungen in Bildungstechnologie

• LEAP-Plattform: Steinert et al. nutzen LLM zur Generierung formativer Rückmeldungen für selbstgesteuertes Lernen, begrenzt auf Textinteraktion
• Innovation dieses Artikels: Anwendung von LLM auf Sprachverständnis, Morphologieanalyse und 3D-Interaktivmodellgenerierung, Überbrückung von semantischem Verständnis und verkörperter Interaktion

Digitale Bewahrung von Kulturerbe

• AR-Zapfen-Nut-Unterricht: Lee (2019) nutzt AR zur Vermittlung von Zapfen-Nut-Strukturen, etabliert aber keine semantische Abbildung zu Hanzi
• Kollaborative Schreib-Community: Yilmaz (2022) schlägt Cloud-Kooperationskonzept vor, dieser Artikel erweitert es auf VR-Mehrbenutzer-Interaktionsumgebung

Schlussfolgerung und Diskussion

Hauptschlussfolgerungen

1. Das HVRMT-System integriert erfolgreich Hanzi-Lernen und Zapfen-Nut-Handwerkskunst und bietet verkörperte Kulturlernerfahrung
2. Multimodale VR-Technologie verbessert effektiv Lernbeteiligung und Merkfähigkeit
3. Mehrbenutzer-Kooperationsfunktionen verbessern sozialisiertes Lernen und Kulturvermittlungseffekt

Einschränkungen

1. Begrenzte Stichprobengröße: Nur 16 Teilnehmer, größere Experimente zur Validierung erforderlich
2. Inhaltsabdeckung: Aktuelle Zapfen-Nut-Komponenten und Hanzi-Typen sind begrenzt, Inhaltsbibliothek muss erweitert werden
3. Langzeiteffekte: Mangel an Nachverfolgungsforschung zu langfristigen Lerneffekten
4. Technologieabhängigkeit: Erfordert spezialisierte VR-Ausrüstung, könnte Verbreitung begrenzen

Zukünftige Richtungen

1. Erweiterung der Inhaltsbibliothek mit mehr Hanzi-Zeichen und Zapfen-Nut-Typen
2. Durchführung größerer Teilnehmerexperimente zur Evaluierung
3. Untersuchung der Langzeitauswirkungen des Systems auf Hanzi-Lese- und Schreibfähigkeiten
4. Erkundung von Kombinationsmöglichkeiten zwischen anderen traditionellen Handwerkskünsten und Sprachenlernen

Tiefgreifende Bewertung

Stärken

1. Konzeptuelle Innovativität: Die Zapfen-Nut-Hanzi-Abbildungsmetapher ist äußerst kreativ und konkretisiert abstraktes Lernen
2. Technische Integrationsfähigkeit: Erfolgreiche Integration von VR, LLM, Spracherkennung, 3D-Modellierung und anderen Technologien
3. Kultureller Wert: Integration von Kulturerbeschutz in Sprachenlernen hat wichtige gesellschaftliche Bedeutung
4. Benutzererfahrung: Multimodale Interaktion und Kooperationsfunktionen bieten reichhaltige Lernerfahrung

Mängel

1. Experimentelle Skalierung: Stichprobengröße von 16 Teilnehmern ist relativ klein, statistische Aussagekraft begrenzt
2. Quantitative Analyse: Mangel an detaillierten Lerneffekt-Quantifizierungsindikatoren und statistischer Signifikanztestung
3. Vergleichsgrundlage: "Andere Methoden" nicht klar spezifiziert, beeinträchtigt Vergleichsvalidität
4. Technische Details: Abbildungsregeln zwischen Zapfen-Nut-Komponenten und Hanzi-Struktur nicht ausreichend detailliert beschrieben

Einfluss

1. Akademischer Beitrag: Bietet neue Perspektiven für VR-Bildung und digitale Bewahrung von Kulturerbe
2. Praktischer Wert: Anwendbar auf Chinesisch-Unterricht, Kulturbildung und andere Bereiche
3. Reproduzierbarkeit: Bietet Systemarchitektur und Implementierungsdetails, benötigt aber mehr technische Standards
4. Bereichsübergreifender Wert: Kombiniert HCI, Bildungstechnologie, Kulturschutz und andere Bereiche

Anwendungsszenarien

1. Chinesisch als Zweitsprache-Unterricht: Bietet immersives Hanzi-Lernen für Fremdsprachenlernende
2. Kulturbildung: Interaktive Ausstellung in Museen und Kulturzentren
3. Traditionelle Handwerkskunst-Bildung: Digitale Vermittlung und Unterricht der Zapfen-Nut-Handwerkskunst
4. Kollaborative Lernumgebung: Unterstützung für ferngesteuerte Mehrbenutzer-Sprachenlernen-Plattformen

Literaturverzeichnis

Der Artikel zitiert 10 verwandte Arbeiten, die LLM-Bildungsanwendungen, digitale Bewahrung von Kulturerbe, VR-Interaktionsdesign und andere Schlüsselbereiche abdecken und eine solide theoretische Grundlage für die Forschung bieten.

Gesamtbewertung: Dies ist ein innovatives und praktisch wertvolles HCI-Forschungspapier, das traditionelle Kultur erfolgreich mit moderner Technologie verbindet und neue Lösungen für Sprachenlernen und Kulturvermittlung bietet. Obwohl Verbesserungen in experimenteller Skalierung und quantitativer Analyse erforderlich sind, verdienen die konzeptuelle Innovation und technische Integration Anerkennung.