Apprentissage des Caractères Hanzi par Mortaise-Tenon en Réalité Virtuelle

Informations Fondamentales

• ID de l'article: 2510.11264
• Titre: Learning Hanzi Character Through VR-Based Mortise-Tenon
• Auteurs: Conglin Ma, Jiatong Li, Sen-Zhe Xu, Ju Dai, Jie Liu, Feng Zhou
• Classification: cs.HC (Interaction Homme-Ordinateur)
• Date de publication: 13 octobre 2025 (prépublication arXiv)
• Lien de l'article: https://arxiv.org/abs/2510.11264
• Vidéo de démonstration: https://youtu.be/oUwfFTRpFyo

Résumé

Cet article présente un système VR innovant HVRMT qui redéfinit l'apprentissage des caractères hanzi en intégrant les principes traditionnels de la technique mortaise-tenon. Le système décompose les caractères hanzi en modules interactifs « radicaux structurels » analogues aux pièces de bois mortaisées-tenonnées, utilisant la technologie de suivi spatial 6DoF de PICO et l'analyse morphologique par LLM pour permettre aux apprenants d'assembler des séquences de traits grâce à des retours haptiques simulant le frottement du bois. Le système supporte également des expériences multijoueurs en ligne, préservant le patrimoine culturel immatériel tout en améliorant l'engagement pédagogique et la rétention mémorielle.

Contexte de Recherche et Motivation

Problèmes Fondamentaux

1. Dilemme de l'apprentissage abstrait: Les méthodes traditionnelles d'enseignement des caractères hanzi manquent d'expérience incarnée, rendant difficile pour les apprenants d'établir des connexions significatives avec les contextes du monde réel et les antécédents culturels
2. Défi de la transmission culturelle: Les systèmes d'apprentissage numérique existants ne peuvent pas suffisamment démontrer la nature tridimensionnelle des caractères hanzi en tant que vecteurs culturels
3. Engagement insuffisant: Les méthodes d'entraînement bidimensionnelles basées sur le papier limitent la participation pratique et l'exploration interactive des apprenants

Motivation de la Recherche

• Les méthodes d'enseignement traditionnelles « désincarnées » entraînent des difficultés de rétention mémorielle et une compréhension structurelle superficielle
• Les systèmes ludifiés existants (comme « Hanzi Factory ») se concentrent toujours sur la présentation statique, sans établir de lien dynamique entre la structure des caractères et la culture traditionnelle
• Bien que les environnements d'apprentissage virtuel aient progressé, ils présentent encore des limitations en matière de transmission du patrimoine culturel et de complexité structurelle

Contributions Principales

1. Métaphore pédagogique innovante: Application systématique pour la première fois des principes de la technique mortaise-tenon ancienne à l'apprentissage des caractères hanzi, transformant les composants abstraits en « radicaux structurels » interactifs
2. Système VR multimodal: Environnement d'apprentissage VR complet intégrant le suivi spatial 6DoF de PICO, l'analyse morphologique par LLM et les retours haptiques
3. Protection numérique du patrimoine culturel: Reconstruction de la sagesse des métiers traditionnels par le concept « construire des caractères avec du bois », offrant une nouvelle voie pour la transmission numérique du patrimoine culturel immatériel
4. Apprentissage collaboratif multijoueurs: Réalisation d'expériences VR collaboratives multiutilisateurs, transformant l'apprentissage des caractères hanzi en activité socialisée de transmission culturelle

Détails Méthodologiques

Définition de la Tâche

Entrée: Description vocale de l'utilisateur (par exemple, « un chat mignon ») Sortie:

• Composants mortaise-tenon du caractère correspondant
• Génération de modèle 3D
• Vérification et activation de l'assemblage du caractère

Contraintes: Les composants mortaise-tenon doivent respecter les principes des métiers traditionnels, la structure des caractères doit rester précise

Architecture du Système

1. Cartographie Conceptuelle Fondamentale

• Traits de caractères hanzi → Composants mortaise-tenon: Cartographie des traits en pièces mortaisées-tenonnées, les apprenants assemblent les radicaux comme s'ils construisaient un cadre en bois
• Logique structurelle → Sagesse artisanale: Emprunt de la précision et de la fonctionnalité de la technique mortaise-tenon pour fournir une métaphore concrète à la mémorisation abstraite des caractères

2. Cadre Technique

Module de traitement vocal:

• Utilisation du suivi spatial 6DoF de PICO pour capturer la parole et les mouvements
• Conversion de la parole en texte et extraction des caractères clés
• Construction d'ingénierie des invites basée sur ChatGLM:

{
  "model": "glm-4-flash",
  "messages": [{
    "role": "user",
    "content": "Extraire l'objet principal décrit dans la phrase, ignorer les modificateurs tels que les couleurs, le résultat doit être un seul caractère"
  }]
}

Analyse morphologique pilotée par LLM:

• Génération d'images 2D et de modèles 3D basée sur l'entrée utilisateur
• Utilisation de CogView-4 pour la génération d'images:

{
  "model": "cogView-4-250304",
  "prompt": "Arrière-plan simple, pas d'environnement complexe, arrière-plan de couleur unie, sujet clair",
  "size": "512x512"
}

Génération de modèles 3D:

• Utilisation de l'interface Tripo pour la conversion image-modèle
• Chargement et affichage des modèles via le composant GltfAsset
• Les modèles sont initialement en état « désactivé », nécessitant l'activation par assemblage du caractère

3. Conception de l'Espace Virtuel

Le système divise l'espace virtuel en trois zones fonctionnelles:

• Zone vocale (a): Reconnaissance vocale, extraction de mots-clés et génération d'images
• Zone de modélisation (b): Modélisation 3D et affichage
• Zone de caractères (c): Assemblage mortaise-tenon et reconnaissance OCR

Points d'Innovation Technique

1. Mécanisme de Cartographie Mortaise-Tenon-Caractère Hanzi

• Table d'équivalence (Equivalent Table): Identification des numéros de pièces et classification en ensembles équivalents
• Table de recette (Recipe Table): Détermination basée sur la réutilisabilité des pièces si deux pièces peuvent être appariées
• Vérification d'assemblage dynamique: Reconnaissance en temps réel du processus d'assemblage et comparaison avec le caractère clé extrait

2. Système Collaboratif Multijoueurs

• Le premier utilisateur connecté est désigné comme propriétaire de la salle
• Les autres utilisateurs reçoivent les fonctionnalités via le multidiffusion réseau intégrée en tant que clients
• Support de la collaboration en temps réel multijoueurs et des échanges culturels

3. Conception Interactive

• Joystick VR: Mouvement et rotation
• Touche de détente: Interaction UI et opérations connexes
• Touche de préhension: Saisie des composants
• Retour haptique: Simulation de la sensation tactile du contact du bois

Configuration Expérimentale

Participants

• Taille de l'échantillon: 16 participants
• Méthode de groupement: Division en 4 groupes, chaque groupe effectuant le même test

Conception Expérimentale

• Expérience comparative: Les participants apprennent d'abord les caractères hanzi avec le système HVRMT, puis utilisent d'autres méthodes pour apprendre les mêmes caractères
• Dimensions d'évaluation: Immersion, commodité, intérêt, efficacité de l'acquisition d'informations
• Critères de notation: Échelle de Likert à 5 points (1 = très insatisfait, 5 = très satisfait)

Indicateurs d'Évaluation

• Satisfaction moyenne (AVG-SI): Score de satisfaction synthétique des quatre dimensions
• Comparaison de l'expérience utilisateur: Comparaison multidimensionnelle du système HVRMT avec les méthodes traditionnelles

Résultats Expérimentaux

Résultats Principaux

Selon les résultats de l'étude utilisateur, le système HVRMT a montré de bonnes performances sur les quatre dimensions d'évaluation:

• Immersion: L'environnement VR et la métaphore mortaise-tenon améliorent significativement l'expérience d'apprentissage immersif
• Intérêt: La combinaison des métiers traditionnels et de la technologie moderne améliore le plaisir d'apprendre
• Rétention mémorielle: L'interaction incarnée améliore efficacement le taux de rétention mémorielle
• Compréhension culturelle: L'approfondissement de la compréhension des connotations culturelles des caractères hanzi par la technique mortaise-tenon

Vérification du Système

• Faisabilité technique: Implémentation réussie des fonctionnalités principales incluant la reconnaissance vocale, la modélisation 3D et l'assemblage mortaise-tenon
• Valeur pédagogique: Les retours utilisateur valident l'efficacité du système dans l'apprentissage des caractères hanzi
• Expérience multijoueurs: Les fonctionnalités collaboratives améliorent l'interaction utilisateur et la richesse de l'expérience d'apprentissage

Travaux Connexes

Applications des LLM dans la Technologie Éducative

• Plateforme LEAP: Steinert et al. utilisent les LLM pour générer des retours formatifs soutenant l'apprentissage autonome, mais limités à l'interaction textuelle
• Innovation de cet article: Application des LLM à la compréhension vocale, l'analyse morphologique et la génération de modèles interactifs 3D, réalisant le pont entre la compréhension sémantique et l'interaction incarnée

Protection Numérique du Patrimoine Culturel

• Enseignement mortaise-tenon en RA: Lee (2019) utilise la RA pour enseigner les structures mortaise-tenon, mais n'établit pas de cartographie sémantique avec les caractères hanzi
• Communauté d'écriture collaborative: Yilmaz (2022) propose un concept de collaboration cloud, cet article l'étend à l'environnement d'interaction VR multijoueurs

Conclusion et Discussion

Conclusions Principales

1. Le système HVRMT fusionne avec succès l'apprentissage des caractères hanzi et la technique mortaise-tenon, offrant une expérience d'apprentissage culturel incarnée
2. La technologie VR multimodale améliore efficacement l'engagement pédagogique et le taux de rétention mémorielle
3. Les fonctionnalités collaboratives multijoueurs renforcent l'apprentissage socialisé et l'effet de transmission culturelle

Limitations

1. Taille d'échantillon limitée: Seulement 16 participants, nécessitant une vérification expérimentale à plus grande échelle
2. Couverture de contenu: Les types de composants mortaise-tenon et de caractères actuels sont limités, nécessitant l'expansion de la bibliothèque de contenu
3. Effets à long terme: Absence de recherche de suivi des effets d'apprentissage à long terme
4. Dépendance technologique: Nécessite un équipement VR professionnel, pouvant limiter l'adoption généralisée

Directions Futures

1. Expansion de la bibliothèque de contenu avec plus de caractères hanzi et de types de composants mortaise-tenon
2. Réalisation d'expériences avec des participants à plus grande échelle
3. Étude de l'impact à long terme du système sur l'acquisition des compétences de lecture et d'écriture des caractères hanzi
4. Exploration des possibilités de combinaison d'autres métiers traditionnels avec l'apprentissage des langues

Évaluation Approfondie

Points Forts

1. Innovativité conceptuelle: La métaphore pédagogique de cartographie mortaise-tenon-caractère est extrêmement créative, concrétisant l'apprentissage abstrait
2. Degré d'intégration technologique: Intégration réussie de multiples technologies incluant la VR, les LLM, la reconnaissance vocale et la modélisation 3D
3. Valeur culturelle: Intégration de la protection du patrimoine culturel dans l'apprentissage des langues, ayant une importance sociale significative
4. Expérience utilisateur: Les interactions multimodales et les fonctionnalités collaboratives offrent une expérience d'apprentissage riche

Insuffisances

1. Échelle expérimentale: La taille d'échantillon de 16 participants est relativement petite, avec une puissance statistique limitée
2. Analyse quantitative: Absence d'indicateurs quantitatifs détaillés des effets d'apprentissage et de tests de signification statistique
3. Référence comparative: Les « autres méthodes » ne sont pas clairement spécifiées, affectant la validité de la comparaison
4. Détails techniques: La description des règles de cartographie entre les composants mortaise-tenon et la structure des caractères manque de détails

Impact

1. Contribution académique: Offre de nouvelles perspectives pour l'éducation VR et la protection numérique du patrimoine culturel
2. Valeur pratique: Applicable à l'enseignement du chinois, l'éducation culturelle et d'autres domaines
3. Reproductibilité: Fournit l'architecture du système et les détails d'implémentation, mais nécessite plus de normes techniques
4. Valeur interdisciplinaire: Combinaison de l'IHM, la technologie éducative, la protection culturelle et d'autres domaines

Scénarios d'Application

1. Enseignement du chinois comme langue seconde: Offre une expérience d'apprentissage immersive des caractères hanzi pour les apprenants étrangers
2. Éducation culturelle: Affichage interactif dans les musées et centres culturels
3. Éducation aux métiers traditionnels: Transmission numérique et enseignement de la technique mortaise-tenon
4. Environnements d'apprentissage collaboratif: Support d'apprentissage des langues collaboratif à distance multijoueurs

Références

L'article cite 10 articles connexes couvrant les applications éducatives des LLM, la numérisation du patrimoine culturel et la conception d'interaction VR, fournissant une base théorique solide à la recherche.

Évaluation Globale: Cet article de recherche en IHM est innovant et pratique, fusionnant avec succès la culture traditionnelle et la technologie moderne, offrant une nouvelle solution pour l'apprentissage des langues et la transmission culturelle. Bien qu'il y ait place à amélioration en termes d'échelle expérimentale et d'analyse quantitative, son innovation conceptuelle et son intégration technologique méritent d'être reconnus.