Learning Hanzi Character Through VR-Based Mortise-Tenon

基本信息

• 论文ID: 2510.11264
• 标题: Learning Hanzi Character Through VR-Based Mortise-Tenon
• 作者: Conglin Ma, Jiatong Li, Sen-Zhe Xu, Ju Dai, Jie Liu, Feng Zhou
• 分类: cs.HC (Human-Computer Interaction)
• 发表时间: 2025年10月13日 (arXiv预印本)
• 论文链接: https://arxiv.org/abs/2510.11264
• 演示视频: https://youtu.be/oUwfFTRpFyo

摘要

本文介绍了一个创新的VR系统HVRMT，通过融合传统榫卯工艺原理重新定义汉字学习。系统将汉字组件解构为类似木制榫卯模块的交互式"结构部首"，利用PICO的6DoF空间追踪技术和LLM形态学分析，让学习者通过模拟木材摩擦的触觉反馈组装笔画序列。系统还支持多人在线体验，在保护非物质文化遗产的同时提升学习参与度和记忆保持率。

研究背景与动机

核心问题

1. 抽象化学习困境: 传统汉字教学方法缺乏具身化体验，学习者难以与真实世界情境和文化背景建立有意义的联系
2. 文化传承挑战: 现有数字化学习系统无法充分展现汉字作为文化载体的三维立体特性
3. 参与度不足: 基于书本的平面训练方式限制了学习者的动手参与和交互探索

研究动机

• 传统"去身体化"的教学方法导致记忆保持困难和结构理解不深
• 现有游戏化系统（如"汉字工厂"）仍专注于静态展示，未能建立汉字结构与传统文化的动态联系
• 虚拟学习环境虽有进展，但在文化遗产传承和结构复杂性方面仍有局限

核心贡献

1. 创新性教学隐喻: 首次将古代榫卯工艺原理系统性地应用于汉字学习，将抽象汉字组件转化为交互式"结构部首"
2. 多模态VR系统: 集成PICO 6DoF空间追踪、LLM形态学分析和触觉反馈的完整VR学习环境
3. 文化遗产数字化保护: 通过"以木构字"的理念重构传统工艺智慧，为非物质文化遗产数字化传承提供新路径
4. 多人协作学习: 实现多用户VR协作体验，将汉字学习转化为社会化的文化传承活动

方法详解

任务定义

输入: 用户语音描述（如"一只可爱的猫"） 输出:

• 对应汉字的榫卯组件
• 3D模型生成
• 汉字组装验证和激活

约束条件: 榫卯组件必须符合传统工艺原理，汉字结构需保持准确性

系统架构

1. 核心概念映射

• 汉字笔画 → 榫卯组件: 将汉字笔画映射为榫卯部件，学习者如同建造木制框架般组装汉字部首
• 结构逻辑 → 工艺智慧: 借鉴榫卯工艺的精确性和功能性，为抽象汉字记忆提供具象化隐喻

2. 技术框架

语音处理模块:

• 利用PICO 6DoF空间追踪捕获语音和动作
• 语音转文字并提取核心字符
• 基于ChatGLM构建提示工程：

{
  "model": "glm-4-flash",
  "messages": [{
    "role": "user",
    "content": "提取句子中描述的主要对象，忽略颜色等修饰词，要求结果为一个字符"
  }]
}

LLM驱动的形态学分析:

• 基于用户输入生成2D图像和3D模型
• 使用CogView-4进行图像生成：

{
  "model": "cogView-4-250304",
  "prompt": "简单背景，无复杂环境，纯色背景，主体清晰",
  "size": "512x512"
}

3D模型生成:

• 使用Tripo接口实现图像到模型的转换
• 通过GltfAsset组件加载和显示模型
• 模型初始为"未激活"状态，需通过汉字组装获得激活权限

3. 虚拟空间设计

系统将虚拟空间划分为三个功能区域：

• 语音区域(a): 语音识别、关键词提取和图像生成
• 模型区域(b): 3D建模和展示
• 汉字区域(c): 榫卯组装和OCR识别

技术创新点

1. 榫卯-汉字映射机制

• 等价表(Equivalent Table): 识别部件编号并分类到等价集合
• 配方表(Recipe Table): 基于部件可重用性判断两个部件是否可配对
• 动态组装验证: 实时识别组装过程并与提取的核心字符对比

2. 多用户协作系统

• 首个登录用户设为房主角色
• 其他用户通过内置网络组播接收功能以客户端身份进入
• 支持多用户实时协作和文化交流

3. 交互设计

• VR摇杆: 移动和转向
• 扳机键: UI交互和相关操作
• 握持键: 拾取部件
• 触觉反馈: 模拟木材接触的触觉感受

实验设置

参与者

• 样本规模: 16名参与者
• 分组方式: 分为4组，每组进行相同测试

实验设计

• 对比实验: 参与者先使用HVRMT系统学习汉字，再使用其他方法学习相同汉字
• 评价维度: 沉浸感、便利性、趣味性、信息获取效率
• 评分标准: 5点李克特量表（1=非常不满意，5=非常满意）

评价指标

• 平均满意度(AVG-SI): 四个维度的综合满意度评分
• 用户体验对比: HVRMT系统与传统方法的多维度比较

实验结果

主要结果

根据用户研究结果显示，HVRMT系统在四个评价维度上均表现良好：

• 沉浸感: VR环境和榫卯隐喻显著提升学习沉浸体验
• 趣味性: 传统工艺与现代技术结合增强学习乐趣
• 记忆保持: 具身化交互有效改善记忆保持率
• 文化理解: 通过榫卯工艺深化对汉字文化内涵的理解

系统验证

• 技术可行性: 成功实现语音识别、3D建模、榫卯组装等核心功能
• 教育价值: 用户反馈验证了系统在汉字学习方面的有效性
• 多用户体验: 协作功能增强用户互动和学习体验丰富性

相关工作

LLM在教育技术中的应用

• LEAP平台: Steinert等人使用LLM生成形成性反馈支持自主学习，但局限于文本交互
• 本文创新: 将LLM应用于语音理解、形态学分析和3D交互模型生成，实现语义理解与具身交互的桥接

数字化文化遗产保护

• AR榫卯教学: Lee (2019)使用AR教授榫卯结构，但未建立与汉字的语义映射
• 协作写作社区: Yilmaz (2022)提出云端协作概念，本文将其扩展到VR多用户交互环境

结论与讨论

主要结论

1. HVRMT系统成功融合了汉字学习与榫卯工艺，提供了具身化的文化学习体验
2. 多模态VR技术有效提升了学习参与度和记忆保持率
3. 多用户协作功能增强了社会化学习和文化传承效果

局限性

1. 样本规模有限: 仅16名参与者，需要更大规模的实验验证
2. 内容覆盖: 当前榫卯组件和汉字类型有限，需扩展内容库
3. 长期效果: 缺乏长期学习效果的追踪研究
4. 技术依赖: 需要专业VR设备，可能限制普及应用

未来方向

1. 扩展更多汉字字符和榫卯类型的内容库
2. 进行更大规模的参与者实验评估
3. 研究系统对汉字读写能力获得的长期影响
4. 探索其他传统工艺与语言学习的结合可能

深度评价

优点

1. 概念创新性: 榫卯-汉字映射的教学隐喻极具创意，将抽象学习具象化
2. 技术整合度: 成功整合VR、LLM、语音识别、3D建模等多项技术
3. 文化价值: 在语言学习中融入文化遗产保护，具有重要社会意义
4. 用户体验: 多模态交互和协作功能提供丰富的学习体验

不足

1. 实验规模: 16名参与者的样本量偏小，统计效力有限
2. 定量分析: 缺乏详细的学习效果量化指标和统计显著性检验
3. 对比基准: 未明确说明"其他方法"的具体内容，影响对比有效性
4. 技术细节: 榫卯组件与汉字结构的映射规则描述不够详细

影响力

1. 学术贡献: 为VR教育和文化遗产数字化保护提供了新思路
2. 实用价值: 可应用于汉语教学、文化教育等多个领域
3. 可复现性: 提供了系统架构和实现细节，但需要更多技术规范
4. 跨领域价值: 结合了HCI、教育技术、文化保护等多个领域

适用场景

1. 汉语作为第二语言教学: 为外国学习者提供沉浸式汉字学习体验
2. 文化教育: 博物馆、文化中心的交互式展示
3. 传统工艺教育: 榫卯工艺的数字化传承和教学
4. 协作学习环境: 支持远程多人协作的语言学习平台

参考文献

论文引用了10篇相关文献，涵盖了LLM教育应用、文化遗产数字化、VR交互设计等关键领域，为研究提供了坚实的理论基础。

总体评价: 这是一篇具有创新性和实用价值的HCI研究论文，成功将传统文化与现代技术结合，为语言学习和文化传承提供了新的解决方案。虽然在实验规模和定量分析方面有待改进，但其概念创新和技术整合值得肯定。