Обучение иероглифам Ханьцзы через VR-систему на основе принципов столярного соединения

Основная информация

• ID статьи: 2510.11264
• Название: Learning Hanzi Character Through VR-Based Mortise-Tenon
• Авторы: Conglin Ma, Jiatong Li, Sen-Zhe Xu, Ju Dai, Jie Liu, Feng Zhou
• Категория: cs.HC (Взаимодействие человека и компьютера)
• Дата публикации: 13 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.11264
• Демонстрационное видео: https://youtu.be/oUwfFTRpFyo

Аннотация

В данной работе представлена инновационная VR-система HVRMT, которая переопределяет обучение иероглифам Ханьцзы путём интеграции принципов традиционного столярного соединения (榫卯). Система декомпозирует компоненты иероглифов в интерактивные "структурные радикалы", аналогичные деревянным модулям соединения, используя 6DoF пространственное отслеживание PICO и морфологический анализ на основе больших языковых моделей (LLM). Обучающиеся собирают последовательности штрихов с тактильной обратной связью, имитирующей трение дерева. Система поддерживает многопользовательский онлайн-опыт, одновременно способствуя сохранению нематериального культурного наследия и повышая вовлечённость и сохранение памяти.

Исследовательский контекст и мотивация

Ключевые проблемы

1. Трудности абстрактного обучения: Традиционные методы преподавания иероглифов Ханьцзы лишены воплощённого опыта, что затрудняет установление значимых связей между обучающимися и реальным контекстом
2. Вызовы культурной передачи: Существующие цифровые системы обучения не могут в полной мере отразить трёхмерный характер иероглифов как культурных носителей
3. Недостаточная вовлечённость: Плоские методы обучения на основе учебников ограничивают практическое участие и интерактивное исследование

Исследовательская мотивация

• Традиционные "бестелесные" методы обучения приводят к трудностям с сохранением памяти и поверхностному пониманию структуры
• Существующие геймифицированные системы (такие как "汉字工厂") по-прежнему сосредоточены на статическом представлении, не устанавливая динамических связей между структурой иероглифов и традиционной культурой
• Хотя виртуальные среды обучения развиваются, они остаются ограниченными в сохранении культурного наследия и обработке структурной сложности

Основные вклады

1. Инновационная педагогическая метафора: Первое систематическое применение принципов древнего столярного соединения к обучению иероглифам, преобразующее абстрактные компоненты в интерактивные "структурные радикалы"
2. Многомодальная VR-система: Полная VR-среда обучения, интегрирующая 6DoF пространственное отслеживание PICO, морфологический анализ LLM и тактильную обратную связь
3. Цифровая защита культурного наследия: Переосмысление традиционного ремесленного мастерства через концепцию "построения иероглифов из дерева", предлагающее новый путь для цифровой передачи нематериального культурного наследия
4. Многопользовательское совместное обучение: Реализация многопользовательского VR-опыта сотрудничества, преобразующего обучение иероглифам в социализированную деятельность по культурной передаче

Подробное описание методологии

Определение задачи

Входные данные: Голосовое описание пользователя (например, "милая кошка") Выходные данные:

• Компоненты столярного соединения соответствующего иероглифа
• Генерация 3D-модели
• Проверка и активация сборки иероглифа

Ограничения: Компоненты соединения должны соответствовать принципам традиционного ремесла, структура иероглифа должна оставаться точной

Архитектура системы

1. Основное концептуальное отображение

• Штрихи иероглифа → Компоненты соединения: Отображение штрихов иероглифа в детали соединения, позволяющее обучающимся собирать радикалы иероглифов подобно построению деревянного каркаса
• Структурная логика → Ремесленная мудрость: Заимствование точности и функциональности столярного соединения для предоставления конкретной метафоры абстрактному запоминанию иероглифов

2. Технический фреймворк

Модуль обработки голоса:

• Использование 6DoF пространственного отслеживания PICO для захвата голоса и движений
• Преобразование речи в текст и извлечение ключевых символов
• Инженерия подсказок на основе ChatGLM:

{
  "model": "glm-4-flash",
  "messages": [{
    "role": "user",
    "content": "Извлеките основной объект, описанный в предложении, игнорируя модификаторы, такие как цвет. Результат должен быть одним символом"
  }]
}

Морфологический анализ на основе LLM:

• Генерация 2D-изображений и 3D-моделей на основе пользовательского ввода
• Использование CogView-4 для генерации изображений:

{
  "model": "cogView-4-250304",
  "prompt": "Простой фон, без сложной среды, однотонный фон, чёткий основной объект",
  "size": "512x512"
}

Генерация 3D-моделей:

• Использование интерфейса Tripo для преобразования изображения в модель
• Загрузка и отображение моделей через компонент GltfAsset
• Модели изначально находятся в "неактивированном" состоянии, требуя активации через сборку иероглифа

3. Дизайн виртуального пространства

Система разделяет виртуальное пространство на три функциональные зоны:

• Зона голоса (a): Распознавание голоса, извлечение ключевых слов и генерация изображений
• Зона моделей (b): 3D-моделирование и представление
• Зона иероглифов (c): Сборка соединений и распознавание OCR

Технические инновации

1. Механизм отображения соединение-иероглиф

• Таблица эквивалентности (Equivalent Table): Идентификация номеров компонентов и классификация в наборы эквивалентности
• Таблица рецептов (Recipe Table): Определение возможности сопряжения двух компонентов на основе переиспользуемости компонентов
• Динамическая проверка сборки: Реальное распознавание процесса сборки и сравнение с извлечённым основным символом

2. Многопользовательская система сотрудничества

• Первый вошедший пользователь назначается ролью хозяина комнаты
• Другие пользователи присоединяются в качестве клиентов через встроенную функцию многоадресной рассылки сети
• Поддержка реального времени многопользовательского сотрудничества и культурного обмена

3. Дизайн взаимодействия

• VR-джойстик: Движение и поворот
• Спусковая клавиша: Взаимодействие с пользовательским интерфейсом и связанные операции
• Клавиша захвата: Захват компонентов
• Тактильная обратная связь: Имитация тактильных ощущений контакта с деревом

Экспериментальная установка

Участники

• Размер выборки: 16 участников
• Метод группировки: Разделение на 4 группы, каждая проходит одинаковое тестирование

Экспериментальный дизайн

• Сравнительный эксперимент: Участники сначала используют систему HVRMT для обучения иероглифам, затем используют другие методы для обучения тем же иероглифам
• Измеряемые параметры: Погружение, удобство, занимательность, эффективность получения информации
• Стандарт оценки: 5-точечная шкала Лайкерта (1 = очень неудовлетворён, 5 = очень удовлетворён)

Показатели оценки

• Средняя удовлетворённость (AVG-SI): Комплексная оценка удовлетворённости по четырём параметрам
• Сравнение пользовательского опыта: Многомерное сравнение системы HVRMT с традиционными методами

Результаты экспериментов

Основные результаты

Согласно результатам исследования пользователей, система HVRMT показала хорошие результаты по всем четырём параметрам оценки:

• Погружение: VR-среда и метафора соединения значительно повышают погружённость в обучение
• Занимательность: Сочетание традиционного ремесла и современных технологий повышает интерес к обучению
• Сохранение памяти: Воплощённое взаимодействие эффективно улучшает сохранение памяти
• Культурное понимание: Глубокое понимание культурного содержания иероглифов через ремесло столярного соединения

Проверка системы

• Техническая осуществимость: Успешная реализация ключевых функций распознавания голоса, 3D-моделирования, сборки соединений и т.д.
• Образовательная ценность: Отзывы пользователей подтверждают эффективность системы в обучении иероглифам
• Многопользовательский опыт: Функция сотрудничества повышает взаимодействие пользователей и разнообразие опыта обучения

Связанные работы

Применение LLM в образовательных технологиях

• Платформа LEAP: Steinert и др. использовали LLM для генерации формирующей обратной связи в поддержку самостоятельного обучения, но ограничивались текстовым взаимодействием
• Инновация данной работы: Применение LLM к пониманию голоса, морфологическому анализу и генерации интерактивных 3D-моделей, обеспечивающее мост между семантическим пониманием и воплощённым взаимодействием

Цифровая защита культурного наследия

• AR-обучение соединениям: Lee (2019) использовал AR для обучения структурам соединений, но не установил семантическое отображение с иероглифами
• Облачное сообщество совместного письма: Yilmaz (2022) предложил концепцию облачного сотрудничества, данная работа расширяет её до многопользовательской VR-среды взаимодействия

Заключение и обсуждение

Основные выводы

1. Система HVRMT успешно интегрирует обучение иероглифам и столярное ремесло, предоставляя воплощённый опыт культурного обучения
2. Многомодальные VR-технологии эффективно повышают вовлечённость в обучение и сохранение памяти
3. Многопользовательская функция сотрудничества повышает эффективность социализированного обучения и культурной передачи

Ограничения

1. Ограниченный размер выборки: Только 16 участников, требуется проверка на более крупной выборке
2. Охват контента: Текущие компоненты соединения и типы иероглифов ограничены, требуется расширение библиотеки контента
3. Долгосрочные эффекты: Отсутствуют исследования отслеживания долгосрочных эффектов обучения
4. Технологическая зависимость: Требуется специализированное VR-оборудование, что может ограничить широкое распространение

Будущие направления

1. Расширение библиотеки контента с большим количеством иероглифов и типов соединений
2. Проведение экспериментов с участием большего числа участников для оценки
3. Исследование долгосрочного влияния системы на приобретение навыков чтения и письма иероглифов
4. Изучение возможности сочетания других традиционных ремёсел с обучением языку

Глубокая оценка

Преимущества

1. Концептуальная инновативность: Педагогическая метафора отображения соединение-иероглиф чрезвычайно творческая, преобразующая абстрактное обучение в конкретное
2. Степень технической интеграции: Успешная интеграция VR, LLM, распознавания голоса, 3D-моделирования и других технологий
3. Культурная ценность: Интеграция защиты культурного наследия в обучение языку имеет важное социальное значение
4. Пользовательский опыт: Многомодальное взаимодействие и функции сотрудничества обеспечивают богатый опыт обучения

Недостатки

1. Масштаб экспериментов: Выборка из 16 участников относительно мала, статистическая мощность ограничена
2. Количественный анализ: Отсутствуют детальные количественные показатели эффективности обучения и проверка статистической значимости
3. Базис сравнения: Не уточнено, что именно представляют собой "другие методы", что влияет на валидность сравнения
4. Технические детали: Описание правил отображения компонентов соединения и структуры иероглифа недостаточно подробно

Влияние

1. Академический вклад: Предлагает новые идеи для VR-образования и цифровой защиты культурного наследия
2. Практическая ценность: Может применяться в преподавании китайского языка как иностранного, культурном образовании и других областях
3. Воспроизводимость: Предоставляет архитектуру системы и детали реализации, но требует дополнительных технических спецификаций
4. Междисциплинарная ценность: Объединяет HCI, образовательные технологии, защиту культуры и другие области

Применимые сценарии

1. Преподавание китайского языка как иностранного: Предоставление погружённого опыта обучения иероглифам для иностранных учащихся
2. Культурное образование: Интерактивные выставки в музеях и культурных центрах
3. Образование в области традиционного ремесла: Цифровая передача и обучение столярному ремеслу
4. Среды совместного обучения: Платформы для удалённого многопользовательского совместного обучения языку

Библиография

Статья цитирует 10 связанных работ, охватывающих ключевые области применения LLM в образовании, цифровизации культурного наследия и дизайна VR-взаимодействия, обеспечивая прочную теоретическую базу для исследования.

Общая оценка: Это инновационная и практически ценная статья в области HCI, успешно сочетающая традиционную культуру с современными технологиями и предлагающая новые решения для обучения языку и культурной передачи. Хотя в масштабе экспериментов и количественном анализе есть место для улучшения, концептуальная инновативность и техническая интеграция заслуживают признания.