2025-11-20T03:37:14.658253

Learning Hanzi Character Through VR-Based Mortise-Tenon

Ma, Li, Xu et al.
This paper introduces a novel VR-based system that redefines the acquisition of Hanzi character literacy by integrating traditional mortise-tenon joinery principles (HVRMT).Addressing the challenge of abstract character memorization in digital learning,our system deconstructs Hanzi components into interactive "structural radicals"akin to wooden joint modules.Leveraging PICO's 6DoF spatial tracking and LLM's morphological analysis,learners assemble stroke sequences with haptic feedback simulating wood-to-wood friction.Our system also supports multiplayer online experiences, enhancing engagement and memory retention while preserving intangible cultural heritage. This innovative approach not only enhances engagement and memory retention but also reconstructs the craft wisdom embedded in Chinese writing systems, offering new pathways for preserving intangible cultural heritage in digital ecosystems.For the demo,please refer to this link{https://youtu.be/oUwfFTRpFyo}.
academic

تعلم أحرف الهانزي من خلال الواقع الافتراضي القائم على الترابط والتعشيش

المعلومات الأساسية

  • معرّف الورقة: 2510.11264
  • العنوان: تعلم أحرف الهانزي من خلال الواقع الافتراضي القائم على الترابط والتعشيش
  • المؤلفون: Conglin Ma, Jiatong Li, Sen-Zhe Xu, Ju Dai, Jie Liu, Feng Zhou
  • التصنيف: cs.HC (التفاعل بين الإنسان والحاسوب)
  • تاريخ النشر: 13 أكتوبر 2025 (نسخة أولية من arXiv)
  • رابط الورقة: https://arxiv.org/abs/2510.11264
  • فيديو توضيحي: https://youtu.be/oUwfFTRpFyo

الملخص

تقدم هذه الورقة نظام واقع افتراضي مبتكراً يُدعى HVRMT، يعيد تعريف تعلم أحرف الهانزي من خلال دمج مبادئ حرفة الترابط والتعشيش التقليدية. يقوم النظام بتفكيك مكونات الأحرف الصينية إلى "جذور هيكلية" تفاعلية تشبه وحدات الخشب المترابطة، مستفيداً من تقنية التتبع المكاني 6DoF من PICO وتحليل الشكل الصرفي بواسطة نماذج اللغة الكبيرة (LLM)، مما يسمح للمتعلمين بتجميع تسلسلات الضربات من خلال ردود فعل حسية تحاكي احتكاك الخشب. يدعم النظام أيضاً تجارب متعددة المستخدمين عبر الإنترنت، مما يعزز الحفاظ على التراث الثقافي غير المادي مع تحسين مستويات المشاركة والاحتفاظ بالذاكرة.

السياق البحثي والدافع

المشاكل الأساسية

  1. معضلة التعلم المجرد: تفتقر طرق تدريس الأحرف الصينية التقليدية إلى التجارب المجسدة، مما يجعل من الصعب على المتعلمين إقامة روابط ذات معنى مع السياقات الحقيقية والخلفيات الثقافية
  2. تحديات نقل التراث الثقافي: لا تستطيع أنظمة التعلم الرقمية الحالية عرض الطبيعة ثلاثية الأبعاد الكاملة للأحرف الصينية كحاملة للثقافة
  3. نقص المشاركة: تقيد طرق التدريب المسطحة القائمة على الكتب مشاركة المتعلمين العملية والاستكشاف التفاعلي

دافع البحث

  • تؤدي طرق التدريس التقليدية "المنزوعة من الجسد" إلى صعوبات في الاحتفاظ بالذاكرة وفهم هيكلي أعمق
  • لا تزال الأنظمة المعتمدة على الألعاب الحالية (مثل "مصنع الأحرف الصينية") تركز على العرض الثابت، دون إقامة روابط ديناميكية بين هيكل الأحرف والثقافة التقليدية
  • بينما أحرزت بيئات التعلم الافتراضي تقدماً، إلا أنها لا تزال محدودة في نقل التراث الثقافي والتعقيد الهيكلي

المساهمات الأساسية

  1. استعارة تعليمية مبتكرة: أول تطبيق منهجي لمبادئ حرفة الترابط والتعشيش القديمة على تعلم أحرف الهانزي، مما يحول مكونات الأحرف المجردة إلى "جذور هيكلية" تفاعلية
  2. نظام واقع افتراضي متعدد الأنماط: يدمج التتبع المكاني PICO 6DoF وتحليل الشكل الصرفي بواسطة LLM والردود الحسية في بيئة تعلم واقع افتراضي شاملة
  3. الحماية الرقمية للتراث الثقافي: إعادة بناء حكمة الحرف التقليدية من خلال مفهوم "بناء الأحرف بالخشب"، مما يوفر مسارات جديدة لنقل التراث الثقافي غير المادي
  4. التعلم التعاوني متعدد المستخدمين: تحقيق تجارب واقع افتراضي تعاونية متعددة المستخدمين، مما يحول تعلم أحرف الهانزي إلى نشاط اجتماعي لنقل الثقافة

شرح المنهجية

تعريف المهمة

الإدخال: وصف صوتي من المستخدم (مثل "قطة لطيفة") الإخراج:

  • مكونات الترابط والتعشيش للحرف المقابل
  • توليد النموذج ثلاثي الأبعاد
  • التحقق من تجميع الحرف وتفعيله

القيود: يجب أن تتوافق مكونات الترابط والتعشيش مع مبادئ الحرف التقليدية، ويجب الحفاظ على دقة هيكل الحرف

معمارية النظام

1. تعيين المفاهيم الأساسية

  • ضربات الأحرف الصينية → مكونات الترابط والتعشيش: تعيين ضربات الأحرف الصينية إلى أجزاء الترابط والتعشيش، حيث يقوم المتعلمون بتجميع جذور الأحرف كما لو كانوا يبنون إطاراً خشبياً
  • المنطق الهيكلي → حكمة الحرف: الاستفادة من الدقة والوظيفية في حرفة الترابط والتعشيش، لتوفير استعارة ملموسة لذاكرة الأحرف المجردة

2. الإطار التقني

وحدة معالجة الصوت:

  • الاستفادة من التتبع المكاني PICO 6DoF لالتقاط الصوت والحركة
  • تحويل الصوت إلى نص واستخراج الأحرف الأساسية
  • بناء هندسة الفورمات بناءً على ChatGLM:
{
  "model": "glm-4-flash",
  "messages": [{
    "role": "user",
    "content": "استخرج الكائن الرئيسي الموصوف في الجملة، تجاهل الكلمات الوصفية مثل الألوان، يجب أن تكون النتيجة حرفاً واحداً"
  }]
}

تحليل الشكل الصرفي المدفوع بواسطة LLM:

  • توليد صور ثنائية الأبعاد ونماذج ثلاثية الأبعاد بناءً على إدخال المستخدم
  • استخدام CogView-4 لتوليد الصور:
{
  "model": "cogView-4-250304",
  "prompt": "خلفية بسيطة، بدون بيئة معقدة، خلفية بلون موحد، الموضوع واضح",
  "size": "512x512"
}

توليد النموذج ثلاثي الأبعاد:

  • استخدام واجهة Tripo لتحويل الصور إلى نماذج
  • تحميل وعرض النماذج من خلال مكون GltfAsset
  • يكون النموذج في البداية في حالة "غير مفعل"، ويتطلب الحصول على إذن التفعيل من خلال تجميع الأحرف

3. تصميم الفضاء الافتراضي

يقسم النظام الفضاء الافتراضي إلى ثلاث مناطق وظيفية:

  • منطقة الصوت (a): التعرف على الصوت واستخراج الكلمات الرئيسية وتوليد الصور
  • منطقة النموذج (b): النمذجة ثلاثية الأبعاد والعرض
  • منطقة الأحرف (c): تجميع الترابط والتعشيش والتعرف البصري على الأحرف

نقاط الابتكار التقني

1. آلية تعيين الترابط والتعشيش مع الأحرف الصينية

  • جدول التكافؤ (Equivalent Table): تحديد أرقام الأجزاء وتصنيفها إلى مجموعات متكافئة
  • جدول الوصفات (Recipe Table): تحديد ما إذا كان يمكن إقران جزأين بناءً على إمكانية إعادة استخدام الأجزاء
  • التحقق من التجميع الديناميكي: التعرف في الوقت الفعلي على عملية التجميع ومقارنتها مع الحرف الأساسي المستخرج

2. نظام التعاون متعدد المستخدمين

  • يتم تعيين المستخدم الأول الذي يسجل الدخول كصاحب الغرفة
  • يدخل المستخدمون الآخرون كعملاء من خلال استقبال وظيفة البث المتعدد للشبكة المدمجة
  • يدعم التعاون والتبادل الثقافي في الوقت الفعلي بين عدة مستخدمين

3. تصميم التفاعل

  • عصا التحكم في الواقع الافتراضي: الحركة والدوران
  • مفتاح الزناد: التفاعل مع واجهة المستخدم والعمليات ذات الصلة
  • مفتاح الإمساك: التقاط الأجزاء
  • الردود الحسية: محاكاة الإحساس الحسي لملامسة الخشب

إعداد التجربة

المشاركون

  • حجم العينة: 16 مشاركاً
  • طريقة التقسيم: تقسيمهم إلى 4 مجموعات، تخضع كل مجموعة لنفس الاختبار

تصميم التجربة

  • التجربة المقارنة: يستخدم المشاركون نظام HVRMT أولاً لتعلم أحرف الهانزي، ثم يستخدمون طرقاً أخرى لتعلم نفس الأحرف
  • أبعاد التقييم: الانغماس، الملاءمة، الاهتمام، كفاءة الحصول على المعلومات
  • معايير التقييم: مقياس ليكرت من 5 نقاط (1 = غير راضٍ جداً، 5 = راضٍ جداً)

مؤشرات التقييم

  • متوسط الرضا (AVG-SI): درجة الرضا الشاملة عن الأبعاد الأربعة
  • مقارنة تجربة المستخدم: مقارنة متعددة الأبعاد بين نظام HVRMT والطرق التقليدية

نتائج التجربة

النتائج الرئيسية

تُظهر نتائج البحث الذي أجري مع المستخدمين أن نظام HVRMT يؤدي بشكل جيد في جميع أبعاد التقييم الأربعة:

  • الانغماس: تعزز بيئة الواقع الافتراضي واستعارة الترابط والتعشيش بشكل كبير تجربة الانغماس في التعلم
  • الاهتمام: يعزز الجمع بين الحرف التقليدية والتكنولوجيا الحديثة متعة التعلم
  • الاحتفاظ بالذاكرة: يحسن التفاعل المجسد بشكل فعال معدل الاحتفاظ بالذاكرة
  • الفهم الثقافي: يعمق فهم المحتوى الثقافي الداخلي لأحرف الهانزي من خلال حرفة الترابط والتعشيش

التحقق من النظام

  • الجدوى التقنية: التنفيذ الناجح للوظائف الأساسية مثل التعرف على الصوت والنمذجة ثلاثية الأبعاد وتجميع الترابط والتعشيش
  • القيمة التعليمية: تحقق ردود فعل المستخدمين من فعالية النظام في تعلم أحرف الهانزي
  • تجربة متعددة المستخدمين: تعزز وظيفة التعاون التفاعل بين المستخدمين وتنوع تجربة التعلم

الأعمال ذات الصلة

تطبيقات LLM في تكنولوجيا التعليم

  • منصة LEAP: استخدم Steinert وآخرون LLM لتوليد تعليقات تكوينية لدعم التعلم الذاتي، لكن محدود بالتفاعل النصي
  • الابتكار في هذه الورقة: تطبيق LLM على فهم الصوت وتحليل الشكل الصرفي وتوليد نماذج التفاعل ثلاثية الأبعاد، مما يحقق جسراً بين فهم المعنى والتفاعل المجسد

الحماية الرقمية للتراث الثقافي

  • تدريس الترابط والتعشيش بالواقع المعزز: استخدم Lee (2019) الواقع المعزز لتدريس هيكل الترابط والتعشيش، لكن لم يقم بإقامة تعيين دلالي مع أحرف الهانزي
  • مجتمع الكتابة التعاونية: اقترح Yilmaz (2022) مفهوم التعاون السحابي، وتوسع هذه الورقة عليه إلى بيئة التفاعل متعددة المستخدمين في الواقع الافتراضي

الخلاصة والنقاش

الاستنتاجات الرئيسية

  1. نجح نظام HVRMT في دمج تعلم أحرف الهانزي مع حرفة الترابط والتعشيش، مما يوفر تجربة تعلم ثقافية مجسدة
  2. تعزز تقنية الواقع الافتراضي متعددة الأنماط بشكل فعال مستويات المشاركة والاحتفاظ بالذاكرة
  3. تعزز وظيفة التعاون متعددة المستخدمين التعلم الاجتماعي وتأثير نقل التراث الثقافي

القيود

  1. حجم العينة محدود: فقط 16 مشاركاً، يتطلب التحقق من التجارب على نطاق أوسع
  2. تغطية المحتوى: مكونات الترابط والتعشيش وأنواع الأحرف الحالية محدودة، تتطلب توسيع مكتبة المحتوى
  3. التأثيرات طويلة الأجل: نقص الدراسات التتبعية لتأثيرات التعلم طويلة الأجل
  4. الاعتماد التقني: يتطلب أجهزة واقع افتراضي متخصصة، قد يحد من التطبيق الواسع

الاتجاهات المستقبلية

  1. توسيع مكتبة المحتوى بمزيد من أحرف الهانزي وأنواع الترابط والتعشيش
  2. إجراء تجارب مشاركين على نطاق أوسع للتقييم
  3. دراسة التأثير طويل الأجل للنظام على اكتساب مهارات قراءة وكتابة أحرف الهانزي
  4. استكشاف إمكانيات الجمع بين الحرف التقليدية الأخرى وتعلم اللغات

التقييم المتعمق

المميزات

  1. الابتكار المفاهيمي: استعارة تعيين الترابط والتعشيش مع الأحرف الصينية مبتكرة للغاية، تحول التعلم المجرد إلى ملموس
  2. درجة التكامل التقني: التكامل الناجح للواقع الافتراضي و LLM والتعرف على الصوت والنمذجة ثلاثية الأبعاد وغيرها من التقنيات
  3. القيمة الثقافية: دمج حماية التراث الثقافي في تعلم اللغات له أهمية اجتماعية كبيرة
  4. تجربة المستخدم: توفر التفاعل متعدد الأنماط والوظائف التعاونية تجربة تعلم غنية

أوجه القصور

  1. حجم التجربة: حجم العينة البالغ 16 مشاركاً صغير نسبياً، مع قوة إحصائية محدودة
  2. التحليل الكمي: نقص مؤشرات تأثير التعلم الكمية المفصلة واختبارات الأهمية الإحصائية
  3. معايير المقارنة: عدم وضوح محتوى "الطرق الأخرى" المحددة، مما يؤثر على صحة المقارنة
  4. التفاصيل التقنية: وصف قواعد تعيين مكونات الترابط والتعشيش مع هيكل الأحرف غير كافٍ

التأثير

  1. المساهمة الأكاديمية: توفير أفكار جديدة لتعليم الواقع الافتراضي وحماية التراث الثقافي الرقمية
  2. القيمة العملية: قابلة للتطبيق في تدريس اللغة الصينية كلغة ثانية والتعليم الثقافي وغيرها من المجالات
  3. القابلية للتكرار: توفير معمارية النظام وتفاصيل التنفيذ، لكن يتطلب معايير تقنية أكثر
  4. القيمة عبر التخصصات: دمج HCI والتكنولوجيا التعليمية وحماية الثقافة وغيرها من المجالات

السيناريوهات المطبقة

  1. تدريس اللغة الصينية كلغة ثانية: توفير تجربة تعلم أحرف الهانزي الغامرة للمتعلمين الأجانب
  2. التعليم الثقافي: العروض التفاعلية في المتاحف ومراكز الثقافة
  3. تعليم الحرف التقليدية: نقل ورعاية حرفة الترابط والتعشيش الرقمية والتعليم
  4. بيئات التعلم التعاونية: دعم منصات التعلم اللغوي التعاونية عن بعد متعددة المستخدمين

المراجع

تستشهد الورقة بـ 10 مراجع ذات صلة، تغطي تطبيقات LLM التعليمية وحماية التراث الثقافي الرقمية وتصميم التفاعل في الواقع الافتراضي وغيرها من المجالات الرئيسية، مما يوفر أساساً نظرياً قوياً للبحث.

التقييم الإجمالي: هذه ورقة بحثية HCI مبتكرة وعملية، نجحت في دمج الثقافة التقليدية مع التكنولوجيا الحديثة، مما يوفر حلاً جديداً لتعلم اللغات ونقل التراث الثقافي. على الرغم من أنه يتطلب تحسينات في حجم التجربة والتحليل الكمي، إلا أن الابتكار المفاهيمي والتكامل التقني يستحقان الإشادة.