2025-11-16T07:07:12.103832

The Mechanistic Emergence of Symbol Grounding in Language Models

Wu, Ma, Luo et al.

Symbol grounding (Harnad, 1990) describes how symbols such as words acquire their meanings by connecting to real-world sensorimotor experiences. Recent work has shown preliminary evidence that grounding may emerge in (vision-)language models trained at scale without using explicit grounding objectives. Yet, the specific loci of this emergence and the mechanisms that drive it remain largely unexplored. To address this problem, we introduce a controlled evaluation framework that systematically traces how symbol grounding arises within the internal computations through mechanistic and causal analysis. Our findings show that grounding concentrates in middle-layer computations and is implemented through the aggregate mechanism, where attention heads aggregate the environmental ground to support the prediction of linguistic forms. This phenomenon replicates in multimodal dialogue and across architectures (Transformers and state-space models), but not in unidirectional LSTMs. Our results provide behavioral and mechanistic evidence that symbol grounding can emerge in language models, with practical implications for predicting and potentially controlling the reliability of generation.

academic

الظهور الآلي لتأسيس الرموز في نماذج اللغة

المعلومات الأساسية

معرّف الورقة: 2510.13796
العنوان: The Mechanistic Emergence of Symbol Grounding in Language Models
المؤلفون: Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai
التصنيف: cs.CL (اللسانيات الحاسوبية)، cs.CV (رؤية الحاسوب)
تاريخ النشر: 15 أكتوبر 2025 (نسخة arXiv المسبقة)
رابط الورقة: https://arxiv.org/abs/2510.13796

الملخص

يصف تأسيس الرموز (Symbol grounding) كيفية اكتساب الرموز (مثل المفردات) للمعنى من خلال ربطها بالخبرات الحسية الحركية في العالم الحقيقي. تشير الأبحاث الحديثة إلى أن القدرة على التأسيس قد تظهر بشكل تلقائي في نماذج اللغة (البصرية) المدربة على نطاق واسع، دون الحاجة إلى أهداف تأسيس صريحة. ومع ذلك، لا تزال الآليات المحددة والمحركات الكامنة وراء هذا الظهور غير مستكشفة بشكل أساسي. لمعالجة هذه المشكلة، تقدم هذه الورقة إطار تقييم محكوم يتتبع بشكل منهجي كيفية ظهور تأسيس الرموز في الحسابات الداخلية من خلال التحليل الآلي والسببي. تكتشف الدراسة أن التأسيس يتركز في الحسابات الوسيطة ويتحقق من خلال آلية التجميع، حيث تجمع رؤوس الانتباه السياق البيئي لدعم التنبؤ بالأشكال اللغوية. تم تكرار هذه الظاهرة في الحوار متعدد الأنماط وفي معماريات مختلفة (Transformers والنماذج ذات الفضاء الحالة)، لكنها لم تظهر في LSTM أحادي الاتجاه.

السياق البحثي والدافع

المشكلة الأساسية

تتمحور المشكلة الأساسية التي تعالجها هذه الدراسة حول: كيف يظهر تأسيس الرموز بشكل آلي في نماذج اللغة؟ وتشمل بشكل محدد:

متى وأين يظهر تأسيس الرموز أثناء التدريب؟
ما الآلية التي تحرك هذا الظهور؟
هل تتمتع هذه الآلية بالعمومية؟

أهمية المشكلة

تعتبر مسألة تأسيس الرموز من المسائل الأساسية في العلوم المعرفية والذكاء الاصطناعي. يعتبر فهم كيفية تعلم نماذج اللغة ربط الرموز المجردة بالعالم الحقيقي أمراً حاسماً لـ:

تحسين موثوقية النموذج وقابليته للتفسير
تقليل ظواهر الهلوسة
بناء أنظمة ذكاء اصطناعي متعددة الأنماط أفضل

قيود الطرق الموجودة

تعاني الأبحاث الموجودة من القيود التالية:

غياب التحليل الآلي: تركز معظم الدراسات على تحليل الارتباط في الأداء النهائية فقط، دون استكشاف الآليات الداخلية
إهمال ديناميكيات التدريب: غياب الدراسات المنهجية لمسار تطور قدرة التأسيس أثناء التدريب
تعريفات غامضة: معادلة التأسيس بالارتباط الإحصائي بين الإشارات البصرية والنصية، بعيداً عن التعريف الكلاسيكي لـ Harnad (1990) بشأن الربط السببي

نقاط الابتكار في البحث

تعالج هذه الورقة المشكلة من خلال بناء منصة اختبار مصغرة، باستخدام طرق التدخل السببي والتحليل الآلي لدراسة آليات ظهور تأسيس الرموز بشكل منهجي.

المساهمات الأساسية

بناء إطار تقييم محكوم: تصميم منصة اختبار بفصل رموز البيئة (⟨ENV⟩) ورموز اللغة (⟨LAN⟩)، مما يضمن أن المراسلات يجب أن تُكتسب من خلال التعلم
اكتشاف التطبيق الآلي للتأسيس: إثبات أن تأسيس الرموز يتحقق من خلال آلية التجميع في الطبقات الوسيطة
توفير أدلة عمومية عبر المعماريات: ملاحظة ظهور التأسيس في Transformers والنماذج ذات الفضاء الحالة، لكن ليس في LSTM أحادي الاتجاه
إنشاء طرق التحقق السببي: التحقق من خلال تجارب تدخل رؤوس الانتباه من الدور الحاسم لرؤوس التجميع في تأسيس الرموز
الكشف عن التعلم بما يتجاوز الإحصائيات المشتركة: إثبات أن علاقات التأسيس التي تعلمها النموذج لا يمكن تفسيرها بالكامل من خلال إحصائيات التزامن السطحية

شرح الطريقة

تعريف المهمة

الإدخال: تسلسل يحتوي على رموز البيئة (⟨ENV⟩) ورموز اللغة (⟨LAN⟩) الإخراج: التنبؤ برمز اللغة المقابل في سياق بيئي معين القيود: استخدام رموز البيئة واللغة فهارس مفردات مختلفة، يجب على النموذج تعلم المراسلات بينها

بناء مجموعة البيانات

1. الكلام الموجه للأطفال (CHILDES)

مصدر رموز البيئة: أوصاف البيئة، طبقات الإجراءات، تعليقات الحالة
مصدر رموز اللغة: نسخ الكلام الشفوي

مثال:

التدريب: ⟨CHI⟩ takes book⟨ENV⟩ from mother ⟨CHI⟩ what's that ⟨MOT⟩ a book⟨LAN⟩ in it
الاختبار: ⟨CHI⟩ asked for a new book⟨ENV⟩ ⟨CHI⟩ I love this [التنبؤ: book⟨LAN⟩]

2. حوار التأسيس بالترجمة (Visual Dialog)

رموز البيئة: تعليقات صور MSCOCO
رموز اللغة: أزواج الأسئلة والأجوبة متعددة الجولات

3. حوار التأسيس بالصور

رموز البيئة: تضمينات رقع الصور المستخرجة من DINOv2 ViT المجمد
رموز اللغة: نسخ الحوار

بروتوكول التقييم

مكسب معلومات التأسيس (Grounding Information Gain)

يُعرّف بأنه الفرق في الدهشة بين الشروط المتطابقة وغير المتطابقة:

$G_\theta(v) = \frac{1}{N}\sum_{n=1}^{N} \frac{1}{M}\sum_{u \neq v} [s_\theta(v^{\langle LAN \rangle} | c_n(u^{\langle ENV \rangle})) - s_\theta(v^{\langle LAN \rangle} | c_n(v^{\langle ENV \rangle}))]$

حيث $s_\theta(w|c) = -\log P_\theta(w|c)$ هي الدهشة.

طرق التحليل الآلي

1. تحليل تدفق الأهمية (Saliency Flow Analysis)

حساب مصفوفة الأهمية لكل طبقة: $I_\ell = |\sum_h A_{h,\ell} \odot \frac{\partial L}{\partial A_{h,\ell}}|$

2. اختبار العدسة المضبوطة (Tuned Lens Probing)

تدريب مسقط أفيني لتعيين التنشيطات الوسيطة إلى فضاء التنبؤ النهائي.

3. تجارب التدخل السببي

تحديد رؤوس التجميع: رؤوس الانتباه التي يتدفق فيها ما لا يقل عن 30% من الأهمية من رموز البيئة إلى موضع التنبؤ
طريقة التدخل: تعيين مخرجات رؤوس الانتباه المحددة إلى الصفر، ومراقبة التغيير في الأداء

إعداد التجارب

معماريات النموذج

Transformers: نماذج GPT-2 بـ 4 و 12 و 18 طبقة
نماذج الفضاء الحالة: نماذج Mamba-2 بـ 4 و 12 طبقة
نماذج المقارنة: LSTM أحادي الاتجاه بـ 4 طبقات
نماذج متعددة الأنماط: نماذج بصرية-لغوية قائمة على DINOv2

تفاصيل التدريب

التهيئة: تهيئة عشوائية (لضمان عدم وجود معرفة مسبقة)
دالة الهدف: نمذجة اللغة السببية القياسية
تكرار التجارب: 5 بذور عشوائية
نقاط التفتيش: أخذ عينات كثيفة من خطوات التدريب المبكرة

اختيار المفردات

اختيار 100 اسم عالي التكرار من مقياس MacArthur-Bates للتطور التواصلي، مع تكرار كل كلمة في شكل ⟨ENV⟩ و ⟨LAN⟩ في المدونة ≥100 مرة.

نتائج التجارب

النتائج الرئيسية

1. أدلة على المستوى السلوكي

Transformers و Mamba-2: انخفاض كبير في الدهشة في الشروط المتطابقة مقارنة بالشروط غير المتطابقة
LSTM: عدم وجود فرق معنوي في الدهشة بين الشرطين
الحوار البصري: ملاحظة تأثير التأسيس في إعدادات التأسيس بالترجمة والصور

2. تجاوز الإحصائيات المشتركة

ارتفاع مكسب معلومات التأسيس مقابل الإحصائيات المشتركة R² في بداية التدريب ثم انخفاض
يشير إلى أن علاقات التأسيس التي تعلمها النموذج تتجاوز التزامن الإحصائي البسيط

3. التحديد الآلي

التركيز على الطبقات الوسيطة: يظهر تأثير التأسيس بشكل أساسي في الطبقات 7-9
آلية التجميع: رؤوس انتباه محددة تطبق تجميع المعلومات من رموز البيئة إلى رموز اللغة

نتائج التحقق السببي

نقطة التفتيش	عدد رؤوس التجميع	متوسط الطبقة	دهشة التدخل	دهشة التحكم	الدهشة الأصلية
5000	2.28	7.38	6.51***	6.39	6.38
10000	5.09	7.28	5.86***	5.29	5.30
20000	6.71	7.52	5.62***	4.76	4.77

***يشير إلى فرق معنوي عند p < 0.001

التعميم عبر الأنماط

تم اكتشاف أنماط رؤوس انتباه تجميع مماثلة في نماذج لغة بصرية كبيرة مثل LLaVA-1.5-7B، مما يثبت عمومية النتائج.

الأعمال ذات الصلة

أبحاث تأسيس اللغة

الأعمال المبكرة: التركيز على آليات تعلم تعيين المفردات والرموز
التأسيس البصري: من فئات الأشياء إلى التأسيس الدقيق على مستوى البكسل
نماذج اللغة البصرية الحديثة: التأسيس على مستوى المناطق والبكسل تحت الإشراف المقترن على نطاق واسع

أبحاث القدرات الناشئة

تأثيرات الحجم: الجدل حول القدرات المفاجئة في النماذج الكبيرة
التحليل التطوري: الدراسة المنهجية لاكتساب القدرات أثناء تدريب النموذج
المنظور النفسي: الدراسات المقارنة بين تعلم الآلة والبشر للغة

قابلية التفسير الآلية

تحليل رؤوس الانتباه: اكتشاف رؤوس متخصصة مثل رؤوس الاستقراء والاسترجاع
تحليل الدوائر: الآليات الداخلية لمهام مثل استدعاء الحقائق والتعلم في السياق
آليات التجميع: آليات التنسيق بين جمع المعلومات والتجميع

الخلاصة والنقاش

الاستنتاجات الرئيسية

يمكن لتأسيس الرموز أن يظهر بشكل تلقائي في نماذج اللغة دون إشراف صريح
آلية التجميع في الطبقات الوسيطة هي المفتاح لتحقيق التأسيس، حيث تتولى رؤوس انتباه محددة تجميع المعلومات
الاعتماد على المعمارية: تدعم Transformers و SSM ظهور التأسيس، لكن LSTM لا تدعمه
تجاوز الإحصائيات السطحية: تتمتع علاقات التأسيس التي تعلمها النموذج بخصائص دلالية عميقة

المساهمات النظرية

إعادة فحص الجذور الفلسفية لتأسيس الرموز، وتوفير أدلة آلية من الارتباط إلى السببية، والطعن في وجهة النظر القائلة بأن "الأنظمة الاتصالية تفتقر إلى البنية الرمزية الجوهرية".

القيمة التطبيقية

كشف الهلوسة: التنبؤ بموثوقية النموذج من خلال مراقبة نشاط رؤوس التجميع
التحكم في الانتباه: توفير استراتيجيات وقت فك التشفير لتخفيف الهلوسة
تصميم النموذج: توفير إرشادات لبناء أنظمة متعددة الأنماط أكثر موثوقية

القيود

قيود الحجم: لا تزال الكشف والتدخل المنهجي لرؤوس التجميع في نماذج اللغة البصرية الكبيرة يشكل تحدياً
التعقيد الحسابي: يزيد العدد الكبير من رموز البصرية من تعقيد التحليل بشكل كبير
العمومية: الحاجة إلى التحقق من النتائج في مزيد من المهام والمجالات

الاتجاهات المستقبلية

تطوير طرق الكشف التلقائي لرؤوس التجميع في نماذج اللغة البصرية الكبيرة
تصميم مخططات تدخل سببي قابلة للحساب
استكشاف دور آليات التأسيس في القدرات المعرفية الأخرى

التقييم المتعمق

المزايا

قوة الابتكار المنهجي: تصميم التجارب بفصل رموز البيئة واللغة ذكي، مما يضمن صحة الاستدلال السببي
عمق التحليل كافٍ: تحليل متعدد المستويات من السلوك إلى الآلية، يوفر سلسلة أدلة كاملة
التحقق عبر المعماريات: التحقق من النتائج في معماريات نماذج متعددة، مما يعزز عمومية الاستنتاجات
صرامة التحقق السببي: توفير أدلة سببية قوية من خلال تجارب التدخل

أوجه القصور

نطاق المفردات محدود: يقتصر على 100 اسم فقط، قد لا يكون كافياً لتمثيل الظواهر اللغوية الكاملة
تبسيط المهمة: المهام التجريبية نسبياً بسيطة، مع وجود فجوة عن فهم اللغة الحقيقي
التحقق على نطاق واسع غير كافٍ: التحقق محدود على النماذج الكبيرة حقاً

تقييم التأثير

القيمة الأكاديمية: توفير منظور آلي جديد لأبحاث تأسيس الرموز
القيمة العملية: توفير مسار تقني محدد لتحسين موثوقية النموذج
قابلية الاستنساخ: توفير تفاصيل تطبيق شاملة وروابط الأكواد

السيناريوهات القابلة للتطبيق

تحليل قابلية التفسير في أنظمة الذكاء الاصطناعي متعددة الأنماط
كشف وتخفيف هلوسة نماذج اللغة
النمذجة الحسابية لآليات تأسيس الرموز في العلوم المعرفية
أبحاث تعلم المفاهيم في الذكاء الاصطناعي التعليمي

المراجع

Harnad, S. (1990). The symbol grounding problem. Physica D, 42(1-3), 335-346.
Bick, A., Xing, E. P., & Gu, A. (2025). Understanding the skill gap in recurrent models: The role of the gather-and-aggregate mechanism.
Wang, L., et al. (2023). Label words are anchors: An information flow perspective for understanding in-context learning.
Belrose, N., et al. (2023). Eliciting latent predictions from transformers with the tuned lens.

تساهم هذه الورقة من خلال تصميم تجريبي صارم وتحليل آلي عميق في توفير مساهمة مهمة لفهم آليات ظهور تأسيس الرموز في نماذج اللغة. لا تقتصر النتائج على القيمة النظرية فحسب، بل توفر أيضاً إرشادات عملية لبناء أنظمة ذكاء اصطناعي أكثر موثوقية.