2025-11-10T02:37:56.044553

Joint Modeling of Big Five and HEXACO for Multimodal Apparent Personality-trait Recognition

Masumura, Orihashi, Ihori et al.

This paper proposes a joint modeling method of the Big Five, which has long been studied, and HEXACO, which has recently attracted attention in psychology, for automatically recognizing apparent personality traits from multimodal human behavior. Most previous studies have used the Big Five for multimodal apparent personality-trait recognition. However, no study has focused on apparent HEXACO which can evaluate an Honesty-Humility trait related to displaced aggression and vengefulness, social-dominance orientation, etc. In addition, the relationships between the Big Five and HEXACO when modeled by machine learning have not been clarified. We expect awareness of multimodal human behavior to improve by considering these relationships. The key advance of our proposed method is to optimize jointly recognizing the Big Five and HEXACO. Experiments using a self-introduction video dataset demonstrate that the proposed method can effectively recognize the Big Five and HEXACO.

academic

النمذجة المشتركة للنموذج الخماسي الكبير وHEXACO للتعرف على سمات الشخصية الظاهرة متعددة الأنماط

المعلومات الأساسية

معرّف الورقة: 2510.14203
العنوان: النمذجة المشتركة للنموذج الخماسي الكبير وHEXACO للتعرف على سمات الشخصية الظاهرة متعددة الأنماط
المؤلفون: Ryo Masumura, Shota Orihashi, Mana Ihori, Tomohiro Tanaka, Naoki Makishima, Taiga Yamane, Naotaka Kawata, Satoshi Suzuki, Taichi Katayama (شركة NTT، اليابان)
التصنيف: cs.CV cs.CL cs.MM
تاريخ النشر: 16 أكتوبر 2025
رابط الورقة: https://arxiv.org/abs/2510.14203

الملخص

تقترح هذه الورقة منهجية نمذجة مشتركة تجمع بين سمات الشخصية الخماسية الكبيرة (Big Five) المدروسة على نطاق واسع وسمات الشخصية HEXACO التي حظيت باهتمام متزايد في علم النفس، للتعرف التلقائي على سمات الشخصية الظاهرة من السلوك البشري متعدد الأنماط. ركزت الدراسات السابقة بشكل أساسي على النموذج الخماسي الكبير في التعرف على سمات الشخصية الظاهرة متعددة الأنماط، دون الاهتمام بـ HEXACO الظاهر، بينما يمكن لـ HEXACO تقييم سمة الصدق والتواضع المرتبطة بالعدوانية المزاحة والنزعة الانتقامية والاتجاه نحو الهيمنة الاجتماعية. علاوة على ذلك، لم تُوضح العلاقة بين النموذج الخماسي الكبير وHEXACO في نمذجة التعلم الآلي. من خلال الأخذ في الاعتبار هذه العلاقات، يتوقع المؤلفون تحسين القدرة على إدراك السلوك البشري متعدد الأنماط.

خلفية البحث والدافع

تعريف المشكلة

المشكلة الأساسية: تركز الدراسات الحالية للتعرف على سمات الشخصية متعددة الأنماط بشكل أساسي على النموذج الخماسي الكبير، مع افتقار واضح للاهتمام بـ HEXACO (خاصة بُعد الصدق والتواضع)
الأهمية: سمة الصدق والتواضع في HEXACO ترتبط ارتباطاً سلبياً قوياً بالعدوانية المزاحة والنزعة الانتقامية والاتجاه نحو الهيمنة الاجتماعية والسلوك غير الأخلاقي في مكان العمل، مما يحمل أهمية نفسية كبيرة
القيود الموجودة:
- نقص الدراسات البحثية حول التعرف على سمات HEXACO الظاهرة متعددة الأنماط
- لم يتم استكشاف العلاقة بين النموذج الخماسي الكبير وHEXACO بشكل كافٍ في نمذجة التعلم الآلي
- تم تصميم مجموعات البيانات الموجودة بشكل أساسي للنموذج الخماسي الكبير

دافع البحث

تحسين قوة ودقة التعرف على سمات الشخصية متعددة الأنماط من خلال النمذجة المشتركة للنموذج الخماسي الكبير وHEXACO، مع الاستفادة من العلاقات النفسية بين الإطارين.

المساهمات الأساسية

أول دراسة: أول بحث يتناول التعرف على سمات الشخصية HEXACO الظاهرة متعددة الأنماط
منهجية النمذجة المشتركة: اقتراح منهجية نمذجة مشتركة للنموذج الخماسي الكبير وHEXACO، مما يحسّن أداء الإطارين
استكشاف العلاقات: أول دراسة تبحث عن العلاقة بين النموذج الخماسي الكبير وسمات الشخصية الأخرى (HEXACO) في التعرف على سمات الشخصية الظاهرة متعددة الأنماط
مساهمة مجموعة البيانات: بناء مجموعة بيانات لمقاطع فيديو التعريف الذاتي مع تعليقات توضيحية متزامنة لسمات النموذج الخماسي الكبير وHEXACO

شرح المنهجية

تعريف المهمة

بالنظر إلى مدخلات الفيديو الصوتي-البصري، يتم تقدير درجات النموذج الخماسي الكبير بشكل مشترك $\hat{y} = [\hat{y}_1, \cdots, \hat{y}_5]^⊤$ ودرجات HEXACO $\hat{z} = [\hat{z}_1, \cdots, \hat{z}_6]^⊤$ :

$\{\hat{y}, \hat{z}\} = F(S, U; \Theta)$

حيث $S$ هي الميزات الصوتية، و $U$ هي الميزات البصرية، و $\Theta$ هي مجموعة المعاملات القابلة للتدريب.

معمارية النموذج

معمارية محول متعدد الأنماط

يتضمن النموذج أربعة مشفرات: مشفر صوتي، ومشفر نصي، ومشفر بصري، ومشفر متعدد الأنماط.

ترميز الميزات:
- المشفر الصوتي: $S \rightarrow A$ (التمثيل الصوتي)
- المشفر النصي: $W \rightarrow T$ (التمثيل النصي، الذي يتم الحصول عليه من خلال التعرف على الكلام التلقائي)
- المشفر البصري: $U \rightarrow V$ (التمثيل البصري)

الدمج متعدد الأنماط:

H₀ = TemporalConcat(A,T,V)  # التسلسل الزمني
H'₀ = AddSegment(H₀; θ_segment)  # إضافة معلومات تقسيم الأنماط
H = TransformerEnc(H'₀; θ_multi)  # ترميز المحول

تجميع الانتباه:
```
h = AttentivePooling(H; θ_pool)
```

رأس التنبؤ المشترك:

ẑ = Sigmoid(h; θᶻ_head)  # تنبؤ HEXACO
ŷ = Sigmoid(h; θʸ_head)  # تنبؤ النموذج الخماسي الكبير

استراتيجية التدريب

استخدام خسارة متوسط الخطأ المطلق للتدريب المشترك:

$L = \frac{1}{|D|}\sum_{d=1}^{|D|}|\hat{y}_d - y_d| + \frac{1}{|D|}\sum_{d=1}^{|D|}|\hat{z}_d - z_d|$

نقاط الابتكار التقني

التحسين المشترك: تحسين التعرف على النموذج الخماسي الكبير وHEXACO بشكل متزامن، مع الاستفادة من العلاقات النفسية لتحسين الأداء
دمج متعدد الأنماط: استخدام معمارية محول مدربة مسبقاً لمعالجة المعلومات الصوتية والبصرية والنصية
نمذجة العلاقات: تعلم العلاقات الكامنة بين النموذج الخماسي الكبير وHEXACO من خلال تعلم التمثيل المشترك

إعداد التجارب

مجموعة البيانات

الحجم: 10,100 مقطع فيديو للتعريف الذاتي، 1,010 مشارك
التعليقات التوضيحية: 200 مراقب يستخدمون استبيان النموذج الخماسي الكبير المكون من 50 بند واستبيان HEXACO المكون من 60 بند
التقسيم:
- مجموعة التدريب: 9,030 مقطع فيديو (903 مشارك)
- مجموعة التحقق: 500 مقطع فيديو (50 مشارك)
- مجموعة الاختبار: 570 مقطع فيديو (57 مشارك)
ميزات الفيديو: متوسط المدة 73.6 ثانية، دقة 1280×720، 25 إطار في الثانية

مقاييس التقييم

معامل ارتباط بيرسون: قياس الارتباط الخطي بين القيم المتنبأ بها والقيم الحقيقية
الدقة: باستخدام طريقة حساب تحدي ChaLearn للانطباع الأول: $\text{Accuracy}^k = 1 - \frac{1}{D}\sum_{d=1}^{D}|\hat{y}_d^k - y_d^k|$

طرق المقارنة

نموذج متخصص للنموذج الخماسي الكبير
نموذج متخصص لـ HEXACO
النموذج المشترك (الطريقة المقترحة)

تفاصيل التنفيذ

الميزات الصوتية: 80 بُعد لمعاملات مرشح Mel اللوغاريتمي، تحول 10 ميلي ثانية
الميزات البصرية: كشف الوجه باستخدام CenterNet، قص 128×128، أخذ عينات بمعدل 3 إطارات في الثانية
التدريب المسبق: مشفر صوتي (20 ألف ساعة من الكلام الياباني)، مشفر نصي (100 مليار رمز)، مشفر بصري (RAF-DB و AffectNet)
التدريب: حجم الدفعة 8، dropout 0.1، محسّن RAdam، معالج رسومات NVIDIA A6000

نتائج التجارب

النتائج الرئيسية

أداء التعرف على النموذج الخماسي الكبير

مزيج الأنماط	الانفتاح	الضمير	الانبساطية	القبول	العصابية
صوتي (مشترك)	0.542/94.4	0.614/93.3	0.707/91.6	0.576/93.4	0.530/93.8
صوتي+بصري+نصي (مشترك)	0.595/94.8	0.686/93.9	0.757/92.6	0.657/94.0	0.586/94.2
التقييم البشري	0.544/92.9	0.668/92.7	0.770/91.7	0.645/92.4	0.532/92.1

أداء التعرف على HEXACO

مزيج الأنماط	الصدق والتواضع	الانفعالية	الانبساطية	القبول	الضمير	الانفتاح
صوتي (مشترك)	0.482/95.2	0.639/95.6	0.660/92.9	0.469/94.0	0.549/94.1	0.454/93.7
صوتي+بصري+نصي (مشترك)	0.504/95.2	0.645/95.6	0.707/93.2	0.576/94.3	0.579/94.2	0.608/94.4

الاكتشافات الرئيسية

مزايا النمذجة المشتركة: يتفوق النموذج المشترك على النماذج المتخصصة في معظم الحالات
مساهمة الأنماط: الميزات الصوتية الأكثر فعالية، والميزات البصرية فعالة نسبياً في التعرف على القبول
مقارنة الأداء: يقترب الأداء التلقائي من مستوى التقييم البشري

تحليل الارتباط بين النموذج الخماسي الكبير وHEXACO

تظهر نتائج التجارب أن أنماط الارتباط المتعلمة بواسطة النموذج المشترك تتوافق بشكل أساسي مع التوقعات النفسية، لكن الارتباط يتم التقاطه بشكل مفرط في بعض السمات، مما يشير إلى أن النموذج، على الرغم من تحقيقه أداء تعرف على مستوى بشري، لم يتمكن من تكرار طريقة إدراك الانطباع البشري بشكل كامل.

الأعمال ذات الصلة

التعرف على سمات الشخصية متعددة الأنماط

ركزت الدراسات المبكرة على الميزات اليدوية
تم تطبيق طرق التعلم العميق على نطاق واسع في الآونة الأخيرة، مثل شبكات البقايا العميقة والطرق من النهاية إلى النهاية
ركزت معظم الدراسات على إطار النموذج الخماسي الكبير

بحث HEXACO

يعتبر HEXACO إطاراً بديلاً للنموذج الخماسي الكبير، ويتضمن ستة أبعاد
يرتبط بُعد الصدق والتواضع ارتباطاً سلبياً بعوامل السلوك السلبي المتعددة
كانت هناك دراسة واحدة فقط سابقة تستنتج سمات HEXACO المُبلغ عنها ذاتياً من نصوص وسائل التواصل الاجتماعي

الخلاصة والنقاش

الاستنتاجات الرئيسية

يمكن للنمذجة المشتركة للنموذج الخماسي الكبير وHEXACO تحسين أداء الإطارين بشكل فعال
دمج المعلومات متعددة الأنماط ضروري للتعرف على سمات الشخصية
يمكن للأداء التلقائي أن تصل إلى مستوى التقييم البشري

القيود

انحياز الارتباط: يقوم النموذج بالتقاط الارتباط بين النموذج الخماسي الكبير وHEXACO بشكل مفرط، دون تكرار كامل لنمط إدراك الإنسان
قيود البيانات: تحتوي مجموعة البيانات فقط على مقاطع فيديو للتعريف الذاتي باللغة اليابانية، وتحتاج قابلية التعميم إلى التحقق
الاختلافات الثقافية: لم يتم الأخذ في الاعتبار الاختلافات في التعبير عن سمات الشخصية في السياقات الثقافية المختلفة

الاتجاهات المستقبلية

تحسين النموذج لتكرار أفضل لإدراك الإنسان لارتباط النموذج الخماسي الكبير وHEXACO
التوسع إلى لغات وخلفيات ثقافية أكثر
استكشاف النمذجة المشتركة لأطر الشخصية الأخرى

التقييم المتعمق

المزايا

ابتكار قوي: أول إدراج لـ HEXACO في التعرف على سمات الشخصية متعددة الأنماط، ملء فجوة بحثية
منهجية معقولة: فكرة النمذجة المشتركة تتوافق مع النظرية النفسية، والتنفيذ التقني سليم
تجارب شاملة: بناء مجموعة بيانات كبيرة مع تعليقات توضيحية، إعداد تجريبي معقول، نتائج مقنعة
قيمة عملية: تحقيق مستوى التقييم البشري، مع إمكانية تطبيق عملي

أوجه القصور

عمق نظري: نقص التحليل النظري العميق لنمذجة التعلم الآلي للعلاقة بين النموذج الخماسي الكبير وHEXACO
قابلية التعميم: التحقق فقط على البيانات اليابانية، قابلية التعميم عبر اللغات والثقافات غير معروفة
القابلية للتفسير: قابلية تفسير النموذج محدودة، يصعب فهم آليات القرار المحددة

التأثير

المساهمة الأكاديمية: فتح اتجاه جديد للحوسبة الشخصية متعددة الأنماط، تعزيز البحث متعدد التخصصات
القيمة العملية: يمكن تطبيقها في الموارد البشرية والتعليم والصحة النفسية وغيرها
مساهمة البيانات: توفر مجموعة البيانات ذات التعليقات التوضيحية المزدوجة قيمة مهمة للبحث اللاحق

السيناريوهات القابلة للتطبيق

الموارد البشرية: تقييم الشخصية في مقابلات التوظيف
المجال التعليمي: التدريس الشخصي للطلاب ومراقبة الصحة النفسية
وسائل التواصل الاجتماعي: ملف تعريف المستخدم وتوصيات المحتوى
الصحة النفسية: المساعدة في التشخيص النفسي والعلاج

المراجع

تستشهد الورقة بـ 36 مرجعاً ذا صلة، تغطي نظرية علم النفس الشخصي والتعلم متعدد الأنماط والتعلم العميق وغيرها من المجالات المهمة، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الشامل: هذه ورقة بحثية عالية الجودة متعددة التخصصات، ذات أهمية رائدة في مجال الحوسبة الشخصية متعددة الأنماط. على الرغم من وجود مجال للتحسن في العمق النظري وقابلية التعميم، فإن ابتكاريتها وقيمتها العملية تجعلها مساهمة مهمة في هذا المجال.