2025-11-22T07:58:16.571206

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

Pai, Wang, Lu et al.
Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
academic

BILLY: توجيه نماذج اللغة الكبيرة عبر دمج متجهات الشخصية للإنشاء الإبداعي

المعلومات الأساسية

  • معرّف الورقة: 2510.10157
  • العنوان: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
  • المؤلفون: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang
  • التصنيف: cs.CL cs.AI
  • تاريخ النشر: 11 أكتوبر 2025 (نسخة أولية من arXiv)
  • رابط الورقة: https://arxiv.org/abs/2510.10157v1

الملخص

تعزز أنظمة النماذج المتعددة الإبداع في نماذج اللغة الكبيرة من خلال محاكاة الحكمة الجماعية البشرية، لكنها تعاني من تكاليف حسابية عالية وتأخير استدلالي كبير. لحل هذه القيود، تقترح هذه الورقة BILLY (دمج متجهات الشخصية لإبداعية نموذج اللغة الكبيرة)، وهو إطار عمل خالٍ من التدريب يمكنه التقاط مزايا التعاون متعدد النماذج داخل نموذج واحد، أي إدخال وجهات نظر متنوعة والخبرة المتخصصة. يعمل BILLY من خلال استخراج ودمج متجهات شخصية متعددة مختلفة في فضاء التنشيط النموذجي، باستخدام المتجه المدمج في وقت الاستدلال لتوجيه عملية الإنشاء، مما يحقق مخرجات متعددة الآفاق دون الحاجة إلى اتصال صريح بين نماذج متعددة.

السياق البحثي والدافع

المشاكل الأساسية

  1. العبء الحسابي لأنظمة النماذج المتعددة: على الرغم من أن أطر العمل التعاونية متعددة النماذج التقليدية تعزز الإبداع، إلا أنها تعاني من تكاليف حسابية عالية ومشاكل تأخير الاستدلال
  2. قيود طرق الطلب الفردية: محاولة جعل النموذج يتبنى أدوار وجهات نظر متعددة في نفس الوقت من خلال الطلب وحده يواجه صعوبات في التكامل
  3. المقارنة بين الكفاءة والإبداع: كيفية تقليل النفقات الحسابية بشكل كبير مع الحفاظ على مزايا الإبداع

أهمية البحث

يُعترف على نطاق واسع بأن الإبداع هو حجر الأساس للتقدم البشري، مما يدفع الابتكار في جميع المجالات. تستكشف الأبحاث الحديثة إبداعية نماذج اللغة الكبيرة، معتبرة إياها أداة واعدة لتطبيقات مثل كتابة القصص والتصميم الفكري واكتشاف العلوم. يحاكي نموذج النماذج المتعددة الحكمة الجماعية البشرية، مما يسمح بنقاش تكراري بين نماذج متعددة للحصول على حلول أكثر شمولاً.

قيود الطرق الموجودة

  1. أطر العمل متعددة النماذج: تكاليف حسابية عالية، وقت استدلال طويل، وخسارة عملية (process loss)
  2. طرق الطلب الفردية: تعتمد على قدرة النموذج على دمج أدوار متعددة، وقد يعالج النموذج في الواقع كل شخصية بشكل منفصل لكن يصعب دمجها بشكل متماسك

المساهمات الأساسية

  1. اقتراح إطار عمل BILLY: إطار عمل خالٍ من التدريب لدمج متجهات الشخصية يمكنه تحقيق استجابات إبداعية متعددة الآفاق داخل نموذج لغة كبير واحد
  2. الكفاءة والبساطة: خالٍ تماماً من التدريب، لا يتطلب ضبطاً إضافياً أو اتصالاً بين نماذج متعددة، مما يقلل بشكل كبير من التكاليف الحسابية والرموز
  3. آلية قابلة للتفسير: التشغيل المباشر في فضاء التنشيط الكامن، مما يوفر آلية تحكم إبداعية قابلة للتفسير
  4. تحسن الأداء: يتفوق على الطلب بنموذج واحد والطرق التقليدية متعددة النماذج في معايير موجهة نحو الإبداع

شرح الطريقة

تعريف المهمة

بالنظر إلى مدخل مهمة إبداعية، يهدف BILLY إلى إنشاء مخرجات إبداعية تدمج وجهات نظر متخصصة متعددة (مثل البيئيين والمهنيين الإبداعيين والمستقبليين)، مع تجنب النفقات الحسابية لأنظمة النماذج المتعددة.

معمارية النموذج

1. استخراج متجه الشخصية (التنشيط المتناقض)

بالنسبة للشخصية P، يتم استخراج متجه الشخصية من خلال طريقة متناقضة:

v⃗(l)_P = (1/|D+_P|) ∑(x∈D+_P) a⃗(l)(x) - (1/|D-_P|) ∑(x∈D-_P) a⃗(l)(x)

حيث:

  • D+_P: مجموعة الاستجابات التي تعرض خصائص هذه الشخصية
  • D-_P: مجموعة الاستجابات الأساسية التي تفتقر إلى هذه الميزة
  • a⃗(l)(x): متوسط تنشيط تدفق البقايا في الطبقة l

2. الدمج غير المتصل (Offline Fusion)

دمج N متجه شخصية في متجه مركب واحد:

v⃗(l)_merged = (1/N) ∑(i=1 to N) v⃗(l)_i

3. التوجيه في وقت الاستدلال (Inference-time Steering)

تعديل التنشيطات في وقت الاستدلال:

a⃗(l)_steered = a⃗(l)_original + α · v⃗(l)_merged

حيث α هو معامل التحجيم، وتم اختيار الطبقة 20 للتوجيه في التجارب.

نقاط الابتكار التقني

  1. تشغيل فضاء التنشيط: التشغيل المباشر على مستوى التمثيل الداخلي للنموذج، وليس الاعتماد على هندسة الطلب الخارجية
  2. استراتيجية دمج المتجهات: دمج متجهات شخصية متعددة من خلال المتوسط البسيط، مما يحقق مجموعات شخصية معقدة
  3. تصميم خالٍ من التدريب: إضافة المتجه فقط في وقت الاستدلال، دون تغيير أوزان النموذج
  4. قابلية إعادة الاستخدام: يتم استخراج متجهات الشخصية مرة واحدة ويمكن استخدامها عدة مرات، مما يطفئ التكلفة

إعداد التجارب

مجموعات البيانات

معايير موسعة بناءً على اختبار الإبداع Wallach-Kogan، محسّنة باستخدام GPT-4 بواسطة Lu وآخرون:

  1. AUT: يتطلب توفير استخدامات عملية مبتكرة للأشياء اليومية
  2. INSTANCES: إدراج الأشياء وفقاً لمعايير محددة
  3. SIMILARITIES: تحديد الاتصالات أو التشابهات بين الأشياء
  4. SCIENTIFIC: إنتاج حلول إبداعية لمشاكل علمية

مؤشرات التقييم

استخدام مؤشرين أساسيين من اختبار Torrance للتفكير الإبداعي (TTCT):

  1. الأصالة (Originality): تقييم الندرة الإحصائية أو عدم التقليدية للاستجابة
  2. التفصيل (Elaboration): قياس مستوى التفاصيل ومعلومات الدعم في الاستجابة

استخدام GPT-4o-mini كمقيّم LLM، بمعيار تصنيف من 1-5.

طرق المقارنة

  1. وكيل واحد (SA): استجابة إبداعية من نموذج لغة كبير واحد (درجة حرارة 0.7)
  2. SA (T=1.0): وكيل واحد بفك تشفير درجة حرارة عالية (درجة حرارة 1.0)
  3. SA-MRP: وكيل واحد بطلب أدوار متعددة
  4. نقاش LLM: إطار عمل متعدد النماذج، عملية نقاش منظمة ثلاثية المراحل

تفاصيل التنفيذ

  • النموذج الأساسي: Qwen-2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-4B-it
  • طبقة التوجيه: الطبقة 20
  • متجهات الشخصية: البيئيون، المهنيون الإبداعيون، المستقبليون، المفكرون التحليليون، وغيرهم
  • التقييم: 100 استعلام لكل معيار، حساب المتوسط والانحراف المعياري

نتائج التجارب

النتائج الرئيسية

على أربعة معايير إبداعية، يتفوق BILLY باستمرار على جميع الطرق الأساسية في مؤشر الأصالة:

درجات أصالة مهمة AUT:

  • Qwen-2.5-7B: BILLY (4.71) > نقاش LLM (4.24) > SA-MRP (4.07) > SA (4.03)
  • Llama-3.1-8B: BILLY (4.38) > نقاش LLM (4.21) > SA-MRP (4.05) > SA (3.73)
  • Gemma-3-4B: BILLY (4.99) > SA-MRP (4.96) > SA (4.79) > نقاش LLM (3.70)

مقارنة الكفاءة:

  • تأخير الاستدلال: BILLY (19 ثانية) مقابل نقاش LLM (513 ثانية)، أسرع بحوالي 25 مرة
  • تكلفة الرموز: BILLY يقلل استخدام الرموز بأكثر من 95%
  • التكلفة لكل 10000 استعلام: BILLY (0.30)مقابلنقاشLLM(0.30) مقابل نقاش LLM (25.50)

تجارب الاستئصال

تحليل مجموعة متجهات الشخصية:

  • متجه المهني الإبداعي الفردي يُظهر بالفعل أداء إبداعية ممتازة
  • الزيادة من متجه واحد إلى ثلاثة متجهات تُظهر تحسناً كبيراً
  • الزيادة الإضافية من 4-7 متجهات لا تُظهر فائدة إضافية كبيرة

تحليل الحالات

باستخدام مثال مهمة "إعادة تصميم المستشفى":

  • متجه البيئي: ينتج مخططات عملية (مثل حدائق المجتمع)
  • متجه المهني الإبداعي: ينتج مصطلحات غنية فنياً (مثل أنظمة بيئية حيوية مضيئة)
  • المتجه المدمج: دمج مفهومي حقيقي، يحافظ على المفاهيم الأساسية للبيئي لكن يعيد تأطيرها بأسلوب بصري للمهني الإبداعي

تحليل الإسقاط النشط

من خلال تحليل إسقاط التغييرات في التنشيط على متجهات الشخصية:

  1. قيود طريقة الطلب: طلب أدوار متعددة يكون موجباً على vCRE لكن سالباً على vENV، مما يشير إلى عدم القدرة على استحثاث جميع الشخصيات المتوقعة بشكل متسق
  2. مزايا BILLY: يحافظ على إسقاط موجب على كل من vCRE و vENV، مما ينجح في تنشيط شخصيات متعددة بشكل مشترك
  3. فعالية دمج المتجهات: يتحكم المتجه الفردي بدقة في المفاهيم الدلالية المقابلة، ويحقق المتجه المدمج تفاعلات معقدة

الأعمال ذات الصلة

تعزيز إبداعية نماذج اللغة الكبيرة

  1. طلب تمثيل الأدوار: توجيه النموذج لتبني شخصيات إبداعية محددة
  2. أطر عمل التعاون متعدد الوكلاء: وكلاء متعددون يحاكون جلسات العصف الذهني
  3. المراجعة الشاملة: مراجعة شاملة لاتجاهات البحث في الإبداع

التعاون متعدد النماذج

  1. أطر الحوار المنظمة: مثل تطبيقات الجيل التالي من AutoGen
  2. حوار تمثيل الأدوار: نقاش LLM و HOLLMWOOD
  3. القيود: تكاليف حسابية عالية، عدم استقرار، كفاءة منخفضة

تقنيات التوجيه النشط

  1. التحكم السلوكي: التأثير على سلوك النموذج من خلال تعديل التنشيطات الداخلية
  2. الطريقة المتناقضة: حساب متجهات التوجيه باستخدام الفروقات في التنشيط
  3. مجالات التطبيق: تعزيز الحقيقية، تحسينات الأمان، التحكم في الشخصية

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. ينجح BILLY في التقاط مزايا الإبداع للتعاون متعدد النماذج داخل نموذج واحد
  2. يقلل بشكل كبير من وقت الاستدلال والتكاليف الحسابية، مع الحفاظ على أو تجاوز أداء الإبداع
  3. يوفر التوجيه النشط تحكماً وقابلية تفسير أفضل من طلب أدوار متعددة

القيود

  1. طريقة دمج المتجهات: الاستخدام الحالي للمتوسط البسيط، يتطلب تقنيات دمج أكثر تعقيداً في المستقبل
  2. التفاعلات غير الخطية: تأثير دمج متجهات الشخصية ليس إضافة خطية بسيطة
  3. الأوزان الخاصة بالمهمة: نقص آلية لتعلم أوزان متجهات الشخصية الخاصة بالمهمة

الاتجاهات المستقبلية

  1. تطوير أطر عمل معقدة لدمج المتجهات تتجاوز المتوسط البسيط
  2. تعلم أوزان متجهات الشخصية الخاصة بالمهمة
  3. تصميم آليات تنمذج بشكل صريح الأدوار الوظيفية، مما يحقق تحكماً أكثر دقة

التقييم المتعمق

المزايا

  1. ابتكار الطريقة: أول تطبيق لدمج متجهات الشخصية لتعزيز الإبداع، مسار تقني جديد
  2. كفاية التجارب: تقييم شامل لنماذج متعددة ومعايير متعددة، بما في ذلك تحليل الكفاءة والجودة والقابلية للتفسير
  3. القيمة العملية: تحسن كبير في الكفاءة يجعل الطريقة ذات قيمة عملية قوية
  4. الرؤى النظرية: يكشف تحليل الإسقاط النشط عن الفرق الأساسي بين طريقة الطلب والتوجيه النشط

أوجه القصور

  1. نظرية دمج المتجهات: نقص التحليل النظري المتعمق لسبب فعالية المتوسط البسيط
  2. قيود التقييم: يعتمد بشكل أساسي على مقيّم LLM، قد يكون هناك انحياز
  3. القدرة على التعميم: التحقق فقط على مهام الإبداع، قابلية التطبيق على مهام أخرى غير معروفة
  4. جودة متجه الشخصية: تحتاج استقرار واتساق عملية استخراج متجه الشخصية إلى مزيد من التحقق

التأثير

  1. مساهمة المجال: توفير مسار تقني جديد لتعزيز إبداعية نماذج اللغة الكبيرة
  2. القيمة العملية: تقليل كبير في التكاليف الحسابية، من المتوقع أن يدفع النشر الفعلي لأنظمة الذكاء الاصطناعي متعددة الشخصيات
  3. قابلية التكرار: الطريقة نسبياً بسيطة، سهلة التكرار والتوسع

السيناريوهات المعمول بها

  1. الكتابة الإبداعية: كتابة القصص التي تتطلب دمج وجهات نظر متعددة
  2. التصميم الفكري: حلول تصميم تجمع بين الجماليات والوظيفة والاستدامة
  3. الابتكار العلمي: حل مشاكل البحث التي تتطلب تفكيراً متعدد التخصصات
  4. التطبيقات التعليمية: تنمية القدرة على التفكير المتنوع لدى الطلاب

المراجع

تستشهد الورقة بأعمال ذات صلة غنية، بما في ذلك:

  • البحث الكلاسيكي في علم نفس الإبداع (Torrance, 1966; Wallach & Kogan, 1965)
  • أحدث التطورات في أنظمة الوكلاء المتعددين (Wu et al., 2023; Lu et al., 2024)
  • تطور تقنيات التوجيه النشط (Turner et al., 2024; Chen et al., 2025)

التقييم الشامل: هذه ورقة عالية الجودة ذات مساهمة مهمة في مجال تعزيز إبداعية نماذج اللغة الكبيرة. تحل طريقة BILLY بذكاء مشكلة الكفاءة في أنظمة النماذج المتعددة، مع الحفاظ على مزايا الإبداع. على الرغم من وجود مجال للتحسين في التحليل النظري وطرق التقييم، فإن قيمتها العملية والابتكار التقني يجعلانها تقدماً مهماً في هذا المجال.