2025-11-22T07:58:16.571206

BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation

Pai, Wang, Lu et al.
Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
academic

BILLY: व्यक्तित्व सदिशों के विलय के माध्यम से बड़े भाषा मॉडलों को निर्देशित करना रचनात्मक पीढ़ी के लिए

मूल जानकारी

  • पेपर ID: 2510.10157
  • शीर्षक: BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
  • लेखक: Tsung-Min Pai, Jui-I Wang, Li-Chun Lu, Shao-Hua Sun, Hung-Yi Lee, Kai-Wei Chang
  • वर्गीकरण: cs.CL cs.AI
  • प्रकाशन तिथि: 11 अक्टूबर 2025 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.10157v1

सारांश

बहु-LLM प्रणालियाँ मानव सामूहिक बुद्धिमत्ता का अनुकरण करके बड़े भाषा मॉडलों की रचनात्मकता को बढ़ाती हैं, लेकिन उच्च कम्प्यूटेशनल लागत और बड़ी अनुमान विलंबता जैसी महत्वपूर्ण कमियाँ हैं। इन सीमाओं को हल करने के लिए, यह पेपर BILLY (BlendIng persona vectors for Large Language model creativitY) प्रस्तावित करता है, जो एक प्रशिक्षण-मुक्त ढाँचा है जो एकल मॉडल के भीतर बहु-LLM सहयोग के लाभों को कैप्चर कर सकता है, अर्थात् विविध दृष्टिकोण और विशेषज्ञता का परिचय। BILLY मॉडल सक्रियण स्थान में कई अलग-अलग व्यक्तित्व सदिशों को निकालकर और विलय करके काम करता है, अनुमान समय पर इस विलीन सदिश का उपयोग करके मॉडल की पीढ़ी प्रक्रिया को निर्देशित करता है, स्पष्ट बहु-LLM संचार के बिना बहु-दृष्टिकोण आउटपुट प्राप्त करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मूल समस्या

  1. बहु-LLM प्रणालियों का कम्प्यूटेशनल बोझ: पारंपरिक बहु-LLM सहयोग ढाँचे रचनात्मकता को बढ़ाते हैं, लेकिन उच्च कम्प्यूटेशनल लागत और अनुमान विलंबता की समस्या है
  2. एकल प्रॉम्प्ट विधि की सीमाएँ: केवल प्रॉम्प्ट के माध्यम से मॉडल को एक साथ कई भूमिकाएँ और दृष्टिकोण अपनाने के लिए कहना एकीकरण में कठिनाई प्रस्तुत करता है
  3. दक्षता और रचनात्मकता का संतुलन: रचनात्मकता के लाभों को बनाए रखते हुए कम्प्यूटेशनल ओवरहेड को कैसे महत्वपूर्ण रूप से कम किया जाए

अनुसंधान का महत्व

रचनात्मकता को व्यापक रूप से मानव प्रगति की आधारशिला माना जाता है, जो विभिन्न क्षेत्रों में नवाचार को चलाती है। हाल के अनुसंधान ने LLM की रचनात्मकता की खोज की है, इसे कहानी लेखन, डिजाइन विचार-मंथन और वैज्ञानिक खोज जैसे अनुप्रयोगों के लिए एक आशाजनक उपकरण के रूप में देखा है। बहु-LLM प्रतिमान मानव सामूहिक बुद्धिमत्ता का अनुकरण करके, कई LLM को अधिक व्यापक समाधान प्राप्त करने के लिए पुनरावृत्त चर्चा करने देता है।

मौजूदा विधियों की सीमाएँ

  1. बहु-LLM ढाँचे: उच्च कम्प्यूटेशनल लागत, लंबा अनुमान समय, प्रक्रिया हानि (process loss) मौजूद है
  2. एकल प्रॉम्प्ट विधि: मॉडल की कई भूमिकाओं को एकीकृत करने की क्षमता पर निर्भर करता है, व्यावहारिक रूप से मॉडल प्रत्येक व्यक्तित्व को अलग से संभाल सकता है लेकिन सुसंगत एकीकरण में कठिनाई होती है

मूल योगदान

  1. BILLY ढाँचा प्रस्तावित करना: एक प्रशिक्षण-मुक्त व्यक्तित्व सदिश विलय ढाँचा जो एकल LLM के भीतर बहु-दृष्टिकोण रचनात्मक प्रतिक्रिया को सक्षम बनाता है
  2. दक्षता और सरलता: पूरी तरह से प्रशिक्षण-मुक्त, अतिरिक्त सूक्ष्म-ट्यूनिंग या बहु-LLM संचार की आवश्यकता नहीं है, कम्प्यूटेशनल और टोकन लागत में भारी कमी
  3. व्याख्यात्मकता तंत्र: सीधे अव्यक्त सक्रियण स्थान में काम करता है, रचनात्मकता नियंत्रण के लिए व्याख्यात्मक तंत्र प्रदान करता है
  4. प्रदर्शन में सुधार: रचनात्मकता-केंद्रित बेंचमार्क में एकल-मॉडल प्रॉम्प्ट और पारंपरिक बहु-LLM विधियों को पार करता है

विधि विवरण

कार्य परिभाषा

एक रचनात्मक कार्य इनपुट दिया गया है, BILLY का लक्ष्य कई विशेषज्ञ दृष्टिकोणों (जैसे पर्यावरणविद्, रचनात्मक पेशेवर, भविष्यवादी) को विलय करने वाली रचनात्मक आउटपुट उत्पन्न करना है, साथ ही बहु-LLM प्रणालियों की कम्प्यूटेशनल ओवरहेड से बचना है।

मॉडल आर्किटेक्चर

1. व्यक्तित्व सदिश निष्कर्षण (Contrastive Activation)

व्यक्तित्व P के लिए, विपरीत विधि के माध्यम से व्यक्तित्व सदिश निकाला जाता है:

v⃗(l)_P = (1/|D+_P|) ∑(x∈D+_P) a⃗(l)(x) - (1/|D-_P|) ∑(x∈D-_P) a⃗(l)(x)

जहाँ:

  • D+_P: उस व्यक्तित्व विशेषता को प्रदर्शित करने वाली प्रतिक्रिया का समुच्चय
  • D-_P: विशेषता की कमी वाली आधारभूत प्रतिक्रिया का समुच्चय
  • a⃗(l)(x): lवें परत पर टोकन औसत अवशिष्ट प्रवाह सक्रियण

2. ऑफलाइन विलय (Offline Fusion)

N व्यक्तित्व सदिशों को एकल समग्र सदिश में विलय करना:

v⃗(l)_merged = (1/N) ∑(i=1 to N) v⃗(l)_i

3. अनुमान-समय निर्देशन (Inference-time Steering)

अनुमान समय पर सक्रियण को संशोधित करना:

a⃗(l)_steered = a⃗(l)_original + α · v⃗(l)_merged

जहाँ α स्केलिंग गुणांक है, प्रयोग में 20वीं परत को निर्देशन के लिए चुना गया है।

तकनीकी नवाचार बिंदु

  1. सक्रियण स्थान संचालन: बाहरी प्रॉम्प्ट इंजीनियरिंग पर निर्भर न होकर मॉडल के आंतरिक प्रतिनिधित्व स्तर पर सीधे संचालन
  2. सदिश विलय रणनीति: कई व्यक्तित्व सदिशों को सरल औसत के माध्यम से विलय करके जटिल व्यक्तित्व संयोजन प्राप्त करना
  3. प्रशिक्षण-मुक्त डिजाइन: केवल अनुमान समय पर सदिश जोड़ना, मॉडल वजन को नहीं बदलना
  4. पुनः प्रयोज्यता: व्यक्तित्व सदिश एक बार निकाले जाते हैं, कई बार उपयोग किए जा सकते हैं, लागत को परिशोधित करते हैं

प्रयोग सेटअप

डेटासेट

Wallach-Kogan रचनात्मकता परीक्षण के विस्तारित बेंचमार्क पर आधारित, Lu et al. द्वारा GPT-4 के साथ बढ़ाया गया:

  1. AUT: रोजमर्रा की वस्तुओं के लिए व्यावहारिक नवीन उपयोग प्रदान करने की आवश्यकता
  2. INSTANCES: विशिष्ट मानदंडों के अनुसार वस्तुओं की सूची बनाना
  3. SIMILARITIES: वस्तुओं के बीच संबंध या समानता की पहचान करना
  4. SCIENTIFIC: वैज्ञानिक समस्याओं के लिए रचनात्मक समाधान उत्पन्न करना

मूल्यांकन मेट्रिक्स

Torrance रचनात्मक सोच परीक्षण (TTCT) के दो मूल संकेतकों का उपयोग:

  1. मौलिकता (Originality): प्रतिक्रिया की सांख्यिकीय दुर्लभता या अपरंपरागत प्रकृति का मूल्यांकन
  2. विस्तार (Elaboration): प्रतिक्रिया की विस्तृतता और सहायक जानकारी के स्तर को मापना

GPT-4o-mini को LLM मूल्यांकनकर्ता के रूप में उपयोग करना, 1-5 अंक मूल्यांकन मानदंड।

तुलनात्मक विधियाँ

  1. Single Agent (SA): एकल LLM रचनात्मक प्रतिक्रिया (तापमान 0.7)
  2. SA (T=1.0): उच्च तापमान डिकोडिंग की एकल एजेंट (तापमान 1.0)
  3. SA-MRP: बहु-भूमिका प्रॉम्प्ट की एकल एजेंट
  4. LLM Discussion: बहु-LLM ढाँचा, तीन-चरणीय संरचित चर्चा प्रक्रिया

कार्यान्वयन विवरण

  • आधार मॉडल: Qwen-2.5-7B-Instruct, Llama-3.1-8B-Instruct, Gemma-3-4B-it
  • निर्देशन परत: 20वीं परत
  • व्यक्तित्व सदिश: पर्यावरणविद्, रचनात्मक पेशेवर, भविष्यवादी, विश्लेषणात्मक विचारक आदि
  • मूल्यांकन: प्रत्येक बेंचमार्क पर 100 प्रश्न, औसत स्कोर और मानक विचलन की गणना

प्रयोग परिणाम

मुख्य परिणाम

चार रचनात्मकता बेंचमार्क पर, BILLY मौलिकता संकेतक पर सभी आधारभूत विधियों को लगातार पार करता है:

AUT कार्य मौलिकता स्कोर:

  • Qwen-2.5-7B: BILLY (4.71) > LLM Discussion (4.24) > SA-MRP (4.07) > SA (4.03)
  • Llama-3.1-8B: BILLY (4.38) > LLM Discussion (4.21) > SA-MRP (4.05) > SA (3.73)
  • Gemma-3-4B: BILLY (4.99) > SA-MRP (4.96) > SA (4.79) > LLM Discussion (3.70)

दक्षता तुलना:

  • अनुमान विलंबता: BILLY (19s) vs LLM Discussion (513s), लगभग 25 गुना तेज़
  • टोकन लागत: BILLY 95% से अधिक टोकन उपयोग में कमी
  • प्रति 10000 प्रश्नों की लागत: BILLY (0.30)vsLLMDiscussion(0.30) vs LLM Discussion (25.50)

विलोपन प्रयोग

व्यक्तित्व सदिश संयोजन विश्लेषण:

  • एकल रचनात्मक पेशेवर सदिश पहले से ही उत्कृष्ट रचनात्मक प्रदर्शन दिखाता है
  • 1 सदिश से 3 सदिश तक बढ़ने से महत्वपूर्ण सुधार होता है
  • 4-7 सदिशों में आगे की वृद्धि से कोई महत्वपूर्ण अतिरिक्त लाभ नहीं

केस विश्लेषण

"अस्पताल को फिर से डिजाइन करना" कार्य के उदाहरण के रूप में:

  • पर्यावरणविद् सदिश: व्यावहारिक ब्लूप्रिंट उत्पन्न करता है (जैसे सामुदायिक बागान)
  • रचनात्मक पेशेवर सदिश: कलात्मक शब्दावली से भरी प्रतिक्रिया उत्पन्न करता है (जैसे जैव-प्रकाशमान पारिस्थितिकी समूह)
  • विलीन सदिश: सच्चा अवधारणा विलय, पर्यावरणविद् की मूल अवधारणा को बनाए रखता है लेकिन रचनात्मक पेशेवर की दृश्य शैली के साथ पुनः फ्रेम करता है

सक्रियण प्रक्षेपण विश्लेषण

व्यक्तित्व सदिशों पर सक्रियण परिवर्तन के प्रक्षेपण का विश्लेषण करके:

  1. प्रॉम्प्ट विधि की सीमा: बहु-भूमिका प्रॉम्प्ट vCRE पर सकारात्मक है लेकिन vENV पर नकारात्मक है, यह दर्शाता है कि सभी अपेक्षित व्यक्तित्वों को सुसंगत रूप से प्रेरित नहीं कर सकता
  2. BILLY का लाभ: vCRE और vENV दोनों पर सकारात्मक प्रक्षेपण बनाए रखता है, कई व्यक्तित्वों को सफलतापूर्वक सह-सक्रिय करता है
  3. सदिश विलय की प्रभावशीलता: एकल सदिश संबंधित शब्दार्थ अवधारणा को सटीक रूप से नियंत्रित करता है, विलीन सदिश जटिल अंतःक्रिया प्राप्त करता है

संबंधित कार्य

LLM रचनात्मकता वृद्धि

  1. भूमिका निभाने वाली प्रॉम्प्टिंग: मॉडल को विशिष्ट रचनात्मक व्यक्तित्व अपनाने के लिए निर्देशित करना
  2. बहु-एजेंट सहयोग ढाँचे: कई एजेंट मस्तिष्क-मंथन सम्मेलन का अनुकरण करते हैं
  3. व्यापक समीक्षा: रचनात्मकता अनुसंधान दिशा की व्यापक समीक्षा

बहु-LLM सहयोग

  1. संरचित संवाद ढाँचे: जैसे AutoGen की अगली पीढ़ी के अनुप्रयोग
  2. भूमिका निभाने वाली संवाद: LLM Discussion और HOLLMWOOD
  3. सीमाएँ: उच्च कम्प्यूटेशनल लागत, अस्थिरता, कम दक्षता

सक्रियण निर्देशन तकनीकें

  1. व्यवहार नियंत्रण: आंतरिक सक्रियण को संशोधित करके मॉडल व्यवहार को प्रभावित करना
  2. विपरीत विधि: सक्रियण अंतर का उपयोग करके निर्देशन सदिश की गणना करना
  3. अनुप्रयोग क्षेत्र: प्रामाणिकता वृद्धि, सुरक्षा सुधार, व्यक्तित्व नियंत्रण

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. BILLY एकल मॉडल के भीतर बहु-LLM सहयोग के रचनात्मकता लाभों को सफलतापूर्वक कैप्चर करता है
  2. अनुमान समय और कम्प्यूटेशनल लागत में महत्वपूर्ण कमी करता है, साथ ही रचनात्मकता प्रदर्शन को बनाए रखता या पार करता है
  3. सक्रियण निर्देशन बहु-भूमिका प्रॉम्प्ट की तुलना में बेहतर नियंत्रणीयता और व्याख्यात्मकता प्रदान करता है

सीमाएँ

  1. सदिश संयोजन विधि: वर्तमान में सरल औसत का उपयोग करता है, भविष्य में अधिक जटिल संयोजन तकनीकों की आवश्यकता है
  2. गैर-रैखिक अंतःक्रिया: व्यक्तित्व सदिशों का विलय प्रभाव सरल रैखिक叠加नहीं है
  3. कार्य-विशिष्ट वजन: प्रत्येक व्यक्तित्व सदिश के लिए कार्य-विशिष्ट वजन सीखने की तंत्र की कमी

भविष्य की दिशाएँ

  1. सरल औसत से परे जटिल सदिश संयोजन ढाँचे विकसित करना
  2. कार्य-विशिष्ट व्यक्तित्व सदिश वजन सीखना
  3. कार्यात्मक भूमिकाओं को स्पष्ट रूप से मॉडल करने वाली तंत्र डिजाइन करना, अधिक सटीक नियंत्रण प्राप्त करना

गहन मूल्यांकन

शक्तियाँ

  1. विधि नवाचार: व्यक्तित्व सदिश विलय को रचनात्मकता वृद्धि के लिए पहली बार लागू करना, तकनीकी मार्ग नवीन है
  2. प्रयोग पूर्णता: कई मॉडल, कई बेंचमार्क का व्यापक मूल्यांकन, दक्षता, गुणवत्ता और व्याख्यात्मकता विश्लेषण सहित
  3. व्यावहारिक मूल्य: महत्वपूर्ण दक्षता सुधार विधि को मजबूत व्यावहारिक मूल्य देता है
  4. सैद्धांतिक अंतर्दृष्टि: सक्रियण प्रक्षेपण विश्लेषण के माध्यम से प्रॉम्प्ट विधि और सक्रियण निर्देशन के बीच मौलिक अंतर को प्रकट करता है

कमियाँ

  1. सदिश विलय सिद्धांत: सरल औसत क्यों प्रभावी है इसके गहन सैद्धांतिक विश्लेषण की कमी
  2. मूल्यांकन सीमाएँ: मुख्य रूप से LLM मूल्यांकनकर्ता पर निर्भर, संभावित पूर्वाग्रह हो सकता है
  3. सामान्यीकरण क्षमता: केवल रचनात्मकता कार्यों पर सत्यापित, अन्य कार्यों पर प्रयोज्यता अज्ञात है
  4. व्यक्तित्व सदिश गुणवत्ता: व्यक्तित्व सदिश निष्कर्षण प्रक्रिया की स्थिरता और सुसंगतता को अधिक सत्यापन की आवश्यकता है

प्रभाव

  1. क्षेत्र योगदान: LLM रचनात्मकता वृद्धि के लिए नई तकनीकी पथ प्रदान करता है
  2. व्यावहारिक मूल्य: कम्प्यूटेशनल लागत में भारी कमी, बहु-व्यक्तित्व AI प्रणालियों के वास्तविक तैनाती को आगे बढ़ाने की संभावना
  3. पुनः प्रयोज्यता: विधि अपेक्षाकृत सरल है, पुनः प्रस्तुत करना और विस्तारित करना आसान है

लागू परिदृश्य

  1. रचनात्मक लेखन: कई दृष्टिकोणों को विलय करने की आवश्यकता वाली कहानी रचना
  2. डिजाइन विचार-मंथन: सौंदर्य, कार्यक्षमता और स्थिरता को जोड़ने वाली डिजाइन योजना
  3. वैज्ञानिक नवाचार: अंतःविषय सोच की आवश्यकता वाली अनुसंधान समस्या समाधान
  4. शैक्षणिक अनुप्रयोग: छात्रों की बहु-दृष्टिकोण सोच क्षमता विकास

संदर्भ

पेपर समृद्ध संबंधित कार्यों का हवाला देता है, जिसमें शामिल हैं:

  • रचनात्मकता मनोविज्ञान शास्त्रीय अनुसंधान (Torrance, 1966; Wallach & Kogan, 1965)
  • बहु-एजेंट प्रणाली नवीनतम प्रगति (Wu et al., 2023; Lu et al., 2024)
  • सक्रियण निर्देशन तकनीक विकास (Turner et al., 2024; Chen et al., 2025)

समग्र मूल्यांकन: यह LLM रचनात्मकता वृद्धि क्षेत्र में महत्वपूर्ण योगदान वाला एक उच्च-गुणवत्ता वाला पेपर है। BILLY विधि बहु-LLM प्रणालियों की दक्षता समस्या को चतुराई से हल करती है, साथ ही रचनात्मकता लाभों को बनाए रखती है। यद्यपि सैद्धांतिक विश्लेषण और मूल्यांकन विधियों में सुधार की गुंजाइश है, लेकिन इसका व्यावहारिक मूल्य और तकनीकी नवाचार इसे इस क्षेत्र में महत्वपूर्ण प्रगति बनाता है।