BILLY: Steering Large Language Models via Merging Persona Vectors for Creative Generation
Pai, Wang, Lu et al.
Multi-LLM systems enhance the creativity of large language models by simulating human collective intelligence but suffer from significant drawbacks, such as high computational costs and inference latency. To address these limitations, we propose BILLY (BlendIng persona vectors for Large Language model creativitY), a training-free framework that captures the benefits of multi-LLM collaboration, i.e. inducing diverse perspectives and specialized expertise, within a single model. BILLY operates by extracting and blending multiple distinct persona vectors directly in the model's activation space. We steer the model's generation process with this merged vector while inference, enabling multi-perspective output without explicit multi-LLM communication. Our experiments across creativity-oriented benchmarks demonstrate that BILLY surpasses single model prompting and traditional multi-LLM approaches, while substantially reducing inference time and computational costs. Our analyses further reveal that distinct persona vectors can be blended to achieve both effective control over complementary aspects of generation and greater interpretability.
academic
BILLY: সৃজনশীল প্রজন্মের জন্য পার্সোনা ভেক্টর মার্জিং এর মাধ্যমে বৃহৎ ভাষা মডেলগুলি পরিচালনা করা
বহু-LLM সিস্টেম মানুষের সম্মিলিত বুদ্ধিমত্তা অনুকরণ করে বৃহৎ ভাষা মডেলগুলির সৃজনশীলতা বৃদ্ধি করে, তবে উচ্চ গণনা খরচ এবং বড় অনুমান বিলম্ব সহ উল্লেখযোগ্য ত্রুটি রয়েছে। এই সীমাবদ্ধতাগুলি সমাধান করার জন্য, এই পেপারটি BILLY (BlendIng persona vectors for Large Language model creativitY) প্রস্তাব করে, যা একটি প্রশিক্ষণ-মুক্ত কাঠামো যা একটি একক মডেলের মধ্যে বহু-LLM সহযোগিতার সুবিধাগুলি ক্যাপচার করতে পারে, অর্থাৎ বৈচিত্র্যময় দৃষ্টিভঙ্গি এবং দক্ষতা প্রবর্তন করে। BILLY মডেল সক্রিয়করণ স্থানে একাধিক ভিন্ন ব্যক্তিত্ব ভেক্টর নিষ্কাশন এবং মার্জ করার মাধ্যমে কাজ করে, অনুমান সময়ে এই মার্জড ভেক্টর ব্যবহার করে মডেলের প্রজন্ম প্রক্রিয়া পরিচালনা করে, স্পষ্ট বহু-LLM যোগাযোগ ছাড়াই বহু-দৃষ্টিভঙ্গি আউটপুট অর্জন করে।
সৃজনশীলতা ব্যাপকভাবে মানব অগ্রগতির ভিত্তি হিসাবে স্বীকৃত, যা বিভিন্ন ক্ষেত্রে উদ্ভাবন চালিত করে। সাম্প্রতিক গবেষণা LLM-এর সৃজনশীলতা অন্বেষণ করেছে, এটিকে গল্প লেখা, ডিজাইন চিন্তাভাবনা এবং বৈজ্ঞানিক আবিষ্কারের মতো অ্যাপ্লিকেশনের জন্য একটি প্রতিশ্রুতিশীল হাতিয়ার হিসাবে দেখেছে। বহু-LLM প্যারাডাইম মানুষের সম্মিলিত বুদ্ধিমত্তা অনুকরণ করে, একাধিক LLM-কে পুনরাবৃত্তিমূলক আলোচনায় জড়িত করে আরও ব্যাপক সমাধান পেতে।
বহু-LLM কাঠামো: উচ্চ গণনা খরচ, দীর্ঘ অনুমান সময়, প্রক্রিয়া ক্ষতি উপস্থিত
একক প্রম্পট পদ্ধতি: মডেলের একাধিক ভূমিকা একীভূত করার ক্ষমতার উপর নির্ভর করে, বাস্তবে মডেল প্রতিটি ব্যক্তিত্ব আলাদাভাবে প্রক্রিয়া করতে পারে কিন্তু সুসংগতভাবে একীভূত করতে অসুবিধা হয়
BILLY কাঠামো প্রস্তাব: একটি প্রশিক্ষণ-মুক্ত ব্যক্তিত্ব ভেক্টর মার্জিং কাঠামো যা একটি একক LLM-এর মধ্যে বহু-দৃষ্টিভঙ্গি সৃজনশীল প্রতিক্রিয়া অর্জন করতে পারে
দক্ষতা এবং সরলতা: সম্পূর্ণ প্রশিক্ষণ-মুক্ত, অতিরিক্ত সূক্ষ্ম-সুর বা বহু-LLM যোগাযোগের প্রয়োজন নেই, গণনা এবং টোকেন খরচ উল্লেখযোগ্যভাবে হ্রাস করে
ব্যাখ্যাযোগ্যতা প্রক্রিয়া: সরাসরি সুপ্ত সক্রিয়করণ স্থানে কাজ করে, সৃজনশীলতা নিয়ন্ত্রণের জন্য ব্যাখ্যাযোগ্য প্রক্রিয়া প্রদান করে
কর্মক্ষমতা উন্নতি: সৃজনশীলতা-ভিত্তিক বেঞ্চমার্ক পরীক্ষায় একক মডেল প্রম্পট এবং ঐতিহ্যবাহী বহু-LLM পদ্ধতি অতিক্রম করে
একটি সৃজনশীল কাজের ইনপুট দেওয়া হলে, BILLY বহু-LLM সিস্টেমের গণনা ওভারহেড এড়িয়ে একাধিক বিশেষজ্ঞ দৃষ্টিভঙ্গি (যেমন পরিবেশবাদী, সৃজনশীল পেশাদার, ভবিষ্যতবাদী) মার্জ করা সৃজনশীল আউটপুট তৈরি করার লক্ষ্য রাখে।
প্রম্পট পদ্ধতির সীমাবদ্ধতা: বহু-ভূমিকা প্রম্পট vCRE-তে ইতিবাচক কিন্তু vENV-তে নেতিবাচক, সমস্ত প্রত্যাশিত ব্যক্তিত্ব ধারাবাহিকভাবে প্রবর্তন করতে অক্ষমতা নির্দেশ করে
BILLY সুবিধা: vCRE এবং vENV উভয়েই ইতিবাচক প্রজেকশন বজায় রাখে, একাধিক ব্যক্তিত্ব সফলভাবে সহ-সক্রিয় করে
ভেক্টর মার্জিং কার্যকারিতা: একক ভেক্টর সংশ্লিষ্ট শব্দার্থিক ধারণা নির্ভুলভাবে নিয়ন্ত্রণ করে, মার্জড ভেক্টর জটিল মিথস্ক্রিয়া অর্জন করে
পেপারটি সমৃদ্ধ সম্পর্কিত কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
সৃজনশীলতা মনোবিজ্ঞান ক্লাসিক গবেষণা (Torrance, 1966; Wallach & Kogan, 1965)
বহু-এজেন্ট সিস্টেম সর্বশেষ অগ্রগতি (Wu et al., 2023; Lu et al., 2024)
সক্রিয়করণ পরিচালনা প্রযুক্তি উন্নয়ন (Turner et al., 2024; Chen et al., 2025)
সামগ্রিক মূল্যায়ন: এটি LLM সৃজনশীলতা বৃদ্ধি ক্ষেত্রে গুরুত্বপূর্ণ অবদান সহ একটি উচ্চ-মানের পেপার। BILLY পদ্ধতি চতুরভাবে বহু-LLM সিস্টেমের দক্ষতা সমস্যা সমাধান করে, একই সাথে সৃজনশীলতা সুবিধা বজায় রাখে। যদিও তাত্ত্বিক বিশ্লেষণ এবং মূল্যায়ন পদ্ধতিতে উন্নতির জায়গা রয়েছে, তবে এর ব্যবহারিক মূল্য এবং প্রযুক্তিগত উদ্ভাবনী প্রকৃতি এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অগ্রগতি করে তোলে।