2025-11-22T14:58:15.937648

Precise Attribute Intensity Control in Large Language Models via Targeted Representation Editing

Zhang, Ye, Heng et al.

Precise attribute intensity control--generating Large Language Model (LLM) outputs with specific, user-defined attribute intensities--is crucial for AI systems adaptable to diverse user expectations. Current LLM alignment methods, however, typically provide only directional or open-ended guidance, failing to reliably achieve exact attribute intensities. We address this limitation with three key designs: (1) reformulating precise attribute intensity control as a target-reaching problem, rather than simple maximization; (2) training a lightweight value function via temporal-difference learning to predict final attribute intensity scores from partial generations, thereby steering LLM outputs; and (3) employing gradient-based interventions on hidden representations to navigate the model precisely towards specific attribute intensity targets. Our method enables fine-grained, continuous control over attribute intensities, moving beyond simple directional alignment. Experiments on LLaMA-3.2-3b and Phi-4-mini confirm our method's ability to steer text generation to user-specified attribute intensities with high accuracy. Finally, we demonstrate efficiency enhancements across three downstream tasks: preference data synthesis, Pareto frontier approximation and optimization, and distillation of aligned behaviors for intervention-free inference. Our code is available on https://github.com/Pre-Control/pre-control

academic

বড় ভাষা মডেলে লক্ষ্যবস্তু প্রতিনিধিত্ব সম্পাদনার মাধ্যমে নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণ

মৌলিক তথ্য

পেপার আইডি: 2510.12121
শিরোনাম: Precise Attribute Intensity Control in Large Language Models via Targeted Representation Editing
লেখক: Rongzhi Zhang, Liqin Ye, Yuzhao Heng, Xiang Chen, Tong Yu, Lingkai Kong, Sudheer Chava, Chao Zhang
শ্রেণীবিভাগ: cs.AI cs.CL cs.LG
প্রকাশনার সময়/সম্মেলন: প্রাক-প্রকাশনা (পর্যালোচনাধীন)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.12121

সারসংক্ষেপ

এই পেপারটি বড় ভাষা মডেল (LLM) এ বৈশিষ্ট্য তীব্রতা নির্ভুলভাবে নিয়ন্ত্রণ করার জন্য PRE-CONTROL পদ্ধতি প্রস্তাব করে। এই পদ্ধতিটি তিনটি মূল ডিজাইনের মাধ্যমে নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণ অর্জন করে: (1) নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণকে সাধারণ সর্বাধিকীকরণের পরিবর্তে লক্ষ্য অর্জন সমস্যা হিসাবে পুনর্নির্ধারণ করা; (2) সময়গত পার্থক্য শিক্ষার মাধ্যমে প্রশিক্ষিত হালকা মূল্য ফাংশন ব্যবহার করে আংশিক প্রজন্ম থেকে চূড়ান্ত বৈশিষ্ট্য তীব্রতা স্কোর পূর্বাভাস দেওয়া; (3) লুকানো প্রতিনিধিত্বে গ্রেডিয়েন্ট-ভিত্তিক হস্তক্ষেপ প্রয়োগ করে নির্দিষ্ট বৈশিষ্ট্য তীব্রতা লক্ষ্যে মডেলকে নির্ভুলভাবে নেভিগেট করা। পরীক্ষা-নিরীক্ষা দেখায় যে এই পদ্ধতিটি পাঠ্য প্রজন্মকে ব্যবহারকারী-নির্দিষ্ট বৈশিষ্ট্য তীব্রতায় পরিচালিত করতে পারে এবং পছন্দ ডেটা সংশ্লেষণ, পেরেটো সীমানা অনুমান এবং সারিবদ্ধকরণ আচরণ পাতন সহ ডাউনস্ট্রিম কাজগুলিতে দক্ষতা বৃদ্ধি প্রদর্শন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

বর্তমান LLM সারিবদ্ধকরণ পদ্ধতিগুলির একটি মূল সীমাবদ্ধতা রয়েছে: তারা শুধুমাত্র দিকনির্দেশনামূলক বা উন্মুক্ত-শেষ নির্দেশনা প্রদান করতে পারে, নির্ভুল বৈশিষ্ট্য তীব্রতা নির্ভরযোগ্যভাবে অর্জন করতে পারে না। উদাহরণস্বরূপ, একজন ব্যবহারকারী একটি ইমেলের আনুষ্ঠানিকতা 3 (5-পয়েন্ট স্কেল) হতে চাইতে পারে, শুধুমাত্র "আরও আনুষ্ঠানিক" বা "কম আনুষ্ঠানিক" নয়।

সমস্যার গুরুত্ব

নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণ বৈচিত্র্যময় ব্যবহারকারীর প্রত্যাশার সাথে খাপ খাইয়ে নেওয়া AI সিস্টেম তৈরির জন্য অত্যন্ত গুরুত্বপূর্ণ, বিশেষত বহু-উদ্দেশ্য সারিবদ্ধকরণ পরিস্থিতিতে যেখানে বিভিন্ন বৈশিষ্ট্যের মধ্যে দ্বন্দ্ব রয়েছে এবং সর্বোত্তম আপস খুঁজে পেতে ক্রমাগত স্কেলে স্কেলার-স্তরের সমন্বয় প্রয়োজন।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

RLHF এবং DPO: স্থির মডেল তৈরি করে যা প্রত্যাশিত আচরণের গড় ক্যাপচার করে, অগ্রাধিকার সামঞ্জস্য করতে ব্যয়বহুল পুনঃপ্রশিক্ষণের প্রয়োজন
প্রম্পট পদ্ধতি: সম্পূর্ণভাবে শৈলী নির্দেশের জন্য মডেলের ব্যাখ্যার উপর নির্ভর করে, ফলাফল অসামঞ্জস্যপূর্ণ
পরিচালিত ডিকোডিং: সাধারণত বৈশিষ্ট্য তীব্রতাকে ক্রমাগত মূল্যের পরিবর্তে শ্রেণীবিভাগ হিসাবে বিবেচনা করে
বহু-উদ্দেশ্য সারিবদ্ধকরণ পদ্ধতি: বৈশ্বিক পেরেটো সেট অনুমান করতে বিপুল পরিমাণ প্রশিক্ষণের প্রয়োজন

গবেষণা প্রেরণা

বিদ্যমান পদ্ধতিগুলি নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণের ক্ষমতার অভাব রাখে। এই পেপারটি সাধারণ দিকনির্দেশনামূলক সারিবদ্ধকরণের বাইরে সূক্ষ্ম-দানাদার, ক্রমাগত বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণ বাস্তবায়ন করার লক্ষ্য রাখে।

মূল অবদান

সমস্যা পুনর্নির্ধারণ: নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণকে সাধারণ সর্বাধিকীকরণ/সর্বনিম্নকরণের পরিবর্তে লক্ষ্য অর্জন সমস্যা হিসাবে প্রকাশ করা
মূল্য ফাংশন পদ্ধতি: সময়গত পার্থক্য শিক্ষার মাধ্যমে প্রশিক্ষিত হালকা মূল্য ফাংশন ব্যবহার করে আংশিক প্রজন্ম থেকে চূড়ান্ত বৈশিষ্ট্য স্কোর পূর্বাভাস দেওয়া
প্রতিনিধিত্ব সম্পাদনা কৌশল: গ্রেডিয়েন্ট-ভিত্তিক লুকানো প্রতিনিধিত্ব হস্তক্ষেপ ব্যবহার করে নির্দিষ্ট বৈশিষ্ট্য তীব্রতা লক্ষ্যে নির্ভুলভাবে নেভিগেট করা
দক্ষ প্রয়োগ: পেরেটো সীমানা অনুমান (সময়ের জটিলতা O(m^d) থেকে O(n+k) এ হ্রাস) এবং নিয়ন্ত্রণযোগ্য মডেল পাতনে দক্ষতা সুবিধা প্রদর্শন করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

লক্ষ্য বৈশিষ্ট্য তীব্রতা τ ∈ 0,1 এবং পুরস্কার ফাংশন R(x) দেওয়া হলে, লক্ষ্য হল এমন পাঠ্য তৈরি করা যার বৈশিষ্ট্য তীব্রতা স্কোর লক্ষ্য মানের সাথে মেলে, শুধুমাত্র পুরস্কার সর্বাধিক করার পরিবর্তে।

মডেল আর্কিটেকচার

1. লক্ষ্য অর্জন সমস্যা পুনর্গঠন

ঐতিহ্যবাহী সারিবদ্ধকরণ উদ্দেশ্য:

max_θ E_{x~π_θ}[R(x)]

এই পেপারের লক্ষ্য অর্জন প্রকাশ:

min_θ E_{x~π_θ}[(R̂(x) - τ)²]

যেখানে R̂(x) হল 0,1 এ স্বাভাবিকীকৃত পুরস্কার ফাংশন।

2. মূল্য ফাংশন প্রশিক্ষণ

TD(λ) ব্যবহার করে মূল্য ফাংশন V_φ(h_t) প্রশিক্ষণ দিন যা আংশিক ক্রমের প্রত্যাশিত বৈশিষ্ট্য তীব্রতা পূর্বাভাস দেয়:

V_φ(h_t) ≈ E_{x>t~π_θ(·|x≤t)}[R̂(x≤t, x>t)]

সাধারণীকৃত রিটার্ন গণনা:

G^λ_t = (1-λ)∑_{n=1}^{T-t-1} λ^{n-1}V_φ(s_{t+n}) + λ^{T-t-1}r_T

মূল্য ফাংশন ক্ষতি:

L_TD = E_{t,s_t}[(V_φ(s_t) - G^λ_t)²]

3. পরীক্ষার সময় হস্তক্ষেপ

গ্রেডিয়েন্ট ডিসেন্টের মাধ্যমে লুকানো অবস্থা সামঞ্জস্য করুন:

h_t ← h_t - α∇_{h_t}(V_φ(h_t) - τ)²

বহু-বৈশিষ্ট্য ক্ষেত্রে:

h_t ← h_t - α∇_{h_t}∑_{i=1}^m w_i(V^i_φ(h_t) - τ_i)²

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

লক্ষ্য-ভিত্তিক ডিজাইন: দিকনির্দেশনামূলক অপ্টিমাইজেশন থেকে নির্ভুল লক্ষ্য অর্জনে স্থানান্তর
রিয়েল-টাইম প্রতিক্রিয়া প্রক্রিয়া: মূল্য ফাংশন প্রজন্ম প্রক্রিয়ায় মধ্যবর্তী প্রতিক্রিয়া প্রদান করে
প্রতিনিধিত্ব স্থান নেভিগেশন: উচ্চ-মাত্রিক প্রতিনিধিত্ব স্থানে সরাসরি নির্ভুল নেভিগেশন
বহু-বৈশিষ্ট্য সমন্বয়: একযোগে একাধিক সম্ভাব্য দ্বন্দ্বপূর্ণ বৈশিষ্ট্য নিয়ন্ত্রণ করা

পরীক্ষা-নিরীক্ষার সেটআপ

ডেটাসেট

HelpSteer2: 20,324টি প্রশিক্ষণ নমুনা, 1,038টি পরীক্ষা নমুনা, 5টি বৈশিষ্ট্য সহ (সহায়কতা, সঠিকতা, সামঞ্জস্য, জটিলতা, বাচনালাপ)
Code-UltraFeedback: 10,000টি জটিল নির্দেশনা, 5টি প্রোগ্রামিং-সম্পর্কিত বৈশিষ্ট্য সহ (জটিলতা ও দক্ষতা, শৈলী, ব্যাখ্যা, নির্দেশ অনুসরণ, পাঠযোগ্যতা)

মূল্যায়ন মেট্রিক্স

Self-BLEU স্কোর: উত্পাদিত পাঠ্যের বৈচিত্র্য পরিমাপ করে (যত কম ভাল)
লক্ষ্যে ℓ1 দূরত্ব: মডেল আউটপুট এবং ব্যবহারকারী-নির্দিষ্ট বৈশিষ্ট্য স্কোরের মধ্যে সান্নিধ্য মূল্যায়ন করে
সাফল্যের হার: মডেল আউটপুট প্রত্যাশিত বৈশিষ্ট্য কনফিগারেশনের সাথে সঠিকভাবে মেলে এমন ফ্রিকোয়েন্সি

তুলনামূলক পদ্ধতি

Base: ভিত্তি মডেল সরাসরি প্রজন্ম
Prompting: প্রম্পটে লক্ষ্য বৈশিষ্ট্য স্কোর অন্তর্ভুক্ত করা
ITI: পুরস্কার পূর্বাভাস দিতে এবং শেখা দিকে সক্রিয়করণ সামঞ্জস্য করতে রৈখিক স্তর প্রশিক্ষণ
MAT-Steer: বিরল, অর্থোগোনাল বহু-বৈশিষ্ট্য পরিচালনা ভেক্টর শিখুন
RE-Control: খোলা-শেষ অপ্টিমাইজেশনের পরীক্ষার সময় হস্তক্ষেপ সম্পাদন করুন

বাস্তবায়ন বিবরণ

ভিত্তি মডেল: LLaMA-3.2-3b এবং Phi-4-mini
মূল্য ফাংশন: 4-স্তরের MLP
পুরস্কার মডেল: ArmoRM-Llama3-8B
হস্তক্ষেপ স্তর: শেষ ট্রান্সফর্মার স্তর
অপ্টিমাইজার: Adam, প্রাথমিক থামার কৌশল

পরীক্ষা-নিরীক্ষার ফলাফল

প্রধান ফলাফল

প্রতিনিধিত্বমূলক লক্ষ্য স্কোরে পরীক্ষা-নিরীক্ষার ফলাফল দেখায়:

ইতিবাচক লক্ষ্য (HelpSteer2 4,4,4,2,2):

LLaMA-3.2-3b: PRE-CONTROL সাফল্যের হার 7.96% বনাম সেরা ভিত্তিরেখা 5.39%
Phi-4-mini: PRE-CONTROL সাফল্যের হার 8.31% বনাম সেরা ভিত্তিরেখা 5.70%

নেতিবাচক লক্ষ্য (HelpSteer2 3,3,3,2,2):

LLaMA-3.2-3b: PRE-CONTROL সাফল্যের হার 6.60% বনাম সেরা ভিত্তিরেখা 5.84%
Phi-4-mini: PRE-CONTROL সাফল্যের হার 9.11% বনাম সেরা ভিত্তিরেখা 8.73%

Code-UltraFeedback ফলাফল:

ইতিবাচক লক্ষ্য 3,3,3,3,3: সাফল্যের হার 17.46%-26.16% এ উন্নীত
নেতিবাচক লক্ষ্য 2,2,2,2,2: সাফল্যের হার 22.34%-30.68% এ উন্নীত

পুনরাবৃত্তিমূলক হস্তক্ষেপ ফলাফল

PRE-CONTROL একাধিক পুনরাবৃত্তিতে ক্রমাগত কর্মক্ষমতা উন্নতি প্রদর্শন করে, যখন অন্যান্য পদ্ধতি দ্বিতীয় পুনরাবৃত্তির পরে স্থির হয়ে যায়।

পেরেটো সীমানা অনুমান

গুণমান উন্নতি: হাইপারভলিউম 7.54 থেকে 12.66 এ বৃদ্ধি পেয়েছে
দক্ষতা উন্নতি: গণনা ওভারহেড 3.3 GPU ঘন্টা থেকে 0.4 ঘন্টায় হ্রাস পেয়েছে (8 গুণ হ্রাস)
আরও পয়েন্ট আবিষ্কার: অ-আধিপত্যশীল পয়েন্ট 45 থেকে 69 এ বৃদ্ধি পেয়েছে

নিয়ন্ত্রণযোগ্য পাতন

15k নমুনা এবং 2.1 GPU ঘন্টা ব্যবহার করে 16.81 হাইপারভলিউম অর্জন করুন, যা Best-of-N পদ্ধতির 15.27 (50k নমুনা এবং 7.8 GPU ঘন্টা প্রয়োজন) এর চেয়ে উন্নত।

কেস বিশ্লেষণ

গুণগত বিশ্লেষণ দেখায় যে PRE-CONTROL পারে:

নেতিবাচক নিয়ন্ত্রণ: অত্যধিক বিস্তারিত উত্তর 4,4,4,3,3 সংক্ষিপ্ত সংস্করণ 3,3,3,2,2 এ নির্ভুলভাবে সামঞ্জস্য করা
ইতিবাচক নিয়ন্ত্রণ: সাধারণ উত্তর 4,4,4,1,1 আরও বিস্তারিত সংস্করণ 4,4,4,2,2 এ প্রসারিত করা

উপসংহার এবং আলোচনা

প্রধান উপসংহার

PRE-CONTROL LLM-এ নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণ বাস্তবায়ন করে
লক্ষ্য অর্জন প্রকাশ ঐতিহ্যবাহী সর্বাধিকীকরণ পদ্ধতির চেয়ে নির্ভুল নিয়ন্ত্রণের জন্য আরও উপযুক্ত
মূল্য ফাংশন এবং গ্রেডিয়েন্ট হস্তক্ষেপের সমন্বয় একটি কার্যকর নিয়ন্ত্রণ প্রক্রিয়া প্রদান করে
পদ্ধতি একাধিক ডাউনস্ট্রিম অ্যাপ্লিকেশনে দক্ষতা সুবিধা প্রদর্শন করে

সীমাবদ্ধতা

পুরস্কার মডেল প্রক্সি হিসাবে মূল্য ফাংশন: হালকা MLP মূল পুরস্কার সংকেতের সমস্ত সূক্ষ্মতা ক্যাপচার করতে পারে না
শেষ স্তর হস্তক্ষেপ: বর্তমান বাস্তবায়ন শুধুমাত্র শেষ ট্রান্সফর্মার স্তরে হস্তক্ষেপ প্রয়োগ করে, মডেলের প্রতিনিধিত্ব স্তরগুলি সম্পূর্ণভাবে ব্যবহার করতে পারে না
গণনা ওভারহেড: যদিও তুলনামূলকভাবে দক্ষ, তবুও অতিরিক্ত মূল্য ফাংশন প্রশিক্ষণ এবং অনুমান সময় গণনা প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

পুরস্কার মডেল ক্ষমতা আরও ভালভাবে অনুমান করার জন্য আরও জটিল মূল্য ফাংশন আর্কিটেকচার অন্বেষণ করা
বহু-স্তরের হস্তক্ষেপ কৌশল বা মনোযোগ-স্তরের সংশোধন গবেষণা করা
কঠিন ক্ষেত্রে সম্পূর্ণ পুরস্কার মডেল নির্বাচনীভাবে অনুসন্ধান করার জন্য অভিযোজিত প্রক্রিয়া বিকাশ করা

গভীর মূল্যায়ন

শক্তি

শক্তিশালী উদ্ভাবন: বৈশিষ্ট্য নিয়ন্ত্রণকে লক্ষ্য অর্জন সমস্যা হিসাবে পুনর্নির্ধারণ করে, ঐতিহ্যবাহী দিকনির্দেশনামূলক সারিবদ্ধকরণের সীমাবদ্ধতা অতিক্রম করে
পদ্ধতি সিস্টেমেটিক: মূল্য ফাংশন প্রশিক্ষণ, TD শিক্ষা এবং গ্রেডিয়েন্ট হস্তক্ষেপ একটি সম্পূর্ণ প্রযুক্তিগত সিস্টেম গঠন করে
পরীক্ষা-নিরীক্ষা ব্যাপক: দুটি ডেটাসেট, দুটি মডেলে ব্যাপক মূল্যায়ন, অ্যাবলেশন পরীক্ষা এবং অ্যাপ্লিকেশন যাচাইকরণ অন্তর্ভুক্ত
ব্যবহারিক মূল্য উচ্চ: পেরেটো সীমানা অনুমান এবং মডেল পাতনে উল্লেখযোগ্য দক্ষতা বৃদ্ধি প্রদর্শন করে

অপূর্ণতা

অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: সংমিশ্রণ গ্যারান্টি এবং হস্তক্ষেপ স্থিতিশীলতার তাত্ত্বিক বিশ্লেষণের অভাব
মূল্য ফাংশন নির্ভরতা: পদ্ধতির কর্মক্ষমতা মূল্য ফাংশনের গুণমানের উপর অনেকাংশে নির্ভর করে
সাধারণীকরণ ক্ষমতা: শুধুমাত্র নির্দিষ্ট বৈশিষ্ট্য এবং মডেলে যাচাই করা হয়েছে, সাধারণীকরণ ক্ষমতা আরও যাচাইকরণের প্রয়োজন
গণনা জটিলতা: যদিও তুলনামূলকভাবে দক্ষ, অনুমান সময় এখনও অতিরিক্ত গণনা প্রয়োজন

প্রভাব

একাডেমিক অবদান: LLM নির্ভুল নিয়ন্ত্রণের জন্য নতুন গবেষণা প্যারাডাইম প্রদান করে
ব্যবহারিক মূল্য: ব্যক্তিগতকৃত AI সিস্টেম এবং বহু-উদ্দেশ্য অপ্টিমাইজেশনের জন্য কার্যকর সরঞ্জাম প্রদান করে
পুনরুৎপাদনযোগ্যতা: লেখক সম্পূর্ণ কোড এবং পরীক্ষা-নিরীক্ষা কনফিগারেশন প্রদান করেন

প্রযোজ্য পরিস্থিতি

ব্যক্তিগতকৃত বিষয়বস্তু প্রজন্ম: পাঠ্য শৈলী, জটিলতা ইত্যাদি বৈশিষ্ট্য নির্ভুলভাবে নিয়ন্ত্রণ করা প্রয়োজন
বহু-উদ্দেশ্য অপ্টিমাইজেশন: দ্বন্দ্বপূর্ণ বৈশিষ্ট্যের মধ্যে সর্বোত্তম ভারসাম্য খুঁজে পাওয়া
মডেল সারিবদ্ধকরণ: নির্দিষ্ট বৈশিষ্ট্য প্রয়োজনীয়তা পূরণকারী প্রশিক্ষণ ডেটা দক্ষতার সাথে তৈরি করা
ইন্টারেক্টিভ AI সিস্টেম: ব্যবহারকারীর প্রতিক্রিয়ার উপর ভিত্তি করে গতিশীলভাবে আউটপুট বৈশিষ্ট্য সামঞ্জস্য করা

রেফারেন্স

পেপারটি 46টি সম্পর্কিত রেফারেন্স উদ্ধৃত করে, যা LLM সারিবদ্ধকরণ, বহু-উদ্দেশ্য অপ্টিমাইজেশন, প্রতিনিধিত্ব প্রকৌশল এবং অন্যান্য মূল ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণা পেপার যা নির্ভুল বৈশিষ্ট্য তীব্রতা নিয়ন্ত্রণের জন্য একটি উদ্ভাবনী পদ্ধতি প্রস্তাব করে, তাত্ত্বিক অবদান এবং ব্যবহারিক মূল্য উভয় ক্ষেত্রেই চমৎকার পারফরম্যান্স প্রদর্শন করে। পদ্ধতি ডিজাইন যুক্তিসঙ্গত, পরীক্ষা-নিরীক্ষা যাচাইকরণ ব্যাপক, এবং এটি LLM নিয়ন্ত্রণ ক্ষেত্রে গুরুত্বপূর্ণ অবদান রাখে।