2025-11-22T14:58:15.937648

Precise Attribute Intensity Control in Large Language Models via Targeted Representation Editing

Zhang, Ye, Heng et al.

Precise attribute intensity control--generating Large Language Model (LLM) outputs with specific, user-defined attribute intensities--is crucial for AI systems adaptable to diverse user expectations. Current LLM alignment methods, however, typically provide only directional or open-ended guidance, failing to reliably achieve exact attribute intensities. We address this limitation with three key designs: (1) reformulating precise attribute intensity control as a target-reaching problem, rather than simple maximization; (2) training a lightweight value function via temporal-difference learning to predict final attribute intensity scores from partial generations, thereby steering LLM outputs; and (3) employing gradient-based interventions on hidden representations to navigate the model precisely towards specific attribute intensity targets. Our method enables fine-grained, continuous control over attribute intensities, moving beyond simple directional alignment. Experiments on LLaMA-3.2-3b and Phi-4-mini confirm our method's ability to steer text generation to user-specified attribute intensities with high accuracy. Finally, we demonstrate efficiency enhancements across three downstream tasks: preference data synthesis, Pareto frontier approximation and optimization, and distillation of aligned behaviors for intervention-free inference. Our code is available on https://github.com/Pre-Control/pre-control

academic

大規模言語モデルにおける標的表現編集を通じた正確な属性強度制御

基本情報

論文ID: 2510.12121
タイトル: Precise Attribute Intensity Control in Large Language Models via Targeted Representation Editing
著者: Rongzhi Zhang, Liqin Ye, Yuzhao Heng, Xiang Chen, Tong Yu, Lingkai Kong, Sudheer Chava, Chao Zhang
分類: cs.AI cs.CL cs.LG
発表時期/会議: プレプリント（査読中）
論文リンク: https://arxiv.org/abs/2510.12121

要約

本論文は、大規模言語モデル（LLM）の属性強度を正確に制御するためのPRE-CONTROLという手法を提案している。本手法は3つの重要な設計を通じて正確な属性強度制御を実現する：(1) 正確な属性強度制御を単純な最大化ではなく目標達成問題として再定式化する、(2) 時間差分学習を用いて軽量な価値関数を訓練し、部分生成から最終的な属性強度スコアを予測する、(3) 隠れ表現上で勾配ベースの介入を採用し、特定の属性強度目標へモデルを正確に導く。実験結果は、本手法がテキスト生成をユーザー指定の属性強度へ導くことができ、選好データ合成、パレート前線近似、および整列行動蒸留などの下流タスクで効率向上を示すことを明らかにしている。

研究背景と動機

問題定義

現在のLLM整列手法には重要な制限がある：方向性またはオープンエンドの指導のみを提供でき、正確な属性強度に確実に到達することができない。例えば、ユーザーはメールの形式性を単に「より形式的」または「あまり形式的でない」ではなく、5段階中3にしたいと望む場合がある。

問題の重要性

正確な属性強度制御は、多様なユーザー期待に適応するAIシステムの構築に不可欠であり、特に複数目標整列シナリオにおいて、異なる属性間に競合が存在する場合、連続スケール上でスカラーレベルの調整を行い最適なトレードオフを見つける必要がある。

既存手法の制限

RLHFおよびDPO：静的モデルを生成し、期望される行動の平均値をキャプチャし、優先度を調整するために高価な再訓練が必要
プロンプト手法：スタイル指示に対するモデルの解釈に完全に依存し、結果が一貫性に欠ける
ガイド付きデコーディング：通常、属性強度を連続値ではなく分類として扱う
多目標整列手法：グローバルパレート集合を近似するために大量の訓練が必要

研究動機

既存手法は正確な属性強度制御の能力に欠けており、本論文は細粒度で連続的な属性強度制御を実現し、単純な方向性整列を超えることを目指している。

核心的貢献

問題の再定式化：正確な属性強度制御を単純な最大化/最小化ではなく目標達成問題として定式化
価値関数アプローチ：時間差分学習を通じて軽量な価値関数を訓練し、部分生成から最終属性スコアを予測
表現編集技術：勾配ベースの隠れ表現介入を採用し、特定の属性強度目標へ正確に導く
効率的な応用：パレート前線近似（時間計算量がO(m^d)からO(n+k)に削減）および制御可能なモデル蒸留における効率的な利点を実証

方法の詳細

タスク定義

目標属性強度τ ∈ 0,1と報酬関数R(x)が与えられた場合、目標は属性強度スコアが目標値と一致するテキストを生成することであり、単純に報酬を最大化することではない。

モデルアーキテクチャ

1. 目標達成問題への再構成

従来の整列目標：

max_θ E_{x~π_θ}[R(x)]

本論文の目標達成表現：

min_θ E_{x~π_θ}[(R̂(x) - τ)²]

ここでR̂(x)は0,1に正規化された報酬関数である。

2. 価値関数の訓練

TD(λ)を使用して価値関数V_φ(h_t)を訓練し、部分系列の期待属性強度を予測する：

V_φ(h_t) ≈ E_{x>t~π_θ(·|x≤t)}[R̂(x≤t, x>t)]

一般化リターン計算：

G^λ_t = (1-λ)∑_{n=1}^{T-t-1} λ^{n-1}V_φ(s_{t+n}) + λ^{T-t-1}r_T

価値関数損失：

L_TD = E_{t,s_t}[(V_φ(s_t) - G^λ_t)²]

3. テスト時介入

勾配降下法により隠れ状態を調整する：

h_t ← h_t - α∇_{h_t}(V_φ(h_t) - τ)²

複数属性の場合：

h_t ← h_t - α∇_{h_t}∑_{i=1}^m w_i(V^i_φ(h_t) - τ_i)²

技術的革新点

目標指向設計：方向性最適化から正確な目標達成へのシフト
リアルタイムフィードバック機構：価値関数は生成プロセス中の中間フィードバックを提供
表現空間ナビゲーション：高次元表現空間での直接的な正確なナビゲーション
複数属性の協調：複数の競合する可能性のある属性を同時に制御

実験設定

データセット

HelpSteer2：20,324個の訓練サンプル、1,038個のテストサンプル、5つの属性を含む（有用性、正確性、一貫性、複雑性、冗長性）
Code-UltraFeedback：10,000個の複雑な指示、5つのプログラミング関連属性を含む（複雑性と効率性、スタイル、説明、指示追従、可読性）