2025-11-22T12:04:16.552264

Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment frm Heterogeneous Rewards

Zhuang, Chen, Zeng et al.

We study deploying large language models (LLMs) as business development (BD) agents for persuasive price negotiation in online travel agencies (OTAs), where aligning traveler affordability and hotel profitability directly affects bookings, partner relationships, and access to travel. The agent must follow a Standard Operating Procedure (SOP) while conducting multi-turn persuasion, interpreting colloquial inputs, and adhering to guardrails (no over-promising, no hallucinations). Conventional post-training -- supervised fine-tuning (SFT) or single-source reward optimization -- overfits scripts, misses nuanced persuasive style, and fails to enforce verifiable business constraints. We propose Reward-Enhanced Policy Optimization (REPO), a reinforcement learning post-training framework that aligns an LLM with heterogeneous rewards: a preference-trained reward model (RM) for dense human alignment, a reward judge (RJ) for high-level persuasive behavior and SOP compliance, and programmatic reward functions (RF) for deterministic checks on numerics, formatting, and guardrails. A straightforward enhancement mechanism is proposed to combine the RM with RJ and RF signals to curb reward hacking and improve negotiation quality. In production-style evaluations -- approximately 150 turns from real dialogues and 225 turns from curated bad-case dialogues -- REPO lifts average dialogue rating to 4.63: +1.20 over base, +0.83 over Direct Preference Optimization (DPO); +0.33 over Group Relative Policy Optimization (GRPO), increases the share of conversations with at least one excellent response to 66.67% (+23.34 percentage points over GRPO), and achieves a 93.33% bad-case fix rate with 75.56% clean fixes, outperforming SFT, DPO, PPO, and GRPO. We also observe emergent capabilities -- proactive empathy, localized reasoning, calibrated tactics -- that surpass gold annotations.

academic

LLM को प्रेरक बनाना सिखाना: विषम पुरस्कारों से संरेखण के लिए पुरस्कार-संवर्धित नीति अनुकूलन

बुनियादी जानकारी

पेपर ID: 2510.04214
शीर्षक: Teaching LLM to be Persuasive: Reward-Enhanced Policy Optimization for Alignment from Heterogeneous Rewards
लेखक: Zhuoran Zhuang, Ye Chen, Xia Zeng*, Chao Luo, Luhui Liu और Yihan Chen (Fliggy Alibaba)
वर्गीकरण: cs.CL
प्रकाशन तिथि: 11 अक्टूबर 2025 (arXiv v2)
पेपर लिंक: https://arxiv.org/abs/2510.04214v2

सारांश

यह अनुसंधान बड़े भाषा मॉडल (LLMs) को ऑनलाइन यात्रा एजेंसियों (OTAs) के व्यावसायिक विकास (BD) एजेंटों के रूप में तैनात करने की खोज करता है, जो प्रेरक मूल्य वार्ता के लिए हैं। यह एजेंट यात्रियों की क्षमता और होटल की लाभप्रदता को संतुलित करते हुए, मानक संचालन प्रक्रिया (SOP) के अनुसार बहु-दौर प्रेरण, मौखिक इनपुट को समझना, और सुरक्षा नियमों का पालन करना आवश्यक है। पारंपरिक प्रशिक्षण-पश्चात विधियां (जैसे पर्यवेक्षित सूक्ष्म-ट्यूनिंग या एकल पुरस्कार अनुकूलन) स्क्रिप्ट ओवरफिटिंग, सूक्ष्म प्रेरक शैली की कमी, और सत्यापन योग्य व्यावसायिक बाधाओं को लागू करने में असमर्थता की समस्याओं का सामना करती हैं।

लेखकों ने पुरस्कार-संवर्धित नीति अनुकूलन (REPO) ढांचा प्रस्तावित किया है, जो एक सुदृढ़ीकरण सीखने की प्रशिक्षण-पश्चात ढांचा है जो विषम पुरस्कारों का उपयोग करके LLM को संरेखित करता है: वरीयता प्रशिक्षण के लिए पुरस्कार मॉडल (RM) घने मानव संरेखण के लिए, पुरस्कार न्यायाधीश (RJ) उच्च-स्तरीय प्रेरक व्यवहार और SOP अनुपालन के लिए, और प्रोग्रामेटिक पुरस्कार फ़ंक्शन (RF) संख्यात्मक, प्रारूप और सुरक्षा के निर्धारक जांच के लिए। उत्पादन-स्तरीय मूल्यांकन में, REPO ने संवाद गुणवत्ता और समस्या मरम्मत दर में महत्वपूर्ण सुधार दिखाया है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

ऑनलाइन यात्रा एजेंसी की मूल्य वार्ता एक जटिल व्यावसायिक परिदृश्य है जिसमें BD एजेंट को होटल प्रबंधकों के साथ बहु-दौर संवाद में शामिल होना आवश्यक है, जिसका लक्ष्य होटल की लाभप्रदता बनाए रखते हुए कमरे की कीमत कम करना है ताकि यात्रियों की क्षमता बढ़ सके। यह वार्ता सीधे कमरे की बुकिंग, साझेदारी संबंधों और समग्र यात्रा लागत को प्रभावित करती है।

चुनौती विश्लेषण

वार्ता की जटिलता: सूक्ष्म, संदर्भ-जागरूक तर्क और प्रेरक अंतःक्रिया की आवश्यकता है, जिसमें रियायत अंशांकन, प्रतिद्वंद्वी तुलना, सहानुभूति ढांचे आदि शामिल हैं
चरणबद्ध प्रक्रिया अनुपालन: SOP के अनुसार बहु-चरण प्रक्रिया में वर्तमान स्थिति का अनुमान लगाना और संबंधित कार्रवाई करना आवश्यक है
सत्यापन योग्य संख्यात्मक और सुरक्षा: आउटपुट को सख्त व्यावसायिक बाधाओं को पूरा करना चाहिए, जैसे सटीक मूल्य निर्धारण, वैध प्रारूप, झूठे वादों से बचना
प्रेरक और अनुकूली प्रतिक्रिया उत्पादन: विभिन्न परिदृश्यों को संभालने की आवश्यकता है, जिसमें सीमांत मामले और प्रतिकूल परिदृश्य शामिल हैं

मौजूदा विधियों की सीमाएं

पर्यवेक्षित सूक्ष्म-ट्यूनिंग (SFT): प्रशिक्षण डेटा के लिए ओवरफिटिंग की प्रवृत्ति, सीमित सामान्यीकरण क्षमता
प्रत्यक्ष वरीयता अनुकूलन (DPO): वरीयता डेटा गुणवत्ता पर निर्भरता, संरचित व्यावसायिक नियमों को लागू करने के लिए तंत्र की कमी
पारंपरिक सुदृढ़ीकरण सीखना (PPO/GRPO): अस्थिर प्रशिक्षण गतिशीलता, "पुरस्कार हैकिंग" के लिए प्रवण

मुख्य योगदान

औद्योगिक-स्तरीय मूल्य वार्ता कार्य पर पहला LLM अनुसंधान: पारंपरिक प्रश्नोत्तर कार्यों से परे जटिल, दीर्घकालीन प्रेरक परिदृश्यों को हल करता है
REPO ढांचा प्रस्तावित करना: पहला जटिल कार्य-उन्मुख संवाद संरेखण ढांचा जो वरीयता, न्यायाधीश और प्रोग्रामेटिक पुरस्कारों को एकत्रित करता है
व्यापक मूल्यांकन सत्यापन: REPO की वार्ता प्रभावशीलता, अनुपालन और उभरती प्रेरक क्षमताओं में श्रेष्ठता को प्रमाणित करता है, जो मानव-एनोटेटेड स्वर्ण मानक से परे है

विधि विवरण

कार्य परिभाषा

OTA मूल्य वार्ता कार्य के लिए BD एजेंट को होटलों के साथ बहु-दौर संवाद में शामिल होना आवश्यक है, बाजार की स्थितियों के अनुसार कमरे की कीमत को समायोजित करना। लक्ष्य यात्रियों की क्षमता और होटल की लाभप्रदता को संतुलित करना है, जीत-जीत परिणाम सुनिश्चित करना है।

REPO आर्किटेक्चर

त्रि-स्रोत पुरस्कार डिजाइन

पुरस्कार मॉडल (RM): वरीयता डेटा पर प्रशिक्षित मॉडल, घने मानव संरेखण संकेत प्रदान करता है, मानव BD प्रेरक शैली और रणनीति सीखता है
पुरस्कार न्यायाधीश (RJ): LLM-as-a-judge ढांचा, SOP अनुपालन, भावनात्मक मूल्य, प्रेरक शैली जैसे उच्च-स्तरीय व्यवहार का मूल्यांकन करता है
प्रोग्रामेटिक पुरस्कार फ़ंक्शन (RF): व्यावसायिक संख्यात्मक, प्रारूप, सुरक्षा और लंबाई आवश्यकताओं की निर्धारक जांच

पुरस्कार संवर्धन तंत्र

REPO स्थिरता-संरक्षण मॉड्यूलेशन रणनीति अपनाता है, RJ और RF को मुख्य RM संकेत को स्केल करने के लिए सहायक संकेत के रूप में उपयोग करता है:

Eenh = clip(Ejudge + Efunc, -n, n)
Rtotal = Rmodel(1 ± Eenh/n)

यह संकेत-जागरूक, परिमाण-संवेदनशील स्केलिंग निम्नलिखित प्रभाव रखता है:

जब Rmodel > 0 और Eenh > 0 हो, तो पुरस्कार को बढ़ाया जाता है
जब Rmodel > 0 और Eenh < 0 हो, तो पुरस्कार को दबाया जाता है
जब Rmodel < 0 हो, तो दंड को क्रमशः कम या बढ़ाया जाता है

कुशल कम्प्यूटेशन अनुकूलन

LoRA अडैप्टर: नीति और मूल्य नेटवर्क पर कम-रैंक अनुकूलन का उपयोग, मेमोरी को कम करता है और प्रशिक्षण को तेज करता है
संदर्भ-मुक्त मॉडल: KL दंड का उपयोग नहीं करता है, LoRA की कम-रैंक बाधा स्थिर अपडेट का समर्थन करती है
समूह-मुक्त कम्प्यूटेशन: समूह-आधारित स्कोरिंग और एकत्रीकरण से बचता है, प्रक्षेपवक्र द्वारा पुरस्कार की गणना करता है

प्रयोगात्मक सेटअप

मॉडल और पैरामीटर

आधार मॉडल: Qwen3-32B-Instruct
अधिकतम प्रतिक्रिया लंबाई: 512 tokens
बैच आकार: 128
LoRA कॉन्फ़िगरेशन: rank=64, alpha=64
सीखने की दर: 1e-6
प्रशिक्षण एपोक: पर्यवेक्षित चरण (SFT/DPO) 10 एपोक, RL चरण (PPO/GRPO/REPO) 2 एपोक

प्रशिक्षण डेटा

उच्च-गुणवत्ता वरीयता डेटासेट का निर्माण किया गया, जिसमें 6,632 नमूने शामिल हैं:

252 ऑनलाइन उत्पादन से मामले
3,178 भाषा विशेषज्ञों द्वारा एनोटेट किए गए नमूने
1,211 कार्य विशेषज्ञों (मानव BD) द्वारा एनोटेट किए गए नमूने
1,991 प्रारंभिक SFT एनोटेशन के बाद मानव BD द्वारा समृद्ध वरीयता डेटा

मूल्यांकन डेटा

ऑनलाइन नमूने: 30 पूर्ण उत्पादन संवाद (लगभग 150 दौर), होटल इरादे के वास्तविक वितरण को प्रतिबिंबित करते हैं
समस्या केस संग्रह: 45 संवाद (लगभग 225 दौर), व्यावसायिक विशेषज्ञों द्वारा तैयार किए गए, आधार मॉडल त्रुटियों के विभिन्न मामलों को कवर करते हैं

तुलनात्मक विधियां

SFT: पर्यवेक्षित सूक्ष्म-ट्यूनिंग
DPO: प्रत्यक्ष वरीयता अनुकूलन
PPO: निकटवर्ती नीति अनुकूलन
GRPO: समूह सापेक्ष नीति अनुकूलन

प्रयोगात्मक परिणाम

मुख्य परिणाम

ऑनलाइन नमूना मूल्यांकन

दो मेट्रिक्स का उपयोग करके मूल्यांकन किया गया:

समग्र संवाद स्कोर (1-5 पैमाना): REPO 4.63 अंक प्राप्त करता है, आधार से +1.20, DPO से +0.83, GRPO से +0.33 सुधार
उत्कृष्ट प्रतिक्रिया संवाद का अनुपात: REPO 66.67% तक पहुंचता है, आधार से 5 गुना सुधार (13.33%), DPO से लगभग 2 गुना (33.33%), GRPO से +23.34 प्रतिशत बिंदु

समस्या केस मरम्मत

कुल मरम्मत दर: REPO, DPO, SFT सभी 93.33% तक पहुंचते हैं
स्वच्छ मरम्मत दर: REPO सर्वोच्च (75.56%), अन्य विधियों से काफी बेहतर
गंभीर अनसुलझे मामले: REPO 0%, सर्वश्रेष्ठ प्रदर्शन

विलोपन प्रयोग

उभरती वार्ता क्षमता विश्लेषण

प्रशिक्षण प्रक्रिया में प्रेरक क्षमता स्कोर को ट्रैक करके, REPO तीन चरणों को प्रदर्शित करता है:

प्रारंभिक चरण (0-30 कदम): अन्वेषण अस्थिर
सीखने का चरण (30-100 कदम): नीति में स्थिर सुधार
अभिसरण चरण (100-190 कदम): प्रदर्शन स्थिर होता है

अंतिम चेकपॉइंट प्रारंभिक चेकपॉइंट से लगभग 30% सुधार दिखाता है।

सूक्ष्म-दानेदार संवाद कौशल मूल्यांकन

चार द्विआधारी कौशलों पर मूल्यांकन: संवाद प्रवाहिता, कार्यप्रवाह अनुपालन, वार्ता प्रभावशीलता, दायरा समझ। REPO वार्ता प्रभावशीलता में स्पष्ट रूप से आगे है, जो विभिन्न विधियों को अलग करने वाला मुख्य संकेतक है।

केस विश्लेषण

पेपर REPO प्रशिक्षण के बाद उभरी क्षमताओं को प्रदर्शित करता है:

भावनात्मक मूल्य + मूल कारण तर्क: स्वर्ण मानक से अधिक समृद्ध संदर्भ-जागरूक तर्क प्रदान करता है
होटल प्रकार के लिए लक्षित पिच: प्रतिद्वंद्वी जागरूकता के साथ कारणों को जोड़ता है
सीमित जानकारी के तहत प्रेरण: जोखिम और रूपांतरण तर्क का उपयोग करके अनुरोध को पुनः तैयार करता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

REPO सावधानीपूर्वक डिजाइन किए गए बहु-स्रोत पुरस्कारों के माध्यम से सक्रिय मूल्य वार्ता को सफलतापूर्वक प्राप्त करता है। मानव विशेषज्ञ मूल्यांकन में, REPO संवाद गुणवत्ता, उत्कृष्ट प्रतिक्रिया घटना दर और समस्या केस मरम्मत में सभी आधार विधियों से लगातार बेहतर है।

सीमाएं

मूल्यांकन दायरा सीमित: केवल मूल्य वार्ता कार्य पर मूल्यांकन, व्यापक कार्यों और सेटिंग्स पर प्रभावशीलता सत्यापन की आवश्यकता है
कम्प्यूटेशनल संसाधन आवश्यकताएं: प्रशिक्षण के लिए बड़े कम्प्यूटेशनल संसाधनों की आवश्यकता है
डोमेन विशिष्टता: विधि विशिष्ट व्यावसायिक परिदृश्य के लिए डिजाइन की गई है

भविष्य की दिशाएं

छोटे मॉडल बैकबोन तक विस्तार
व्यापक डोमेन और भाषाओं पर आवेदन
पुरस्कार डिजाइन में सुधार

गहन मूल्यांकन

शक्तियां

उच्च व्यावहारिक अनुप्रयोग मूल्य: वास्तविक व्यावसायिक परिदृश्यों में जटिल समस्याओं को हल करता है
मजबूत विधि नवाचार: पहली बार तीन विषम पुरस्कार संकेतों को व्यवस्थित रूप से जोड़ता है
व्यापक मूल्यांकन: उत्पादन-स्तरीय डेटा और बहु-आयामी मूल्यांकन मेट्रिक्स शामिल हैं
उचित तकनीकी कार्यान्वयन: LoRA जैसी तकनीकों के माध्यम से कुशल प्रशिक्षण प्राप्त करता है
महत्वपूर्ण उभरती क्षमताएं: मानव एनोटेशन से परे प्रेरक क्षमता प्रदर्शित करता है

कमियां

अपर्याप्त सामान्यीकरण सत्यापन: केवल एकल कार्य पर सत्यापन, क्रॉस-डोमेन मूल्यांकन की कमी
सीमित सैद्धांतिक विश्लेषण: पुरस्कार संयोजन तंत्र के लिए सैद्धांतिक गारंटी की कमी
अपर्याप्त कम्प्यूटेशनल लागत विश्लेषण: आधार विधियों की तुलना में कम्प्यूटेशनल ओवरहेड का विस्तृत विश्लेषण नहीं
दीर्घकालीन प्रभाव अज्ञात: दीर्घकालीन तैनाती प्रभाव का विश्लेषण अनुपस्थित है

प्रभाव

शैक्षणिक योगदान: जटिल कार्य-उन्मुख संवाद के लिए LLM संरेखण के लिए नई सोच प्रदान करता है
औद्योगिक मूल्य: वास्तविक व्यावसायिक परिदृश्यों में सीधे अनुप्रयोग, मजबूत व्यावहारिकता
विधि प्रेरणा: विषम पुरस्कार एकीकरण की सोच अन्य जटिल कार्यों तक विस्तारित की जा सकती है

लागू परिदृश्य

ग्राहक सेवा और बिक्रय संवाद प्रणाली: प्रेरण और वार्ता क्षमता की आवश्यकता वाले परिदृश्य
बहु-बाधा अनुकूलन कार्य: विभिन्न प्रकार की बाधाओं को एक साथ पूरा करने की आवश्यकता वाले उत्पादन कार्य
व्यावसायिक प्रक्रिया स्वचालन: जटिल SOP के अनुपालन की आवश्यकता वाली स्वचालित प्रणाली

संदर्भ

पेपर सुदृढ़ीकरण सीखना, संवाद प्रणाली, नियंत्रणीय पाठ उत्पादन आदि क्षेत्रों के महत्वपूर्ण कार्यों का हवाला देता है, जिसमें शामिल हैं:

Ouyang et al., 2022 (RLHF)
Rafailov et al., 2024 (DPO)
Shao et al., 2024 (GRPO)
Zheng et al., 2023 (LLM-as-a-judge)

समग्र मूल्यांकन: यह एक उच्च-गुणवत्ता वाला अनुप्रयोग अनुसंधान पेपर है जो वास्तविक व्यावसायिक समस्याओं को हल करते हुए मूल्यवान तकनीकी नवाचार प्रस्तावित करता है। REPO ढांचे का डिजाइन उचित है, प्रयोगात्मक मूल्यांकन पर्याप्त है, और प्रदर्शित उभरती क्षमताएं प्रभावशाली हैं। हालांकि सामान्यीकरण सत्यापन और सैद्धांतिक विश्लेषण में सुधार की गुंजाइश है, लेकिन जटिल कार्य-उन्मुख संवाद क्षेत्र में इसका योगदान महत्वपूर्ण है।