2025-11-13T03:04:10.509981

Boosting Instruction Following at Scale

Elder, Duesterwald, Muthusamy

A typical approach developers follow to influence an LLM's behavior in an application is through careful manipulation of the prompt, such as by adding or modifying instructions. However, merely adding more instructions provides little assurance that they will actually be followed. We introduce Instruction Boosting as a post-generation method to increase the reliability of LLM prompt instructions. We show that Instruction Boosting improves the instruction following rate by up to 7 points for two instructions and up to 4 points for ten instructions. To demonstrate these results we introduce SCALEDIF, a benchmark with a scaled instruction volume of up to ten instructions per data sample. We also present an analysis of the commonly observed trend that performance degrades as more instructions are added. We show that an important factor contributing to this trend is the degree of tension and conflict that arises as the number of instructions is increased. We contribute a quantitative conflict scoring tool that explains the observed performance trends and provides feedback to developers on the impact that additional prompt instructions have on a model's performance.

academic

निर्देश पालन को स्केल पर बढ़ाना

मूल जानकारी

पेपर ID: 2510.14842
शीर्षक: Boosting Instruction Following at Scale
लेखक: Ben Elder, Evelyn Duesterwald, Vinod Muthusamy (IBM T.J. Watson Research)
वर्गीकरण: cs.AI
प्रकाशन तिथि: 16 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.14842

सारांश

डेवलपर्स आमतौर पर सावधानीपूर्वक डिज़ाइन किए गए प्रॉम्प्ट के माध्यम से बड़े भाषा मॉडल (LLM) के व्यवहार को प्रभावित करते हैं, जैसे निर्देश जोड़ना या संशोधित करना। हालांकि, केवल अधिक निर्देश जोड़ने से यह गारंटी नहीं मिलती कि उनका पालन किया जाएगा। यह पेपर निर्देश बूस्टिंग (Instruction Boosting) को एक पोस्ट-जनरेशन विधि के रूप में प्रस्तावित करता है जो LLM प्रॉम्प्ट निर्देशों की विश्वसनीयता में सुधार करता है। अनुसंधान से पता चलता है कि निर्देश बूस्टिंग दो निर्देशों पर निर्देश पालन दर में 7 प्रतिशत अंक तक सुधार कर सकता है, और दस निर्देशों पर 4 प्रतिशत अंक तक। परिणामों को सत्यापित करने के लिए, लेखकों ने SCALEDIF बेंचमार्क पेश किया, जिसमें प्रत्येक डेटा नमूने के लिए अधिकतम दस निर्देश हैं। पेपर निर्देशों की संख्या बढ़ने के साथ प्रदर्शन में गिरावट की सामान्य प्रवृत्ति का विश्लेषण भी करता है, जो दर्शाता है कि इस प्रवृत्ति का कारण निर्देश संख्या बढ़ने पर उत्पन्न तनाव और संघर्ष की डिग्री है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्याएं

निर्देश पालन की अविश्वसनीयता: डेवलपर्स द्वारा जोड़े गए प्रॉम्प्ट निर्देशों को LLM द्वारा वास्तव में पालन किए जाने की गारंटी नहीं है
निर्देश विस्तार समस्या: निर्देशों की संख्या बढ़ने के साथ, LLM की निर्देश पालन दर (IF दर) में उल्लेखनीय गिरावट आती है
निर्देश संघर्ष: कई निर्देशों के बीच तनाव या सीधा विरोध हो सकता है, जिससे सभी निर्देशों को एक साथ पूरा करना मुश्किल हो जाता है

अनुसंधान का महत्व

LLM बुद्धिमान अनुप्रयोग विकास के लिए मूल घटक बन गए हैं, लेकिन उनके व्यवहार को नियंत्रित करना कठिन है
प्रॉम्प्ट इंजीनियरिंग LLM व्यवहार को प्रभावित करने का मुख्य तरीका है, लेकिन विश्वसनीयता की गारंटी की कमी है
मौजूदा अनुसंधान बड़े पैमाने पर निर्देश परिदृश्यों के व्यवस्थित विश्लेषण की कमी करता है

मौजूदा विधियों की सीमाएं

पारंपरिक विधियां मुख्य रूप से एकल या कम निर्देशों के पालन पर ध्यान केंद्रित करती हैं
निर्देश संघर्ष और विस्तारशीलता समस्याओं के लिए व्यवस्थित समाधान की कमी है
मौजूदा बेंचमार्क (जैसे IFEval) में अधिकतम 3 निर्देश हैं, जो बड़े पैमाने पर निर्देश परिदृश्यों का मूल्यांकन नहीं कर सकते

मुख्य योगदान

निर्देश बूस्टिंग विधि प्रस्तावित करना: एक परीक्षण-समय पोस्ट-जनरेशन विधि जो प्रारंभिक प्रतिक्रिया को सुधारकर और परिष्कृत करके निर्देश पालन दर में सुधार करती है
SCALEDIF डेटासेट का निर्माण: IFEval डेटासेट का विस्तार, जिसमें प्रत्येक नमूने के लिए अधिकतम 10 निर्देशों के साथ बड़े पैमाने पर निर्देश पालन बेंचमार्क है
मात्रात्मक संघर्ष स्कोरिंग उपकरण: निर्देश संघर्ष के लिए एक मात्रात्मक स्कोरिंग तंत्र विकसित किया गया है जो प्रदर्शन प्रवृत्तियों को समझाता है और डेवलपर्स को प्रतिक्रिया प्रदान करता है
सॉफ्ट संघर्ष अवधारणा: निर्देशों के बीच "सॉफ्ट संघर्ष" की अवधारणा को औपचारिक रूप से परिभाषित किया गया है और प्रदर्शन पर इसके प्रभाव का विश्लेषण किया गया है

विधि विवरण

कार्य परिभाषा

एक क्वेरी Q, निर्देशों का एक सेट I={I₁, I₂, ..., Iₙ} और LLM की प्रारंभिक प्रतिक्रिया R दी गई है, निर्देश बूस्टिंग का लक्ष्य एक संशोधित प्रतिक्रिया R' उत्पन्न करना है, जो अधिक निर्देशों का पालन करता है।

निर्देश बूस्टिंग आर्किटेक्चर

समग्र प्रवाह

प्रारंभिक जनरेशन: LLM क्वेरी और निर्देशों के आधार पर प्रारंभिक प्रतिक्रिया उत्पन्न करता है
निर्देश पहचान: IF डिटेक्टर का उपयोग करके यह पहचानें कि कौन से निर्देशों का पालन नहीं किया गया है
बूस्टिंग एल्गोरिदम: प्रतिक्रिया को सुधारने के लिए विशिष्ट रणनीति लागू करें
अंतिम आउटपुट: अधिक निर्देशों का पालन करने वाली अंतिम प्रतिक्रिया उत्पन्न करें

चार बूस्टिंग रणनीतियां

1. Detect+Repair

पहचान चरण: LLM-as-a-judge डिटेक्टर का उपयोग करके उल्लंघन किए गए निर्देशों की पहचान करें
मरम्मत चरण: सभी पहचाने गए निर्देश उल्लंघनों को ठीक करने के लिए प्रतिक्रिया को फिर से लिखें

2. Best-of-N

N पुनर्लेखन प्रतिक्रियाओं का नमूना लें (N=5)
judge डिटेक्टर को पुरस्कार मॉडल के रूप में उपयोग करके स्कोर करें
सर्वोच्च IF दर वाली प्रतिक्रिया को अंतिम आउटपुट के रूप में चुनें

3. Best-of-N Oracle

Best-of-N के समान, लेकिन निर्धारक IFEval सत्यापनकर्ता को oracle पुरस्कार मॉडल के रूप में उपयोग करें
मॉडल पुनर्लेखन की संभावित क्षमता की ऊपरी सीमा का मूल्यांकन करने के लिए

4. Map Reduce

Map चरण: प्रत्येक उल्लंघन किए गए निर्देश के लिए स्वतंत्र पुनर्लेखन कार्य बनाएं
Reduce चरण: स्वतंत्र रूप से उत्पन्न पुनर्लेखन प्रतिक्रियाओं को अंतिम प्रतिक्रिया में मिलाएं

तकनीकी नवाचार बिंदु

पोस्ट-जनरेशन अनुकूलन: "सबऑप्टिमल प्रतिक्रिया को सुधारना सीधे परिपूर्ण प्रतिक्रिया उत्पन्न करने से आसान है" के अवलोकन पर आधारित
बहु-रणनीति डिज़ाइन: विभिन्न लागत-प्रदर्शन ट्रेडऑफ़ के साथ रणनीति विकल्प प्रदान करें
सॉफ्ट संघर्ष परिमाणीकरण: स्व-खेल विधि के माध्यम से निर्देशों के बीच सॉफ्ट संघर्ष को अनुभवजन्य रूप से पहचानें

प्रयोगात्मक सेटअप

SCALEDIF डेटासेट निर्माण

आधार डेटा

IFEval डेटासेट के 538 नमूने (मूल 541 में से 538)
प्रत्येक नमूने में एक क्वेरी और 10 अद्वितीय निर्देश हैं
26 क्वेरी-अनिर्भर निर्देश श्रेणियां, 8 श्रेणियों में विभाजित

निर्देश श्रेणियां

change_case: बड़े/छोटे अक्षर परिवर्तन
combination: संयोजन बाधाएं
detectable_content: पहचानने योग्य सामग्री
detectable_format: पहचानने योग्य प्रारूप
keywords: कीवर्ड बाधाएं
length_constraints: लंबाई बाधाएं
punctuation: विराम चिह्न
startend: शुरुआत अंत बाधाएं

बाधा नमूनाकरण एल्गोरिदम

निर्देश पैरामीटर नमूनाकरण के समय कठोर संघर्षों से बचने के लिए Algorithm 1 का उपयोग करें:

जोड़ीदार बाधा निष्पादन: नए निर्देश जोड़ते समय मौजूदा निर्देशों के साथ बाधाओं की गणना करें
पैरामीटर सत्यापन: सुनिश्चित करें कि नए निर्देश पैरामीटर सभी मौजूदा बाधाओं को पूरा करते हैं
संघर्ष परिहार: जैसे keywords:existence और keywords:forbidden_words के कीवर्ड अलग होने चाहिए

मूल्यांकन मेट्रिक्स

निर्देश पालन दर (IF दर): मॉडल द्वारा पालन किए गए निर्देशों की संख्या कुल निर्देशों की संख्या का अनुपात
कार्य आसंजन: क्या प्रतिक्रिया मूल क्वेरी से संबंधित है
संघर्ष स्कोर: निर्देश सेट के बीच सॉफ्ट संघर्ष की डिग्री को परिमाणित करें

प्रयोगात्मक मॉडल

Llama-3.3-70B-Instruct
Llama-3.1-8B-Instruct
Qwen2.5-72B-Instruct
Mixtral-8x7B-Instruct-v0.1
Mixtral-8x22B-Instruct-v0.1

प्रयोगात्मक परिणाम

मुख्य परिणाम

आधारभूत प्रदर्शन

2 निर्देश: IF दर 0.56 (Mixtral-8x7B) से 0.88 (Llama-70B) तक
10 निर्देश: IF दर 0.39 (Mixtral-8x7B) से 0.66 (Llama-70B) तक घटता है
सभी मॉडल निर्देशों की संख्या बढ़ने के साथ IF दर में गिरावट की प्रवृत्ति दिखाते हैं

बूस्टिंग प्रभाव

Best-of-N रणनीति सर्वश्रेष्ठ प्रदर्शन करती है:
- 2 निर्देश: अधिकतम 7 प्रतिशत अंक सुधार (Mixtral-8x22B)
- 10 निर्देश: अधिकतम 4 प्रतिशत अंक सुधार (Llama-70B)
Best-of-N Oracle संभावित सीमा दिखाता है:
- 2 निर्देश: 89% IF दर तक पहुंच सकता है (+2 प्रतिशत अंक)
- 10 निर्देश: 75% IF दर तक पहुंच सकता है (+8.5 प्रतिशत अंक)

लागत-लाभ विश्लेषण

Detect+Repair: सबसे कम लागत, लेकिन सीमित प्रभाव
Best-of-N: लागत और प्रदर्शन के बीच अच्छा संतुलन
Map Reduce: सर्वोच्च लागत, सीमित प्रदर्शन सुधार
Best-of-N Gen: Best-of-N से थोड़ी कम लागत, लेकिन पुनर्लेखन नमूनाकरण जितना प्रभावी नहीं

संघर्ष विश्लेषण परिणाम

सॉफ्ट संघर्ष स्कोरिंग

नमूने s के संघर्ष स्कोर की गणना करने के लिए सूत्र का उपयोग करें:

cs = Σ(i,j)∈p(s)×p(s),i≠j cij / |p(s)|

जहां cij निर्देश i और j के बीच संघर्ष गणना है।

मुख्य निष्कर्ष

संघर्ष स्कोर निर्देश संख्या के साथ सकारात्मक संबंध:
- 2 निर्देश: औसत संघर्ष स्कोर 0.24
- 10 निर्देश: औसत संघर्ष स्कोर 2.03
संघर्ष स्कोर IF दर के साथ नकारात्मक संबंध:
- 10 निर्देशों पर सहसंबंध गुणांक -0.37
- निर्देश संख्या बढ़ने के साथ सहसंबंध कमजोर होता है
"कठिन" नमूनों में उच्च संघर्ष स्कोर होता है: कम IF दर वाले नमूनों में वास्तव में उच्च संघर्ष स्कोर होता है

कार्य आसंजन

प्रारंभिक प्रतिक्रिया विफलता दर: अधिकतम 4% (8 निर्देशों पर 22/538)
बूस्टिंग के बाद अतिरिक्त विफलता: अधिकतम 1.3% (10 निर्देशों पर 7 अतिरिक्त विफलताएं)

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

निर्देश बूस्टिंग की प्रभावशीलता: विभिन्न मॉडलों पर निर्देश पालन दर में सुसंगत सुधार
सॉफ्ट संघर्ष मुख्य कारक है: निर्देशों के बीच संघर्ष बड़े पैमाने पर निर्देश पालन में कठिनाई का महत्वपूर्ण कारण है
पुनर्लेखन पुनर्जनन से बेहतर है: मौजूदा प्रतिक्रिया को सुधारना शुरुआत से परिपूर्ण प्रतिक्रिया उत्पन्न करने से अधिक प्रभावी है
संघर्ष स्कोर में भविष्यसूचक मूल्य है: डेवलपर्स के लिए प्रतिक्रिया उपकरण के रूप में कार्य कर सकता है

सीमाएं

संघर्ष मॉडलिंग सरलीकरण: वर्तमान में केवल जोड़ीदार निर्देश संघर्ष पर विचार करता है, जटिल बहु-निर्देश इंटरैक्शन को छोड़ सकता है
डिटेक्टर निर्भरता: विधि प्रभाव LLM डिटेक्टर की सटीकता से सीमित है
मूल्यांकन सीमा: मुख्य रूप से ओपन-सोर्स मॉडलों पर सत्यापित, बंद-स्रोत मॉडलों के मूल्यांकन की कमी
दीर्घकालीन प्रभाव अज्ञात: बार-बार बूस्टिंग के मॉडल व्यवहार पर दीर्घकालीन प्रभाव का विश्लेषण नहीं किया गया है

प्रभाव

शैक्षणिक योगदान: निर्देश पालन अनुसंधान के लिए नया मूल्यांकन बेंचमार्क और विधि ढांचा प्रदान करता है
व्यावहारिक मूल्य: LLM अनुप्रयोग डेवलपर्स को निर्देश विश्वसनीयता सुधार के लिए व्यावहारिक उपकरण प्रदान करता है
पुनरुत्पादनीयता: विस्तृत विधि विवरण और प्रॉम्प्ट टेम्पलेट परिणामों की पुनरुत्पादन का समर्थन करते हैं
विस्तार क्षमता: विधि ढांचा अन्य भाषा जनरेशन कार्यों तक विस्तारित किया जा सकता है

लागू परिदृश्य

बहु-बाधा जनरेशन कार्य: ऐसे परिदृश्य जहां एक साथ कई प्रारूप, सामग्री, शैली बाधाओं को पूरा करने की आवश्यकता है
उच्च विश्वसनीयता अनुप्रयोग: निर्देश पालन सटीकता के लिए उच्च आवश्यकता वाले व्यावसायिक अनुप्रयोग
प्रॉम्प्ट इंजीनियरिंग अनुकूलन: डेवलपर्स को निर्देश संघर्ष समस्याओं की पहचान और समाधान में मदद करता है
मॉडल मूल्यांकन: LLM निर्देश पालन क्षमता के लिए मानकीकृत मूल्यांकन उपकरण प्रदान करता है

संदर्भ

पेपर निर्देश पालन मूल्यांकन, स्व-सुधार, विचार श्रृंखला तर्क आदि संबंधित क्षेत्रों के महत्वपूर्ण कार्यों का हवाला देता है, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करता है। मुख्य संदर्भ साहित्य में IFEval बेंचमार्क, स्व-सुधार विधियां, और नवीनतम निर्देश पालन मूल्यांकन कार्य शामिल हैं।

Boosting Instruction Following at Scale

निर्देश पालन को स्केल पर बढ़ाना

मूल जानकारी

सारांश

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्याएं

अनुसंधान का महत्व

मौजूदा विधियों की सीमाएं

मुख्य योगदान

विधि विवरण

कार्य परिभाषा

निर्देश बूस्टिंग आर्किटेक्चर

समग्र प्रवाह

चार बूस्टिंग रणनीतियां

तकनीकी नवाचार बिंदु

प्रयोगात्मक सेटअप

SCALEDIF डेटासेट निर्माण

आधार डेटा

निर्देश श्रेणियां

बाधा नमूनाकरण एल्गोरिदम

मूल्यांकन मेट्रिक्स

प्रयोगात्मक मॉडल

प्रयोगात्मक परिणाम

मुख्य परिणाम

आधारभूत प्रदर्शन

बूस्टिंग प्रभाव

लागत-लाभ विश्लेषण

संघर्ष विश्लेषण परिणाम

सॉफ्ट संघर्ष स्कोरिंग

मुख्य निष्कर्ष

कार्य आसंजन

संबंधित कार्य

निर्देश पालन मूल्यांकन

परीक्षण-समय हस्तक्षेप विधियां

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

सीमाएं

प्रभाव

लागू परिदृश्य

संदर्भ