विवेचनात्मक सर्किट: भाषा मॉडल विवेचना संबंध को कैसे समझते हैं?

बुनियादी जानकारी

• पेपर ID: 2510.11210
• शीर्षक: Discursive Circuits: How Do Language Models Understand Discourse Relations?
• लेखक: Yisong Miao, Min-Yen Kan (राष्ट्रीय सिंगापुर विश्वविद्यालय)
• वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान), cs.LG (मशीन लर्निंग)
• प्रकाशन समय: 13 अक्टूबर 2025 (arXiv प्रीप्रिंट)
• पेपर लिंक: https://arxiv.org/abs/2510.11210

सारांश

यह पेपर ट्रांसफॉर्मर भाषा मॉडल में उन घटकों की खोज करता है जो विवेचना समझ के लिए जिम्मेदार हैं। लेखकों का मानना है कि विरल कम्प्यूटेशनल ग्राफ (विवेचना सर्किट कहलाते हैं) मॉडल द्वारा विवेचना संबंधों को संसाधित करने के तरीके को नियंत्रित करते हैं। सरल कार्यों के विपरीत, विवेचना संबंध लंबे पाठ अवधि और जटिल तर्क को शामिल करते हैं। सर्किट खोज को व्यावहारिक बनाने के लिए, लेखकों ने "विवेचना संबंध के तहत समापन" (CUDR) कार्य प्रस्तुत किया, जो मॉडल को निर्दिष्ट संबंध के तहत विवेचना को पूरा करने देता है। प्रयोग दिखाते हैं कि विरल सर्किट (GPT-2 मॉडल का लगभग 0.2%) PDTB-आधारित CUDR कार्य में विवेचना समझ क्षमता को पुनः प्राप्त कर सकते हैं, और RST और SDRT जैसे अदेखे विवेचना ढांचे के लिए अच्छी तरह से सामान्यीकृत होते हैं।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

विवेचना संरचना भाषा मॉडल की सुरक्षा और नैतिक व्यवहार सुनिश्चित करने के लिए महत्वपूर्ण है, लेकिन भाषा मॉडल आंतरिक रूप से विवेचना को कैसे संसाधित करते हैं, इस बारे में बहुत कम ज्ञात है, जो मॉडल की विश्वसनीयता और हानिरहित आउटपुट सुनिश्चित करने की हमारी क्षमता को सीमित करता है।

अनुसंधान का महत्व

1. सुरक्षा आवश्यकता: विवेचना समझ मॉडल की सुरक्षा और नैतिक व्यवहार के लिए महत्वपूर्ण है
2. व्याख्यात्मकता की कमी: मौजूदा विधियों में विवेचना प्रसंस्करण तंत्र की गहन समझ का अभाव है
3. जटिलता चुनौती: विवेचना संबंध सरल कार्यों की तुलना में लंबे संदर्भ और जटिल तर्क को शामिल करते हैं

मौजूदा विधियों की सीमाएं

1. ध्यान दृश्य और कारण पीढ़ी जैसी विधियों में तंत्रात्मक व्याख्या की कमी है
2. मौजूदा सर्किट खोज विधियां मुख्य रूप से सरल कार्यों (जैसे संख्यात्मक तुलना) पर केंद्रित हैं, विवेचना संबंधों के लिए सीधे अनुकूल करना मुश्किल है
3. क्रॉस-फ्रेमवर्क एकीकृत समझ की कमी: विभिन्न विवेचना ढांचे के बीच तंत्रात्मक स्तर पर तुलना की कमी है

अनुसंधान प्रेरणा

विवेचना की भाषाई संरचना और सर्किट खोज की आवश्यकताओं के बीच पुल बनाकर, जटिल भाषा कार्यों के तंत्र को समझने का एक नया मार्ग खोलना।

मुख्य योगदान

1. CUDR कार्य प्रस्तावित करना: सर्किट खोज के लिए उपयुक्त विवेचना संबंध समापन कार्य डिज़ाइन किया गया
2. बहु-ढांचा डेटासेट निर्माण: PDTB, RST, SDRT आदि प्रमुख विवेचना ढांचे को कवर करते हुए, कुल 27,754 उदाहरण
3. विवेचना सर्किट की खोज: केवल मॉडल के 0.2% कनेक्शन के साथ 90% निष्ठा प्राप्त करने वाले विरल सर्किट की पहचान की गई
4. क्रॉस-फ्रेमवर्क सामान्यीकरण: PDTB से सीखे गए सर्किट अन्य विवेचना ढांचे के लिए अच्छी तरह से सामान्यीकृत होते हैं
5. सर्किट पदानुक्रम निर्माण: तंत्रिका सर्किट घटकों के आधार पर पहली बार विवेचना पदानुक्रम निर्माण किया गया
6. भाषाई विशेषता विश्लेषण: विभिन्न स्तरों द्वारा कैप्चर की गई भाषाई विशेषताओं और उनकी क्रॉस-फ्रेमवर्क सामंजस्य का खुलासा किया गया

विधि विवरण

कार्य परिभाषा: CUDR (विवेचना संबंध के तहत समापन)

CUDR कार्य मॉडल के विवेचना व्यवहार का परीक्षण करने के लिए एक नियंत्रित वातावरण बनाता है:

इनपुट प्रारूप:

• मूल विवेचना: $d_{ori} = (Arg1, Arg2, R, Conn)$
• प्रतिकारक विवेचना: $d_{cf} = (Arg1, Arg'_2, R', Conn')$

कार्य सेटअप:

कृपया विवेचना को पूरा करने के लिए निम्नलिखित दो विकल्पों में से एक चुनें:
विकल्प 1: "वह कैंटीन में जाता है"
विकल्प 2: "कैंटीन बंद है"

पूरा करने के लिए: [बॉब भूखा है]_{Arg1} [तो]_{Conn} → [वह कैंटीन में जाता है]_{Arg2}

विवेचना संयोजक को बदलकर ("तो" से "लेकिन" तक), मॉडल की भविष्यवाणी तदनुसार बदलनी चाहिए।

सर्किट खोज विधि

सक्रियण पैचिंग (Activation Patching)

किनारे $e$ के प्रभाव को परिभाषित करें: $g(e) = L(x_{cf}|do(E = e_{ori})) - L(x_{cf})$

जहां $L$ मूल्यांकन मीट्रिक है, $x_{cf}$ प्रतिकारक इनपुट है, $e_{ori}$ मूल रन में सक्रियण है।

किनारे आरोपण पैचिंग (Edge Attribution Patching)

प्रथम-क्रम टेलर सन्निकटन का उपयोग करके गणना को तेज करें: $g(e) \approx (z^{ori}_u - z^{cf}_u)^T \nabla_v L(x_{cf})$

जहां $z^{ori}_u$ और $z^{cf}_u$ क्रमशः मूल और प्रतिकारक रन में नोड $u$ की सक्रियण हैं, $\nabla_v L(x_{cf})$ नोड $v$ पर ढाल है।

विवेचना सर्किट निर्माण

1. दिए गए विवेचना संबंध के नमूनों के सेट पर आरोपण पैचिंग लागू करें
2. प्रत्येक किनारे के लिए औसत $g(e)$ मान की गणना करें
3. सर्किट बनाने के लिए पूर्ण मान में शीर्ष 1000 किनारों का चयन करें

डेटासेट निर्माण

बहु-ढांचा कवरेज

प्रतिकारक पीढ़ी रणनीति

प्रतिकारक $Arg'_2$ उत्पन्न करने के लिए GPT-4o-mini का उपयोग करें, यह सुनिश्चित करते हुए:

1. मूल $Arg1$ और प्रतिकारक संयोजक $Conn'$ के साथ सामंजस्य
2. मूल $Arg2$ से लंबाई मिलान
3. संबंध अभिव्यक्ति स्पष्ट और प्रमुख है

प्रयोग सेटअप

मॉडल चयन

• मुख्य मॉडल: GPT-2 medium (मौजूदा सर्किट खोज अनुसंधान के मानक चयन का पालन करते हुए)
• विस्तारित सत्यापन: GPT-2 large

मूल्यांकन मीट्रिक्स

• निष्ठा स्कोर: $\frac{\Delta L_{patch}}{\Delta L_{full}}$ (सामान्यीकृत निष्ठा)
• तार्किक अंतर: $\Delta L = L(Arg2) - L(Arg'_2)$

आधार रेखा विधियां

1. यादृच्छिक सर्किट: यादृच्छिक रूप से नमूना किए गए ट्रांसफॉर्मर किनारे
2. IOI सर्किट: अप्रत्यक्ष वस्तु पहचान सर्किट (सामान्य भाषा मॉडलिंग क्षमता का प्रतिनिधित्व)

सर्किट पदानुक्रम

PDTB शैली का सर्किट पदानुक्रम निर्माण:

• L3: लीफ नोड संबंध (1000 किनारे)
• L2: कई L3 सर्किट को मर्ज करना (500+ किनारे)
• L1: शीर्ष-स्तरीय श्रेणी सर्किट (200-500 किनारे)
• L0: मेटा-सर्किट (137 किनारे)

प्रयोग परिणाम

मुख्य परिणाम

RQ1: विवेचना सर्किट की निष्ठा

• मजबूत निष्ठा: L3 और L1 सर्किट केवल लगभग 200 किनारों के साथ 90% निष्ठा प्राप्त करते हैं
• आधार रेखा से बेहतर: यादृच्छिक आधार रेखा और IOI आधार रेखा से महत्वपूर्ण रूप से बेहतर
• पदानुक्रम प्रभाव: सूक्ष्म-दानेदार सर्किट (L3) प्रारंभिक चरण में अधिक प्रभावी हैं, लेकिन उच्च विचरण के साथ

RQ2: क्रॉस-फ्रेमवर्क सामान्यीकरण क्षमता

• अच्छा सामान्यीकरण: PDTB सर्किट GDTB, RST, SDRT के लिए प्रभावी ढंग से सामान्यीकृत होते हैं
• प्रदर्शन क्रम: Own > L3 > L1 ≈ L0 > IOI > Random (सुसंगत प्रवृत्ति)
• सर्किट ओवरलैप: ढांचे के बीच सर्किट ओवरलैप प्रदर्शन के साथ सकारात्मक सहसंबंध (जैसे PDTB→GDTB: r=0.44)

RQ3: भाषाई विशेषता विश्लेषण

पांच मुख्य भाषाई विशेषताओं के उपयोग पैटर्न की खोज की गई:

1. मोडैलिटी (modality): सबसे व्यापक रूप से उपयोग किया जाता है
2. समानार्थता (synonymy): विलोम से अधिक सामान्य
3. नकार (negation): क्रॉस-फ्रेमवर्क सुसंगत उपयोग
4. विलोम (antonymy): कारण और समय संबंधों में कमजोर
5. सहनिर्देश (coreference): विस्तारित वर्ग संबंधों में सबसे सक्रिय

पदानुक्रम विश्लेषण

• निम्न स्तर: भाषाई विशेषताओं को कैप्चर करते हैं (शब्दावली शब्दार्थ, सहनिर्देश)
• उच्च स्तर: विवेचना-स्तरीय अमूर्तता को एन्कोड करते हैं
• विवेचना-विशिष्ट क्षेत्र: स्रोत परत 8-16, लक्ष्य परत 10-20 विवेचना-विशिष्ट किनारे शामिल हैं

केस स्टडी विश्लेषण

त्रुटि केस विश्लेषण PDTB सर्किट की विस्मयादिबोधक शब्दों ("yay!!") और विषय लोप जैसी घटनाओं को संभालने में कमी को प्रकट करता है, जबकि SDRT सर्किट इन स्थितियों को बेहतर तरीके से संभाल सकते हैं।

संबंधित कार्य

विवेचना मॉडलिंग

• ढांचा विकास: PDTB, RST, SDRT तीन प्रमुख ढांचे
• एकीकृत प्रयास: DISRPT बेंचमार्क, स्वचालित ढांचा रूपांतरण आदि
• मूल्यांकन विधियां: प्रश्न-उत्तर शैली मूल्यांकन, सिंथेटिक डेटा पीढ़ी

तंत्रात्मक व्याख्यात्मकता

• सर्किट खोज: मुख्य रूप से सरल कार्यों पर लागू (IOI, संख्यात्मक तुलना, विषय-क्रिया समझौता आदि)
• विधि सीमाएं: मौजूदा विधियां जटिल विवेचना घटनाओं को संभालना मुश्किल पाती हैं
• इस पेपर का योगदान: विवेचना समझ के लिए सर्किट खोज का पहला अनुप्रयोग

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

1. विरल प्रभावशीलता: मॉडल के केवल 0.2% कनेक्शन विवेचना समझ को लागू कर सकते हैं
2. क्रॉस-फ्रेमवर्क सामंजस्य: भाषा मॉडल साझा विवेचना संबंध प्रतिनिधित्व को एन्कोड कर सकते हैं
3. पदानुक्रमित प्रसंस्करण: निम्न स्तर भाषाई विशेषताओं को संसाधित करते हैं, उच्च स्तर विवेचना अमूर्तता को संसाधित करते हैं
4. विशेषता सामंजस्य: भाषाई विशेषता उपयोगिता क्रॉस-फ्रेमवर्क सुसंगत रहती है

सीमाएं

1. भाषा सीमा: केवल अंग्रेजी कॉर्पस का अध्ययन किया गया
2. मॉडल रेंज: मुख्य रूप से एकल ट्रांसफॉर्मर मॉडल पर केंद्रित
3. मानव मस्तिष्क तुलना: मानव विवेचना प्रसंस्करण तंत्र के साथ तुलना नहीं की गई
4. डेटा गुणवत्ता: उत्पन्न प्रतिकारक डेटा अपेक्षाकृत सरल और सीधा है

भविष्य की दिशाएं

1. बहुभाषी विस्तार: क्रॉस-भाषा विवेचना सर्किट सामंजस्य की खोज
2. जटिल परिदृश्य: अधिक जटिल विवेचना शैलियों और अस्पष्ट परिदृश्यों तक विस्तार
3. अनुप्रयोग-उन्मुख: पूर्वाग्रह पहचान और मॉडल मार्गदर्शन के लिए उपयोग
4. आर्किटेक्चर विस्तार: बड़े पैमाने की भाषा मॉडल के अनुकूल

गहन मूल्यांकन

शक्तियां

1. मजबूत नवीनता: जटिल विवेचना समझ कार्य के लिए सर्किट खोज का पहला अनुप्रयोग
2. कठोर विधि: CUDR कार्य डिज़ाइन चतुर है, सक्रियण पैचिंग को प्रभावी ढंग से समर्थन करता है
3. व्यापक कवरेज: कई प्रमुख विवेचना ढांचे को कवर करता है, डेटासेट आकार उल्लेखनीय है
4. गहन विश्लेषण: सर्किट पदानुक्रम से भाषाई विशेषताओं तक बहु-आयामी विश्लेषण
5. अच्छी सामान्यीकरण: क्रॉस-फ्रेमवर्क सामान्यीकरण परिणाम प्रेरक हैं

कमियां

1. कम्प्यूटेशनल जटिलता: सर्किट खोज प्रक्रिया कम्प्यूटेशनल रूप से गहन है, बड़े मॉडल तक विस्तार करना मुश्किल है
2. डेटा निर्भरता: LLM द्वारा उत्पन्न प्रतिकारक डेटा पर निर्भर, संभावित पूर्वाग्रह परिचय
3. मूल्यांकन सीमाएं: मुख्य रूप से एकल मॉडल आर्किटेक्चर पर आधारित, सामान्यीकरण सत्यापन की आवश्यकता है
4. सैद्धांतिक गहराई: इस बात के लिए सैद्धांतिक व्याख्या की कमी कि ये सर्किट प्रभावी क्यों हैं

प्रभाव

1. शैक्षणिक मूल्य: विवेचना समझ के तंत्रात्मक अनुसंधान के लिए नई दिशा खोलता है
2. व्यावहारिक संभावना: मॉडल डीबगिंग, पूर्वाग्रह पहचान आदि अनुप्रयोगों के लिए उपयोग किया जा सकता है
3. पद्धति योगदान: CUDR प्रतिमान अन्य जटिल NLP कार्यों तक विस्तारित किया जा सकता है
4. अंतर-अनुशासनात्मक महत्व: कम्प्यूटेशनल भाषाविज्ञान और तंत्रात्मक व्याख्यात्मकता अनुसंधान को जोड़ता है

लागू परिदृश्य

1. मॉडल विश्लेषण: बड़ी भाषा मॉडल की विवेचना प्रसंस्करण तंत्र को समझना
2. सुरक्षा पहचान: विवेचना समझ में मॉडल के संभावित पूर्वाग्रह की पहचान करना
3. मॉडल सुधार: विवेचना समझ क्षमता के लक्षित सुधार का मार्गदर्शन करना
4. शैक्षणिक अनुसंधान: विवेचना सिद्धांत के लिए कम्प्यूटेशनल दृष्टिकोण सत्यापन प्रदान करना

संदर्भ

पेपर संबंधित कार्यों के समृद्ध संदर्भ उद्धृत करता है, जिसमें शामिल हैं:

• विवेचना सिद्धांत शास्त्रीय साहित्य: Mann & Thompson (1987), Asher & Lascarides (2003)
• सर्किट खोज विधियां: Wang et al. (2023), Conmy et al. (2023)
• विवेचना डेटासेट: Webber et al. (2019), Liu et al. (2024b)
• तंत्रात्मक व्याख्यात्मकता: Zhang & Nanda (2024), Miller et al. (2024)

समग्र मूल्यांकन: यह विधि नवीनता, प्रयोग डिज़ाइन और विश्लेषण गहराई के संदर्भ में उत्कृष्ट प्रदर्शन करने वाला एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है। चतुर CUDR कार्य डिज़ाइन के माध्यम से, यह जटिल विवेचना समझ कार्य के लिए सर्किट खोज तकनीक को सफलतापूर्वक लागू करता है, भाषा मॉडल के आंतरिक तंत्र को समझने के लिए एक नया दृष्टिकोण प्रदान करता है। कुछ सीमाओं के बावजूद, इसका अग्रणी कार्य और समृद्ध निष्कर्ष इसे महत्वपूर्ण शैक्षणिक मूल्य और व्यावहारिक संभावना प्रदान करते हैं।