2025-11-14T11:40:11.153329

One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations

Oda, Chuang, Shirai et al.
Sentence embedding methods have made remarkable progress, yet they still struggle to capture the implicit semantics within sentences. This can be attributed to the inherent limitations of conventional sentence embedding methods that assign only a single vector per sentence. To overcome this limitation, we propose DualCSE, a sentence embedding method that assigns two embeddings to each sentence: one representing the explicit semantics and the other representing the implicit semantics. These embeddings coexist in the shared space, enabling the selection of the desired semantics for specific purposes such as information retrieval and text classification. Experimental results demonstrate that DualCSE can effectively encode both explicit and implicit meanings and improve the performance of the downstream task.
academic

एक वाक्य, दो एम्बेडिंग: स्पष्ट और अंतर्निहित शब्दार्थ प्रतिनिधित्व का विपरीत शिक्षण

बुनियादी जानकारी

  • पेपर ID: 2510.09293
  • शीर्षक: One Sentence, Two Embeddings: Contrastive Learning of Explicit and Implicit Semantic Representations
  • लेखक: कोहेई ओडा¹, पो-मिन चुआंग², किओयाकी शिराई¹, नत्थावुट केर्टकेइडकेकॉर्न¹
  • संस्थान: ¹जापान उन्नत विज्ञान और प्रौद्योगिकी संस्थान, ²तोशिबा निगम
  • वर्गीकरण: cs.CL (कम्प्यूटेशनल भाषाविज्ञान)
  • प्रकाशन तिथि: 10 अक्टूबर 2025
  • पेपर लिंक: https://arxiv.org/abs/2510.09293v1

सारांश

वाक्य एम्बेडिंग विधियों ने महत्वपूर्ण प्रगति की है, लेकिन वाक्यों के भीतर अंतर्निहित शब्दार्थ को पकड़ने में कठिनाई बनी हुई है। यह परंपरागत वाक्य एम्बेडिंग विधियों की अंतर्निहित सीमा के कारण है जो प्रत्येक वाक्य को केवल एक एकल वेक्टर प्रदान करती हैं। इस सीमा को दूर करने के लिए, यह पेपर DualCSE प्रस्तावित करता है, एक ऐसी विधि जो प्रत्येक वाक्य को दो एम्बेडिंग प्रदान करती है: एक स्पष्ट शब्दार्थ का प्रतिनिधित्व करता है, दूसरा अंतर्निहित शब्दार्थ का। ये एम्बेडिंग एक साझा स्थान में सह-अस्तित्व में हैं, जो सूचना पुनर्प्राप्ति और पाठ वर्गीकरण जैसे विशिष्ट उद्देश्यों के लिए आवश्यक शब्दार्थ का चयन करने में सक्षम हैं। प्रायोगिक परिणाम दर्शाते हैं कि DualCSE स्पष्ट और अंतर्निहित अर्थों को प्रभावी ढंग से एन्कोड कर सकता है और डाउनस्ट्रीम कार्यों के प्रदर्शन में सुधार कर सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मौजूदा वाक्य एम्बेडिंग विधियों में अंतर्निहित शब्दार्थ को संभालने में महत्वपूर्ण कमियां हैं। सन एट अल. (2025) ने संकेत दिया है कि MTEB वर्गीकरण बेंचमार्क पर, यहां तक कि सबसे उन्नत वाक्य एम्बेडिंग विधियों में भी स्पष्ट और अंतर्निहित शब्दार्थ के बीच लगभग 20% का प्रदर्शन अंतर है।

समस्या की महत्ता

  1. शब्दार्थ समझ की पूर्णता: प्राकृतिक भाषा में शाब्दिक अर्थ (स्पष्ट शब्दार्थ) और रूपक या व्यावहारिक अर्थ (अंतर्निहित शब्दार्थ) दोनों शामिल हैं
  2. व्यावहारिक अनुप्रयोग की आवश्यकता: सूचना पुनर्प्राप्ति, पाठ वर्गीकरण जैसे कार्यों को शब्दार्थ के विभिन्न स्तरों को समझने की आवश्यकता है
  3. मॉडल सीमाएं: परंपरागत विधियां वाक्य को केवल एक एकल वेक्टर से प्रदर्शित करती हैं, कई व्याख्याओं की उपस्थिति को नजरअंदाज करती हैं

मौजूदा विधियों की सीमाएं

  • एकल-वेक्टर प्रतिबंध: प्रत्येक वाक्य को केवल एक एम्बेडिंग वेक्टर प्रदान किया जाता है
  • शब्दार्थ मिश्रण: स्पष्ट और अंतर्निहित शब्दार्थ को अलग करने में असमर्थता
  • अपर्याप्त प्रतिनिधित्व क्षमता: वाक्य के बहु-स्तरीय अर्थों को पकड़ना कठिन है

मुख्य योगदान

  1. DualCSE ढांचा प्रस्तावित करना: प्रत्येक वाक्य के लिए दो एम्बेडिंग वेक्टर उत्पन्न करना, जो क्रमशः स्पष्ट और अंतर्निहित शब्दार्थ का प्रतिनिधित्व करते हैं
  2. नवीन विपरीत हानि फ़ंक्शन डिजाइन करना: वाक्य-अंतर और वाक्य-अंतर्गत संबंधों को एक साथ अनुकूलित करना
  3. द्विशब्दार्थ साझा स्थान का निर्माण: स्पष्ट और अंतर्निहित एम्बेडिंग को एक ही स्थान में तुलना करने में सक्षम बनाना
  4. विधि की प्रभावशीलता को सत्यापित करना: RTE और EIS कार्यों पर विधि की श्रेष्ठता को प्रमाणित करना
  5. अंतर्निहितता मूल्यांकन क्षमता प्रदान करना: वाक्य की अंतर्निहितता की डिग्री का अनुमान लगाने में सक्षमता

विधि विवरण

कार्य परिभाषा

दिए गए वाक्य s को देखते हुए, DualCSE इसे दो एम्बेडिंग में एन्कोड करता है:

  • r: स्पष्ट शब्दार्थ का प्रतिनिधित्व करने वाली एम्बेडिंग
  • u: अंतर्निहित शब्दार्थ का प्रतिनिधित्व करने वाली एम्बेडिंग

मॉडल आर्किटेक्चर

एन्कोडर डिजाइन

पेपर दो एन्कोडर आर्किटेक्चर प्रस्तावित करता है:

  1. क्रॉस-एन्कोडर:
    • एकल BERT/RoBERTa मॉडल का उपयोग
    • स्पष्ट एम्बेडिंग r उत्पन्न करने के लिए "CLS s SEP explicit" इनपुट
    • अंतर्निहित एम्बेडिंग u उत्पन्न करने के लिए "CLS s SEP implicit" इनपुट
  2. द्वि-एन्कोडर:
    • दो स्वतंत्र BERT/RoBERTa मॉडल का उपयोग
    • क्रमशः r और u उत्पन्न करने के लिए अलग से प्रशिक्षित

विपरीत हानि फ़ंक्शन

INLI डेटासेट के आधार पर डिजाइन की गई हानि फ़ंक्शन:

v(h₁,h₂) = e^(sim(h₁,h₂)/τ)

lᵢ = -log(v(rᵢ,r⁺ᵢ₁)/∑ⱼ(v(rᵢ,r⁺ⱼ₁) + v(rᵢ,r⁻ⱼ) + v(rᵢ,uⱼ)))
     -log(v(uᵢ,r⁺ᵢ₂)/∑ⱼ(v(uᵢ,r⁺ⱼ₂) + v(uᵢ,r⁻ⱼ) + v(uᵢ,rⱼ)))
     -log(v(r⁺ᵢ₁,u⁺ᵢ₁)/∑ⱼv(r⁺ᵢ₁,u⁺ⱼ₁))
     -log(v(r⁺ᵢ₂,u⁺ᵢ₂)/∑ⱼv(r⁺ᵢ₂,u⁺ⱼ₂))
     -log(v(r⁻ᵢ,u⁻ᵢ)/∑ⱼv(r⁻ᵢ,u⁻ⱼ))

तकनीकी नवाचार बिंदु

  1. द्विशब्दार्थ प्रतिनिधित्व: एकल-वेक्टर सीमा को तोड़ना, वाक्य को दो विभिन्न आयामों में प्रतिनिधित्व प्रदान करना
  2. वाक्य-अंतर और वाक्य-अंतर्गत संबंध मॉडलिंग:
    • वाक्य-अंतर: परिसर अनुमान परिकल्पना के समान है, विरोधाभास परिकल्पना के समान नहीं है
    • वाक्य-अंतर्गत: परिकल्पना का स्पष्ट और अंतर्निहित शब्दार्थ समान है, परिसर का स्पष्ट और अंतर्निहित शब्दार्थ दूर है
  3. साझा स्थान डिजाइन: विभिन्न प्रकार के शब्दार्थ को एक ही स्थान में तुलना करने में सक्षम बनाना

प्रायोगिक सेटअप

डेटासेट

INLI डेटासेट

  • आकार: प्रशिक्षण सेट 32,000 जोड़े, विकास सेट 4,000 जोड़े, परीक्षण सेट 4,000 जोड़े
  • विशेषता: प्रत्येक परिसर के लिए चार प्रकार की परिकल्पना लेबल प्रदान करता है
    • implied-entailment: अंतर्निहित अनुमान
    • explicit-entailment: स्पष्ट अनुमान
    • neutral: तटस्थ
    • contradiction: विरोधाभास

वांग एट अल. डेटासेट

  • आकार: प्रशिक्षण सेट 101,320 जोड़े, विकास/परीक्षण सेट प्रत्येक 5,630 जोड़े
  • उद्देश्य: अंतर्निहितता स्कोरिंग कार्य

मूल्यांकन मेट्रिक्स

  • RTE कार्य: सटीकता (Accuracy)
  • EIS कार्य: सटीकता (Accuracy)

तुलनात्मक विधियां

  1. SimCSE (SNLI+MNLI): मानक NLI डेटासेट पर प्रशिक्षित
  2. SimCSE (INLI): INLI डेटासेट पर प्रशिक्षित SimCSE
  3. ImpScore: अंतर्निहितता स्कोरिंग के लिए विशेष विधि
  4. बड़े भाषा मॉडल: संदर्भ के रूप में GPT-4, Gemini-1.5-Pro आदि

कार्यान्वयन विवरण

  • आधार मॉडल: BERT-base, RoBERTa-base
  • बैच आकार: क्रॉस-एन्कोडर के लिए 64, द्वि-एन्कोडर के लिए 32
  • सीखने की दर: क्रॉस-एन्कोडर के लिए 5e-5, द्वि-एन्कोडर के लिए 3e-5
  • तापमान पैरामीटर τ: 0.05

प्रायोगिक परिणाम

मुख्य परिणाम

RTE कार्य परिणाम

मॉडलस्पष्टअंतर्निहिततटस्थविरोधाभासऔसत
SimCSE (SNLI+MNLI)79.8049.0074.3067.6067.68
SimCSE (INLI)90.6069.1066.9091.0079.40
DualCSE-Cross90.2073.4068.4088.7080.18
DualCSE-Bi91.9069.9072.1087.6080.38
Gemini-1.5-Pro97.9080.3092.0095.4091.40

EIS कार्य परिणाम

मॉडलINLIवांग एट अल. डेटासेट
LENGTH99.9073.37
ImpScore (मूल)80.5595.20
ImpScore (INLI)99.9781.56
DualCSE-Cross99.9779.31
DualCSE-Bi10077.48

विलोपन प्रयोग

विलोपन प्रयोग हानि फ़ंक्शन के विभिन्न घटकों की महत्ता को सत्यापित करते हैं:

हानि फ़ंक्शन कॉन्फ़िगरेशनRTEEIS
पूर्ण DualCSE80.1899.97
विरोधाभास पद के बिना64.5799.88
वाक्य-अंतर्गत संबंध के बिना80.1092.25
विरोधाभास पद और वाक्य-अंतर्गत संबंध के बिना64.6832.75

निष्कर्ष:

  • विरोधाभास पद RTE कार्य के लिए अधिक महत्वपूर्ण है
  • वाक्य-अंतर्गत संबंध EIS कार्य के लिए अधिक महत्वपूर्ण है

केस विश्लेषण

पुनर्प्राप्ति प्रयोग उदाहरण

क्वेरी वाक्य: "She conquered his heart."

स्पष्ट शब्दार्थ पुनर्प्राप्ति परिणाम:

  1. "She defeated his heart in battle."(शाब्दिक युद्ध अर्थ)
  2. "She overcame his cardiac defenses."
  3. "She vanquished his emotional barriers."

अंतर्निहित शब्दार्थ पुनर्प्राप्ति परिणाम:

  1. "She won his affection and love."(प्रेम अर्थ)
  2. "She captured his romantic interest."
  3. "She gained his deep emotional attachment."

संबंधित कार्य

वाक्य एम्बेडिंग विधियां

  • BERT-आधारित विधियां: Sentence-BERT, SimCSE आदि
  • विपरीत शिक्षण: वाक्य एम्बेडिंग में अनुप्रयोग
  • बहु-शब्दार्थ प्रतिनिधित्व: कई कार्य बहुविध अर्थों को पकड़ने का प्रयास करते हैं

अंतर्निहित शब्दार्थ समझ

  • व्यावहारिकता अनुसंधान: वार्तालाप अर्थ, अप्रत्यक्ष वाक् कार्य
  • NLI विस्तार: स्पष्ट अनुमान से अंतर्निहित अनुमान तक
  • अंतर्निहितता मूल्यांकन: वाक्य की अंतर्निहितता को परिमाणित करना

इस पेपर के लाभ

  1. पहली बार व्यवस्थित: स्पष्ट/अंतर्निहित शब्दार्थ के द्विशब्दार्थ प्रतिनिधित्व के लिए विशेष रूप से
  2. अंत-से-अंत प्रशिक्षण: एकीकृत ढांचा जो दोनों प्रकार के शब्दार्थ को एक साथ सीखता है
  3. व्यावहारिकता मजबूत: कई डाउनस्ट्रीम कार्यों में सीधे अनुप्रयोग के लिए

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. DualCSE प्रभावशीलता: RTE और EIS कार्यों दोनों पर आधार विधियों से बेहतर
  2. द्विशब्दार्थ प्रतिनिधित्व मूल्य: स्पष्ट और अंतर्निहित शब्दार्थ का अलग प्रतिनिधित्व वास्तव में समझ में सहायता करता है
  3. हानि फ़ंक्शन डिजाइन तर्कसंगत: वाक्य-अंतर और वाक्य-अंतर्गत संबंधों की मॉडलिंग दोनों महत्वपूर्ण हैं
  4. आर्किटेक्चर लचीलापन: क्रॉस-एन्कोडर और द्वि-एन्कोडर दोनों प्रभावी ढंग से काम कर सकते हैं

सीमाएं

  1. डेटासेट निर्भरता: केवल INLI डेटासेट पर प्रशिक्षित, डोमेन विविधता सीमित है
  2. मूल्यांकन कार्य सीमित: केवल दो कार्यों पर सत्यापित, व्यापक मूल्यांकन की कमी
  3. कम्प्यूटेशनल ओवरहेड: प्रत्येक वाक्य के लिए दो एम्बेडिंग उत्पन्न करने की आवश्यकता, कम्प्यूटेशनल लागत बढ़ाता है
  4. क्रॉस-डोमेन सामान्यीकरण: वांग एट अल. डेटासेट पर विशेष विधि जितना अच्छा प्रदर्शन नहीं

भविष्य की दिशाएं

  1. डेटासेट विस्तार: घृणा भाषण पहचान, भावना विश्लेषण आदि डेटा को INLI प्रारूप में परिवर्तित करना
  2. बड़े मॉडल एकीकरण: विधि को बड़े भाषा मॉडल तक विस्तारित करना
  3. व्यावहारिक अनुप्रयोग: ग्राहक समीक्षा विश्लेषण, खोज इंजन आदि परिदृश्यों में सत्यापन
  4. सैद्धांतिक विश्लेषण: स्पष्ट/अंतर्निहित शब्दार्थ के गणितीय गुणों का गहन अध्ययन

गहन मूल्यांकन

शक्तियां

  1. समस्या परिभाषा स्पष्ट: मौजूदा विधियों की मुख्य समस्या को सटीक रूप से पहचानता है
  2. विधि नवाचार मजबूत: द्विशब्दार्थ प्रतिनिधित्व एक नवीन और तर्कसंगत विचार है
  3. प्रायोगिक डिजाइन पर्याप्त: मुख्य प्रयोग, विलोपन प्रयोग और गुणात्मक विश्लेषण शामिल
  4. तकनीकी कार्यान्वयन व्यावहारिक: दो विभिन्न आर्किटेक्चर विकल्प प्रदान करता है
  5. कोड खुला स्रोत: पुनरुत्पादनीयता में सुधार

कमियां

  1. सैद्धांतिक आधार कमजोर: स्पष्ट/अंतर्निहित शब्दार्थ विभाजन के सैद्धांतिक विश्लेषण की कमी
  2. मूल्यांकन रेंज सीमित: केवल दो कार्यों पर सत्यापित, पर्याप्त प्रेरक नहीं
  3. आधार तुलना अपर्याप्त: अन्य बहु-शब्दार्थ प्रतिनिधित्व विधियों के साथ तुलना की कमी
  4. दक्षता विश्लेषण अनुपस्थित: द्विशब्दार्थ एम्बेडिंग द्वारा लाई गई कम्प्यूटेशनल लागत का विश्लेषण नहीं
  5. क्रॉस-भाषा क्षमता अज्ञात: केवल अंग्रेजी पर सत्यापित

प्रभाव

  1. शैक्षणिक मूल्य: वाक्य एम्बेडिंग अनुसंधान के लिए नया दृष्टिकोण प्रदान करता है
  2. व्यावहारिक मूल्य: अंतर्निहित अर्थ समझने की आवश्यकता वाले NLP कार्यों में लागू किया जा सकता है
  3. प्रेरणा: बहु-शब्दार्थ प्रतिनिधित्व पर अधिक अनुसंधान को प्रेरित कर सकता है
  4. सीमाएं: विधि की सामान्यता से प्रभाव सीमित हो सकता है

लागू परिदृश्य

  1. सूचना पुनर्प्राप्ति: शाब्दिक और अंतर्निहित अर्थ दोनों पर विचार करने की आवश्यकता वाली खोज
  2. पाठ वर्गीकरण: भावना विश्लेषण, इरादा पहचान आदि कार्य
  3. संवाद प्रणाली: उपयोगकर्ता के अंतर्निहित अर्थ को समझना
  4. सामग्री समीक्षा: अस्पष्ट अनुचित सामग्री का पता लगाना
  5. भाषा शिक्षा: भाषा के बहु-स्तरीय अर्थों को समझने में सहायता

संदर्भ

यह पेपर वाक्य एम्बेडिंग, प्राकृतिक भाषा अनुमान, विपरीत शिक्षण आदि कई क्षेत्रों के महत्वपूर्ण कार्यों का उद्धरण देता है, जिनमें शामिल हैं:

  • Gao et al. (2021): SimCSE विधि
  • Havaldar et al. (2025): INLI डेटासेट
  • Wang et al. (2025): अंतर्निहितता स्कोरिंग विधि
  • Reimers and Gurevych (2019): Sentence-BERT

समग्र मूल्यांकन: यह तकनीकी नवाचार में मजबूत एक पेपर है, जो एक दिलचस्प और व्यावहारिक द्विशब्दार्थ प्रतिनिधित्व विधि प्रस्तावित करता है। यद्यपि सैद्धांतिक गहराई और मूल्यांकन व्यापकता में सुधार की गुंजाइश है, लेकिन यह वाक्य एम्बेडिंग अनुसंधान के लिए नई दिशा खोलता है और निश्चित शैक्षणिक मूल्य और अनुप्रयोग क्षमता रखता है।