2025-11-20T11:34:15.055386

Meronymic Ontology Extraction via Large Language Models

Zhang, Conia, Rago
Ontologies have become essential in today's digital age as a way of organising the vast amount of readily available unstructured text. In providing formal structure to this information, ontologies have immense value and application across various domains, e.g., e-commerce, where countless product listings necessitate proper product organisation. However, the manual construction of these ontologies is a time-consuming, expensive and laborious process. In this paper, we harness the recent advancements in large language models (LLMs) to develop a fully-automated method of extracting product ontologies, in the form of meronymies, from raw review texts. We demonstrate that the ontologies produced by our method surpass an existing, BERT-based baseline when evaluating using an LLM-as-a-judge. Our investigation provides the groundwork for LLMs to be used more generally in (product or otherwise) ontology extraction.
academic

बड़े भाषा मॉडल के माध्यम से मेरोनिमिक ऑन्टोलॉजी निष्कर्षण

बुनियादी जानकारी

  • पेपर ID: 2510.13839
  • शीर्षक: बड़े भाषा मॉडल के माध्यम से मेरोनिमिक ऑन्टोलॉजी निष्कर्षण
  • लेखक: डेकाई झांग (इंपीरियल कॉलेज लंदन), सिमोन कोनिया (सेपिएंजा विश्वविद्यालय रोम), एंटोनियो रागो (इंपीरियल कॉलेज लंदन और किंग्स कॉलेज लंदन)
  • वर्गीकरण: cs.CL cs.AI
  • प्रकाशन समय: 25 अक्टूबर 2024 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2510.13839

सारांश

यह पेपर बड़े भाषा मॉडल (LLMs) की नवीनतम प्रगति का उपयोग करके कच्चे समीक्षा पाठ से उत्पाद ऑन्टोलॉजी (भाग-संपूर्ण संबंधों के रूप में) निष्कर्षण के लिए एक पूरी तरह से स्वचालित विधि विकसित करता है। अनुसंधान से पता चलता है कि इस विधि द्वारा उत्पन्न ऑन्टोलॉजी LLM को न्यायाधीश के रूप में उपयोग करके मूल्यांकन में मौजूदा BERT-आधारित आधारभूत विधियों को पार करता है। यह अनुसंधान ऑन्टोलॉजी निष्कर्षण कार्यों में LLMs के व्यापक अनुप्रयोग के लिए आधार तैयार करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

डिजिटल युग में, विशाल गैर-संरचित पाठ डेटा को ऑन्टोलॉजी के माध्यम से संगठित और संरचित करने की आवश्यकता है। विशेष रूप से ई-कॉमर्स क्षेत्र में, अनगिनत उत्पाद सूचियों को उचित उत्पाद संगठन संरचना की आवश्यकता है। भाग-संपूर्ण संबंध (मेरोनिमिक संबंध) समीक्षा एकीकरण, भावना विश्लेषण और उत्पाद प्रश्नोत्तर जैसे डाउनस्ट्रीम कार्यों में महत्वपूर्ण मूल्य रखते हैं।

मौजूदा विधियों की सीमाएं

  1. उच्च मैनुअल निर्माण लागत: ऑन्टोलॉजी का मैनुअल निर्माण एक समय लेने वाली, महंगी और कठिन प्रक्रिया है
  2. अपर्याप्त स्वचालित विधियां: पूर्व अनुसंधान मुख्य रूप से वर्गीकरण संबंधों पर केंद्रित था, भाग-संपूर्ण संबंधों के निष्कर्षण पर नहीं
  3. मूल्यांकन की कठिनाई: मानक बेंचमार्क डेटासेट की कमी, भाग-संपूर्ण ऑन्टोलॉजी की गुणवत्ता का प्रभावी मूल्यांकन करना कठिन है
  4. मानव एनोटेशन पर निर्भरता: ओक्सानेन एट अल (2021) की BERT विधि जैसी मौजूदा विधियों को अभी भी कुछ हद तक मानव एनोटेशन की आवश्यकता है

अनुसंधान प्रेरणा

यह पेपर LLMs की शक्तिशाली क्षमता का उपयोग करके भाग-संपूर्ण ऑन्टोलॉजी निष्कर्षण के लिए एक पूरी तरह से स्वचालित विधि विकसित करने और विधि की प्रभावशीलता को सत्यापित करने के लिए एक नई मूल्यांकन ढांचा प्रस्तावित करने का लक्ष्य रखता है।

मुख्य योगदान

  1. पूरी तरह से स्वचालित LLM विधि प्रस्तावित करना: भाग-संपूर्ण ऑन्टोलॉजी निष्कर्षण के लिए LLMs का उपयोग करके एक पूरी तरह से स्वचालित विधि विकसित की गई है, जो विभिन्न उत्पाद श्रेणियों में सामान्यीकृत हो सकती है
  2. नवीन मूल्यांकन ढांचा: भाग-संपूर्ण ऑन्टोलॉजी निष्कर्षण के विभिन्न कार्यों के लिए LLM-as-a-judge का उपयोग करके अनुभवजन्य मूल्यांकन के लिए एक नई विधि प्रस्तावित की गई है
  3. प्रदर्शन सुधार सत्यापन: प्रयोगों के माध्यम से यह प्रमाणित किया गया है कि LLM विधि प्रासंगिकता के संदर्भ में BERT-आधारित आधारभूत विधि से काफी बेहतर है
  4. ओपन सोर्स कोड: पूर्ण कार्यान्वयन कोड प्रदान किया गया है, जो अनुसंधान की पुनरुत्पादनीयता को बढ़ावा देता है

विधि विवरण

कार्य परिभाषा

इनपुट: उत्पाद समीक्षा पाठ आउटपुट: भाग-संपूर्ण ऑन्टोलॉजी ग्राफ, जिसमें अवधारणा नोड्स और उनके बीच "भाग-संपूर्ण" संबंध शामिल हैं बाधाएं: संबंध अर्थपूर्ण भाग-संपूर्ण संबंध होने चाहिए, अवधारणाएं उत्पाद से संबंधित होनी चाहिए

मॉडल आर्किटेक्चर

प्रस्तावित विधि में चार मुख्य चरणों की पाइपलाइन शामिल है:

1. पहलू निष्कर्षण (Aspect Extraction)

  • विधि: Mistral-7B-Instruct-v0.2 का उपयोग करके फाइन-ट्यूनिंग
  • प्रशिक्षण डेटा: SemEval-2014 Task 4 डेटासेट (1600 नमूने)
  • पोस्ट-प्रोसेसिंग: POS टैगिंग का उपयोग करके फिल्टरिंग, केवल समीक्षा में वास्तव में दिखाई देने वाले संज्ञाओं को रखना
  • आउटपुट नियंत्रण: शीर्ष 50 सबसे सामान्य पहलुओं का चयन

2. समानार्थी सेट निष्कर्षण (Synset Extraction)

  • एम्बेडिंग मॉडल: फाइन-ट्यून किया गया FastText मॉडल (वर्तनी त्रुटियों और संक्षिप्त रूपों को संभालना)
  • क्लस्टरिंग एल्गोरिदम: कोसाइन समानता के आधार पर समदूरस्थ नोड क्लस्टरिंग (ENC)
  • लाभ: K-means की तुलना में अधिक सटीक क्लस्टरिंग परिणाम

3. अवधारणा निष्कर्षण (Concept Extraction)

  • प्रतिनिधि चयन: प्रत्येक समानार्थी सेट में सबसे अधिक बार आने वाली शब्दावली को प्रतिनिधि के रूप में चुना जाता है
  • प्रासंगिकता निर्धारण: यह निर्धारित करने के लिए LLM प्रॉम्प्ट का उपयोग किया जाता है कि क्या शब्दावली को ऑन्टोलॉजी में शामिल किया जाना चाहिए
  • फिल्टरिंग मानदंड: प्रासंगिकता, विशिष्टता, पदानुक्रमीयता

4. संबंध निष्कर्षण (Relation Extraction)

  • इनपुट प्रोसेसिंग: विभिन्न समानार्थी सेटों से दो पहलुओं वाले वाक्य निकाले जाते हैं
  • कार्य डिजाइन: बहु-विकल्प प्रश्न (पहलू A, पहलू B का एक हिस्सा है / पहलू B, पहलू A का एक हिस्सा है / असंबंधित)
  • मॉडल प्रशिक्षण: 1000 सिंथेटिक नमूनों पर आसवन के माध्यम से Mistral मॉडल को फाइन-ट्यून किया गया

तकनीकी नवाचार बिंदु

  1. एंड-टू-एंड LLM पाइपलाइन: BERT विधि की तुलना में उच्च स्तर की स्वचालितता प्राप्त की गई है
  2. संरचित आउटपुट बाधाएं: आउटपुट प्रारूप की सुसंगतता सुनिश्चित करने के लिए JSON सिंटैक्स बाधाओं का उपयोग किया जाता है
  3. बहु-चरण अनुकूलन: प्रत्येक चरण विशिष्ट कार्य के लिए अनुकूलित है, समग्र प्रदर्शन में सुधार करता है
  4. भ्रम कमी: POS टैगिंग फिल्टरिंग और फाइन-ट्यूनिंग के माध्यम से LLM भ्रम समस्या को कम किया जाता है

प्रयोगात्मक सेटअप

डेटासेट

  • स्रोत: Amazon Reviews 2023 डेटासेट
  • उत्पाद श्रेणियां: 5 श्रेणियां (वीडियो गेम, टीवी, नेकलेस/घड़ी, स्टैंड मिक्सर)
  • डेटा स्केल: प्रत्येक उत्पाद के लिए 100,000 समीक्षाएं (मिक्सर 26,464)
  • प्रोसेसिंग सीमा: LLM कार्यों के लिए 1000 समीक्षाओं का उपयोग (प्रोसेसिंग समय पर विचार करते हुए)

मूल्यांकन मेट्रिक्स

शब्दावली मूल्यांकन मानदंड:

  1. प्रासंगिकता: क्या शब्दावली सटीक रूप से उत्पाद के भाग या घटक का प्रतिनिधित्व करती है
  2. विशिष्टता: क्या शब्दावली में उपयुक्त विशिष्टता स्तर है
  3. स्पष्टता: क्या शब्दावली स्पष्ट रूप से इरादे को व्यक्त करती है, अस्पष्टता से बचती है
  4. उत्पाद मिलान: क्या शब्दावली तार्किक रूप से दिए गए उत्पाद के लिए उपयुक्त है

संबंध मूल्यांकन मानदंड:

  1. तार्किक पदानुक्रम: क्या चाइल्ड नोड पैरेंट नोड का तार्किक भाग या विशेषता का प्रतिनिधित्व करता है
  2. संदर्भ मिलान: क्या संबंध Amazon उत्पाद श्रेणियों में उचित है
  3. स्पष्टता और विशिष्टता: क्या संबंध अस्पष्टता से बचता है और भाग-संपूर्ण संबंध को स्पष्ट रूप से परिभाषित करता है

तुलनात्मक विधियां

  • आधारभूत विधि: ओक्सानेन एट अल (2021) की BERT-आधारित विधि
  • मूल्यांकन विधि: Gemini 1.5 Flash को LLM न्यायाधीश के रूप में उपयोग किया जाता है
  • तुलनात्मक संस्करण: पूर्ण संस्करण और संक्षिप्त संस्करण (आधारभूत शब्दावली संख्या के बराबर)

कार्यान्वयन विवरण

  • हार्डवेयर: NVIDIA GeForce RTX 4090 GPU
  • ऑप्टिमाइज़र: Adam (लर्निंग रेट 10^-4)
  • फाइन-ट्यूनिंग तकनीक: LoRA (r=4, α=16)
  • प्रशिक्षण एपोक्स: 3 एपोक्स, बैच आकार 16

प्रयोगात्मक परिणाम

मुख्य परिणाम

शब्दावली गुणवत्ता मूल्यांकन

उत्पाद श्रेणीप्रस्तावित विधि (पूर्ण)प्रस्तावित विधि (संक्षिप्त)BERT आधारभूत
वीडियो गेम4.004.183.92
टीवी4.064.053.95
नेकलेस4.504.573.86
घड़ी4.134.374.10
स्टैंड मिक्सर4.364.403.31

संबंध गुणवत्ता मूल्यांकन

उत्पाद श्रेणीप्रस्तावित विधि (पूर्ण)प्रस्तावित विधि (संक्षिप्त)BERT आधारभूत
वीडियो गेम3.893.823.43
टीवी3.994.563.21
नेकलेस3.653.793.29
घड़ी3.754.062.68
स्टैंड मिक्सर3.303.402.47

विलोपन प्रयोग

पहलू निष्कर्षण विधि तुलना

विधिऔसत स्कोर
विधि A1 (केवल प्रॉम्प्ट)1.960 ± 0.006
विधि A2 (प्रॉम्प्ट + भावना)2.259 ± 0.002
विधि A3 (फाइन-ट्यूनिंग)2.662 ± 0.006

संबंध निष्कर्षण विधि तुलना

विधिवीडियो गेमटीवीनेकलेसघड़ीमिक्सर
पूर्ण समीक्षा3.8114.1553.3973.5703.080
अंश3.7273.7263.4813.3982.493
अंश + फाइन-ट्यूनिंग3.8933.9873.6463.7473.303

दक्षता विश्लेषण

प्रस्तावित विधि प्रोसेसिंग समय

चरणऔसत समय (मिनट)
पहलू निष्कर्षण32.05
समानार्थी सेट निष्कर्षण0.78
अवधारणा निष्कर्षण1.52
संबंध निष्कर्षण4.53
कुल38.89

BERT आधारभूत प्रोसेसिंग समय

चरणऔसत समय (मिनट)
इकाई निष्कर्षण1.66
पहलू निष्कर्षण2.79
समानार्थी निष्कर्षण0.82
ऑन्टोलॉजी निष्कर्षण1.36
कुल6.62

प्रयोगात्मक निष्कर्ष

  1. गुणवत्ता सुधार: LLM विधि शब्दावली और संबंध गुणवत्ता दोनों में BERT आधारभूत से काफी बेहतर है
  2. फाइन-ट्यूनिंग महत्व: फाइन-ट्यूनिंग शुद्ध प्रॉम्प्ट विधि की तुलना में महत्वपूर्ण प्रदर्शन सुधार लाता है
  3. कम्प्यूटेशनल लागत: LLM विधि गुणवत्ता में बेहतर है लेकिन कम्प्यूटेशनल लागत BERT विधि का लगभग 6 गुना है
  4. क्लस्टरिंग एल्गोरिदम चयन: ENC K-means की तुलना में अधिक सटीक समानार्थी सेट उत्पन्न करता है

संबंधित कार्य

ऑन्टोलॉजी सीखना

पारंपरिक ऑन्टोलॉजी सीखना मुख्य रूप से गहन शिक्षण विधियों पर निर्भर करता है, लेकिन अधिकांश वर्गीकरण संबंधों पर केंद्रित हैं, भाग-संपूर्ण संबंधों के निष्कर्षण पर नहीं।

ऑन्टोलॉजी निर्माण में LLM का अनुप्रयोग

हाल के अनुसंधान LLMs को शब्दावली और संबंध निष्कर्षण जैसे मुख्य ऑन्टोलॉजी सीखने के कार्यों में अन्वेषण करना शुरू कर रहे हैं, लेकिन मुख्य रूप से वर्गीकरण संबंधों पर ध्यान केंद्रित करते हैं।

मूल्यांकन विधियां

मानक बेंचमार्क की कमी के कारण, ऑन्टोलॉजी गुणवत्ता मूल्यांकन हमेशा एक चुनौती रहा है। इस पेपर द्वारा प्रस्तावित LLM-as-a-judge विधि इस समस्या के लिए एक नया समाधान प्रदान करती है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. LLM विधि भाग-संपूर्ण ऑन्टोलॉजी निष्कर्षण कार्य में मौजूदा BERT विधि से काफी बेहतर है
  2. फाइन-ट्यूनिंग और संरचित आउटपुट बाधाएं प्रदर्शन सुधार के मुख्य कारक हैं
  3. LLM-as-a-judge ऑन्टोलॉजी गुणवत्ता मूल्यांकन के लिए एक व्यावहारिक समाधान प्रदान करता है

सीमाएं

  1. मूल्यांकन निर्भरता: मुख्य रूप से LLM-as-a-judge पर निर्भर, उपयोगकर्ता अनुसंधान सत्यापन की कमी
  2. कम्प्यूटेशनल लागत: BERT विधि की तुलना में कम्प्यूटेशनल लागत में उल्लेखनीय वृद्धि
  3. भ्रम समस्या: LLM अभी भी असंबंधित पहलुओं के उत्पादन की भ्रम समस्या से ग्रस्त है
  4. बेंचमार्क की कमी: उत्पाद ऑन्टोलॉजी क्षेत्र में मानक बेंचमार्क डेटासेट की कमी है

भविष्य की दिशाएं

  1. मानक बेंचमार्क निर्माण: इस कार्य के लिए एक मानक बेंचमार्क डेटासेट स्थापित करना
  2. उपयोगकर्ता अनुसंधान सत्यापन: उपयोगकर्ता अनुसंधान के माध्यम से ऑन्टोलॉजी की व्यावहारिकता को सत्यापित करना
  3. विधि सामान्यीकरण: अन्य प्रकार की ऑन्टोलॉजी (जैसे वर्गीकरण ऑन्टोलॉजी) में विधि के अनुप्रयोग की खोज
  4. भ्रम कमी: एकल मॉडल भ्रम को कम करने के लिए कई LLMs को एकीकृत करने की विधि का अनुसंधान

गहन मूल्यांकन

शक्तियां

  1. मजबूत नवाचार: भाग-संपूर्ण ऑन्टोलॉजी निष्कर्षण के लिए LLMs का पहली बार व्यवस्थित रूप से अनुप्रयोग
  2. पूर्ण विधि: एंड-टू-एंड पूर्ण पाइपलाइन समाधान प्रदान करता है
  3. मूल्यांकन नवाचार: LLM-as-a-judge मूल्यांकन ढांचा प्रस्तावित करता है
  4. व्यापक प्रयोग: विस्तृत विलोपन प्रयोग और दक्षता विश्लेषण शामिल है
  5. ओपन सोर्स योगदान: पूर्ण ओपन सोर्स कार्यान्वयन प्रदान करता है

कमजोरियां

  1. मूल्यांकन सीमाएं: LLM मूल्यांकन पर अत्यधिक निर्भरता, मानव मूल्यांकन सत्यापन की कमी
  2. लागत विचार: कम्प्यूटेशनल लागत में उल्लेखनीय वृद्धि लेकिन लागत-लाभ व्यापार-बंद पर अपर्याप्त चर्चा
  3. सामान्यीकरण: केवल 5 उत्पाद श्रेणियों पर सत्यापित, सामान्यीकरण क्षमता को आगे सत्यापन की आवश्यकता है
  4. बेंचमार्क तुलना: अधिक मौजूदा विधियों के साथ तुलना अपर्याप्त है

प्रभाव

  1. शैक्षणिक मूल्य: ऑन्टोलॉजी निर्माण में LLMs के अनुप्रयोग के लिए महत्वपूर्ण संदर्भ प्रदान करता है
  2. व्यावहारिक मूल्य: ई-कॉमर्स आदि क्षेत्रों में सीधे अनुप्रयोग क्षमता है
  3. पद्धति योगदान: LLM-as-a-judge मूल्यांकन ढांचा व्यापक प्रयोज्यता है
  4. पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण और ओपन सोर्स कोड प्रदान करता है

लागू परिदृश्य

  1. ई-कॉमर्स प्लेटफॉर्म: उत्पाद वर्गीकरण और सिफारिश प्रणाली
  2. ज्ञान ग्राफ निर्माण: स्वचालित ऑन्टोलॉजी निर्माण
  3. सूचना निष्कर्षण: गैर-संरचित पाठ से संरचित संबंधों का निष्कर्षण
  4. समीक्षा विश्लेषण: उत्पाद विशेषताओं और घटकों की पहचान

संदर्भ

यह पेपर संबंधित क्षेत्र के महत्वपूर्ण कार्यों का हवाला देता है, जिनमें शामिल हैं:

  • ओक्सानेन एट अल (2021): BERT-आधारित उत्पाद ऑन्टोलॉजी निष्कर्षण विधि
  • डेवलिन एट अल (2019): BERT मॉडल
  • जियांग एट अल (2023): Mistral मॉडल
  • पोंटिकी एट अल (2014): SemEval-2014 Task 4 डेटासेट

समग्र मूल्यांकन: यह भाग-संपूर्ण ऑन्टोलॉजी निष्कर्षण क्षेत्र में महत्वपूर्ण योगदान वाला एक पेपर है। विधि में मजबूत नवाचार है, प्रयोगात्मक डिजाइन उचित है, परिणाम प्रेरक हैं। हालांकि मूल्यांकन विधि और कम्प्यूटेशनल लागत के संदर्भ में कुछ सीमाएं हैं, लेकिन यह क्षेत्र के विकास के लिए मूल्यवान अंतर्दृष्टि और उपकरण प्रदान करता है।