2025-11-20T11:34:15.055386
Meronymic Ontology Extraction via Large Language Models
Zhang, Conia, Rago
Ontologies have become essential in today's digital age as a way of organising the vast amount of readily available unstructured text. In providing formal structure to this information, ontologies have immense value and application across various domains, e.g., e-commerce, where countless product listings necessitate proper product organisation. However, the manual construction of these ontologies is a time-consuming, expensive and laborious process. In this paper, we harness the recent advancements in large language models (LLMs) to develop a fully-automated method of extracting product ontologies, in the form of meronymies, from raw review texts. We demonstrate that the ontologies produced by our method surpass an existing, BERT-based baseline when evaluating using an LLM-as-a-judge. Our investigation provides the groundwork for LLMs to be used more generally in (product or otherwise) ontology extraction.
academicবড় ভাষা মডেলের মাধ্যমে মেরোনিমিক অন্টোলজি নিষ্কাশন
মৌলিক তথ্য
- পেপার আইডি: 2510.13839
- শিরোনাম: বড় ভাষা মডেলের মাধ্যমে মেরোনিমিক অন্টোলজি নিষ্কাশন
- লেখক: ডেকাই ঝাং (ইম্পেরিয়াল কলেজ লন্ডন), সিমোন কোনিয়া (সাপিয়েঞ্জা বিশ্ববিদ্যালয় রোম), অ্যান্টোনিও রাগো (ইম্পেরিয়াল কলেজ লন্ডন এবং কিংস কলেজ লন্ডন)
- শ্রেণীবিভাগ: cs.CL cs.AI
- প্রকাশনার সময়: ২০২৫ সালের ১১ অক্টোবর (arXiv প্রি-প্রিন্ট)
- পেপার লিঙ্ক: https://arxiv.org/abs/2510.13839
সারসংক্ষেপ
এই পেপারটি বড় ভাষা মডেল (LLMs) এর সর্বশেষ অগ্রগতি ব্যবহার করে কাঁচা পর্যালোচনা পাঠ্য থেকে পণ্য অন্টোলজি (অংশ-সম্পূর্ণ সম্পর্কের আকারে) নিষ্কাশনের জন্য একটি সম্পূর্ণ স্বয়ংক্রিয় পদ্ধতি বিকশিত করে। গবেষণা দেখায় যে এই পদ্ধতি দ্বারা উৎপাদিত অন্টোলজি LLM মূল্যায়নকারী হিসাবে ব্যবহার করে মূল্যায়নে বিদ্যমান BERT-ভিত্তিক বেসলাইন পদ্ধতিকে অতিক্রম করে। এই গবেষণা অন্টোলজি নিষ্কাশন কাজে LLMs এর বিস্তৃত প্রয়োগের ভিত্তি স্থাপন করে।
গবেষণা পটভূমি এবং প্রেরণা
সমস্যা সংজ্ঞা
ডিজিটাল যুগে, বিশাল পরিমাণে অসংগঠিত পাঠ্য ডেটা অন্টোলজির মাধ্যমে সংগঠিত এবং কাঠামোবদ্ধ করার প্রয়োজন। বিশেষত ই-কমার্স ক্ষেত্রে, অসংখ্য পণ্য তালিকার জন্য উপযুক্ত পণ্য সংগঠন কাঠামো প্রয়োজন। অংশ-সম্পূর্ণ সম্পর্ক (মেরোনিমিক সম্পর্ক) পর্যালোচনা সমন্বয়, অনুভূতি বিশ্লেষণ এবং পণ্য প্রশ্নোত্তর ইত্যাদি ডাউনস্ট্রিম কাজে গুরুত্বপূর্ণ মূল্য রাখে।
বিদ্যমান পদ্ধতির সীমাবদ্ধতা
- হস্তনির্মিত নির্মাণ খরচ বেশি: অন্টোলজি ম্যানুয়ালি নির্মাণ একটি সময়সাপেক্ষ, ব্যয়বহুল এবং ভারী প্রক্রিয়া
- বিদ্যমান স্বয়ংক্রিয় পদ্ধতি অপর্যাপ্ত: পূর্ববর্তী গবেষণা প্রধানত শ্রেণীবিভাগ সম্পর্ক (ট্যাক্সোনমিক সম্পর্ক) এর উপর দৃষ্টি নিবদ্ধ করেছে, অংশ-সম্পূর্ণ সম্পর্ক নিষ্কাশনে নয়
- মূল্যায়ন কঠিন: মান বেঞ্চমার্ক ডেটাসেটের অভাব, অংশ-সম্পূর্ণ অন্টোলজির গুণমান কার্যকরভাবে মূল্যায়ন করা কঠিন
- মানব টীকা উপর নির্ভরতা: Oksanen ইত্যাদি (২০২১) এর BERT পদ্ধতির মতো বিদ্যমান পদ্ধতিগুলি এখনও একটি নির্দিষ্ট স্তরের মানব টীকা প্রয়োজন
গবেষণা প্রেরণা
এই পেপারটি LLMs এর শক্তিশালী ক্ষমতা ব্যবহার করে একটি সম্পূর্ণ স্বয়ংক্রিয় অংশ-সম্পূর্ণ অন্টোলজি নিষ্কাশন পদ্ধতি বিকাশ করার লক্ষ্য রাখে এবং পদ্ধতির কার্যকারিতা যাচাই করার জন্য একটি নতুন মূল্যায়ন কাঠামো প্রস্তাব করে।
মূল অবদান
- সম্পূর্ণ স্বয়ংক্রিয় LLM পদ্ধতি প্রস্তাব: অংশ-সম্পূর্ণ অন্টোলজি নিষ্কাশনের জন্য LLMs ব্যবহার করে একটি সম্পূর্ণ স্বয়ংক্রিয় পদ্ধতি বিকশিত করেছে, যা বিভিন্ন পণ্য বিভাগে সাধারণীকরণ করতে পারে
- উদ্ভাবনী মূল্যায়ন কাঠামো: অংশ-সম্পূর্ণ অন্টোলজি নিষ্কাশনের বিভিন্ন কাজের জন্য অভিজ্ঞতামূলক মূল্যায়নের জন্য LLM-as-a-judge পদ্ধতি ব্যবহার করে একটি নতুন পদ্ধতি প্রস্তাব করেছে
- কর্মক্ষমতা উন্নতি যাচাইকরণ: পরীক্ষার মাধ্যমে প্রমাণ করেছে যে LLM পদ্ধতি প্রাসঙ্গিকতার ক্ষেত্রে BERT-ভিত্তিক বেসলাইন পদ্ধতিকে উল্লেখযোগ্যভাবে অতিক্রম করে
- ওপেন সোর্স কোড: সম্পূর্ণ বাস্তবায়ন কোড প্রদান করেছে, গবেষণার পুনরুৎপাদনযোগ্যতা প্রচার করে
পদ্ধতি বিস্তারিত
কাজের সংজ্ঞা
ইনপুট: পণ্য পর্যালোচনা পাঠ্য আউটপুট: অংশ-সম্পূর্ণ অন্টোলজি গ্রাফ, যাতে ধারণা নোড এবং তাদের মধ্যে "অংশ-সম্পূর্ণ" সম্পর্ক রয়েছে সীমাবদ্ধতা: সম্পর্কগুলি অবশ্যই অর্থপূর্ণ অংশ-সম্পূর্ণ সম্পর্ক হতে হবে, ধারণাগুলি অবশ্যই পণ্যের সাথে সম্পর্কিত হতে হবে
মডেল আর্কিটেকচার
এই পেপারে প্রস্তাবিত পদ্ধতি চারটি প্রধান পর্যায়ের পাইপলাইন অন্তর্ভুক্ত করে:
১. দিক নিষ্কাশন (Aspect Extraction)
- পদ্ধতি: Mistral-7B-Instruct-v0.2 ব্যবহার করে সূক্ষ্ম-সুর করা
- প্রশিক্ষণ ডেটা: SemEval-2014 Task 4 ডেটাসেট (১৬০০ নমুনা)
- পোস্ট-প্রসেসিং: POS ট্যাগিং ব্যবহার করে ফিল্টার করা, শুধুমাত্র পর্যালোচনায় প্রকৃতপক্ষে উপস্থিত বিশেষ্য রাখা
- আউটপুট নিয়ন্ত্রণ: শীর্ষ ৫০টি সবচেয়ে সাধারণ দিক নির্বাচন করা
২. সমার্থক সেট নিষ্কাশন (Synset Extraction)
- এমবেডিং মডেল: সূক্ষ্ম-সুর করা FastText মডেল (বানান ত্রুটি এবং সংক্ষিপ্তকরণ পরিচালনা করে)
- ক্লাস্টারিং অ্যালগরিদম: সমদূরবর্তী নোড ক্লাস্টারিং (ENC) কোসাইন সাদৃশ্যের উপর ভিত্তি করে
- সুবিধা: K-means এর তুলনায় আরও নির্ভুল ক্লাস্টারিং ফলাফল উৎপাদন করে
৩. ধারণা নিষ্কাশন (Concept Extraction)
- প্রতিনিধি নির্বাচন: প্রতিটি সমার্থক সেটে সবচেয়ে ঘন ঘন ঘটে এমন শব্দ প্রতিনিধি হিসাবে নির্বাচন করা
- প্রাসঙ্গিকতা বিচার: LLM প্রম্পট ব্যবহার করে নির্ধারণ করা যে শব্দটি অন্টোলজিতে অন্তর্ভুক্ত করা উচিত কিনা
- ফিল্টারিং মানদণ্ড: প্রাসঙ্গিকতা, বিশেষত্ব, শ্রেণীবিন্যাস
৪. সম্পর্ক নিষ্কাশন (Relation Extraction)
- ইনপুট প্রসেসিং: বিভিন্ন সমার্থক সেট থেকে দুটি দিক ধারণকারী বাক্য নিষ্কাশন করা
- কাজের ডিজাইন: বহুনির্বাচনী প্রশ্ন (দিক A হল দিক B এর একটি অংশ/দিক B হল দিক A এর একটি অংশ/অপ্রাসঙ্গিক)
- মডেল প্রশিক্ষণ: ১০০০টি সিন্থেটিক নমুনায় Mistral মডেল সূক্ষ্ম-সুর করা পাতন মাধ্যমে
প্রযুক্তিগত উদ্ভাবন পয়েন্ট
- এন্ড-টু-এন্ড LLM পাইপলাইন: BERT পদ্ধতির তুলনায় উচ্চতর স্বয়ংক্রিয়তা অর্জন করেছে
- কাঠামোবদ্ধ আউটপুট সীমাবদ্ধতা: JSON সিনট্যাক্স সীমাবদ্ধতা ব্যবহার করে আউটপুট ফর্ম্যাট সামঞ্জস্য নিশ্চিত করা
- বহু-পর্যায়ের অপ্টিমাইজেশন: প্রতিটি পর্যায় নির্দিষ্ট কাজের জন্য অপ্টিমাইজ করা, সামগ্রিক কর্মক্ষমতা উন্নত করা
- হ্যালুসিনেশন প্রশমন: POS ট্যাগিং ফিল্টারিং এবং সূক্ষ্ম-সুর করার মাধ্যমে LLM হ্যালুসিনেশন সমস্যা হ্রাস করা
পরীক্ষামূলক সেটআপ
ডেটাসেট
- উৎস: Amazon Reviews 2023 ডেটাসেট
- পণ্য বিভাগ: ৫টি বিভাগ (ভিডিও গেম, টেলিভিশন, নেকলেস/ঘড়ি, স্ট্যান্ড মিক্সার)
- ডেটা স্কেল: প্রতিটি পণ্যের জন্য ১০০,০০০ পর্যালোচনা (মিক্সার ২৬,৪৬৪)
- প্রসেসিং সীমাবদ্ধতা: LLM কাজ ১০০০ পর্যালোচনা ব্যবহার করে (প্রসেসিং সময় বিবেচনা করে)
মূল্যায়ন মেট্রিক্স
শব্দ মূল্যায়ন মানদণ্ড:
- প্রাসঙ্গিকতা: শব্দটি পণ্যের অংশ বা উপাদান সঠিকভাবে প্রতিনিধিত্ব করে কিনা
- বিশেষত্ব: শব্দটি উপযুক্ত বিশেষত্ব স্তর রাখে কিনা
- স্পষ্টতা: শব্দটি স্পষ্টভাবে অভিপ্রায় প্রকাশ করে, অস্পষ্টতা এড়ায় কিনা
- পণ্য ম্যাচ: শব্দটি যুক্তিসঙ্গতভাবে প্রদত্ত পণ্যের জন্য উপযুক্ত কিনা
সম্পর্ক মূল্যায়ন মানদণ্ড:
- যুক্তিসঙ্গত শ্রেণীবিন্যাস: শিশু নোড পিতামাতা নোডের যুক্তিসঙ্গত অংশ বা বৈশিষ্ট্য প্রতিনিধিত্ব করে কিনা
- প্রসঙ্গ ম্যাচ: সম্পর্ক Amazon পণ্য বিভাগে যুক্তিসঙ্গত কিনা
- স্পষ্টতা এবং বিশেষত্ব: সম্পর্ক অস্পষ্টতা এড়ায় এবং অংশ-সম্পূর্ণ সম্পর্ক স্পষ্টভাবে সংজ্ঞায়িত করে কিনা
তুলনামূলক পদ্ধতি
- বেসলাইন পদ্ধতি: Oksanen ইত্যাদি (২০২১) এর BERT-ভিত্তিক পদ্ধতি
- মূল্যায়ন পদ্ধতি: Gemini 1.5 Flash LLM মূল্যায়নকারী হিসাবে
- তুলনামূলক সংস্করণ: সম্পূর্ণ সংস্করণ এবং সংক্ষিপ্ত সংস্করণ (বেসলাইন শব্দ সংখ্যার সমান)
বাস্তবায়ন বিবরণ
- হার্ডওয়্যার: NVIDIA GeForce RTX 4090 GPU
- অপ্টিমাইজার: Adam (শেখার হার ১০^-৪)
- সূক্ষ্ম-সুর কৌশল: LoRA (r=4, α=16)
- প্রশিক্ষণ পর্যায়: ৩ পর্যায়, ব্যাচ আকার ১৬
পরীক্ষামূলক ফলাফল
প্রধান ফলাফল
শব্দ গুণমান মূল্যায়ন
| পণ্য বিভাগ | এই পেপার (সম্পূর্ণ) | এই পেপার (সংক্ষিপ্ত) | BERT বেসলাইন |
|---|---|---|---|
| ভিডিও গেম | 4.00 | 4.18 | 3.92 |
| টেলিভিশন | 4.06 | 4.05 | 3.95 |
| নেকলেস | 4.50 | 4.57 | 3.86 |
| ঘড়ি | 4.13 | 4.37 | 4.10 |
| স্ট্যান্ড মিক্সার | 4.36 | 4.40 | 3.31 |
সম্পর্ক গুণমান মূল্যায়ন
| পণ্য বিভাগ | এই পেপার (সম্পূর্ণ) | এই পেপার (সংক্ষিপ্ত) | BERT বেসলাইন |
|---|---|---|---|
| ভিডিও গেম | 3.89 | 3.82 | 3.43 |
| টেলিভিশন | 3.99 | 4.56 | 3.21 |
| নেকলেস | 3.65 | 3.79 | 3.29 |
| ঘড়ি | 3.75 | 4.06 | 2.68 |
| স্ট্যান্ড মিক্সার | 3.30 | 3.40 | 2.47 |
বিলোপন পরীক্ষা
দিক নিষ্কাশন পদ্ধতি তুলনা
| পদ্ধতি | গড় স্কোর |
|---|---|
| পদ্ধতি A1 (শুধুমাত্র প্রম্পট) | 1.960 ± 0.006 |
| পদ্ধতি A2 (প্রম্পট + অনুভূতি) | 2.259 ± 0.002 |
| পদ্ধতি A3 (সূক্ষ্ম-সুর) | 2.662 ± 0.006 |
সম্পর্ক নিষ্কাশন পদ্ধতি তুলনা
| পদ্ধতি | ভিডিও গেম | টেলিভিশন | নেকলেস | ঘড়ি | মিক্সার |
|---|---|---|---|---|---|
| সম্পূর্ণ পর্যালোচনা | 3.811 | 4.155 | 3.397 | 3.570 | 3.080 |
| উদ্ধৃতি | 3.727 | 3.726 | 3.481 | 3.398 | 2.493 |
| উদ্ধৃতি + সূক্ষ্ম-সুর | 3.893 | 3.987 | 3.646 | 3.747 | 3.303 |
দক্ষতা বিশ্লেষণ
এই পেপারের পদ্ধতি প্রসেসিং সময়
| পর্যায় | গড় সময় (মিনিট) |
|---|---|
| দিক নিষ্কাশন | 32.05 |
| সমার্থক সেট নিষ্কাশন | 0.78 |
| ধারণা নিষ্কাশন | 1.52 |
| সম্পর্ক নিষ্কাশন | 4.53 |
| মোট | 38.89 |
BERT বেসলাইন প্রসেসিং সময়
| পর্যায় | গড় সময় (মিনিট) |
|---|---|
| সত্তা নিষ্কাশন | 1.66 |
| দিক নিষ্কাশন | 2.79 |
| সমার্থক নিষ্কাশন | 0.82 |
| অন্টোলজি নিষ্কাশন | 1.36 |
| মোট | 6.62 |
পরীক্ষামূলক অনুসন্ধান
- গুণমান উন্নতি: LLM পদ্ধতি শব্দ এবং সম্পর্ক গুণমান উভয় ক্ষেত্রে BERT বেসলাইনকে উল্লেখযোগ্যভাবে অতিক্রম করে
- সূক্ষ্ম-সুর গুরুত্ব: সূক্ষ্ম-সুর খাঁটি প্রম্পট পদ্ধতির তুলনায় উল্লেখযোগ্য কর্মক্ষমতা উন্নতি আনে
- গণনা খরচ: LLM পদ্ধতি উচ্চতর গুণমান কিন্তু BERT পদ্ধতির প্রায় ৬ গুণ গণনা খরচ
- ক্লাস্টারিং অ্যালগরিদম নির্বাচন: ENC K-means এর তুলনায় আরও নির্ভুল সমার্থক সেট উৎপাদন করে
সম্পর্কিত কাজ
অন্টোলজি শিক্ষা
ঐতিহ্যবাহী অন্টোলজি শিক্ষা প্রধানত গভীর শেখার পদ্ধতির উপর নির্ভর করে, কিন্তু বেশিরভাগ শ্রেণীবিভাগ সম্পর্কের উপর দৃষ্টি নিবদ্ধ করে অংশ-সম্পূর্ণ সম্পর্ক নিষ্কাশনে নয়।
অন্টোলজি নির্মাণে LLM এর প্রয়োগ
সাম্প্রতিক গবেষণা শব্দ এবং সম্পর্ক নিষ্কাশনের মতো মূল অন্টোলজি শিক্ষা কাজে LLMs এর প্রয়োগ অন্বেষণ করতে শুরু করেছে, কিন্তু প্রধানত শ্রেণীবিভাগ সম্পর্কের উপর দৃষ্টি নিবদ্ধ করে।
মূল্যায়ন পদ্ধতি
মান বেঞ্চমার্কের অভাবের কারণে, অন্টোলজি গুণমান মূল্যায়ন সর্বদা একটি চ্যালেঞ্জ হয়েছে। এই পেপারে প্রস্তাবিত LLM-as-a-judge পদ্ধতি এই সমস্যার জন্য একটি নতুন সমাধান প্রদান করে।
উপসংহার এবং আলোচনা
প্রধান উপসংহার
- LLM পদ্ধতি অংশ-সম্পূর্ণ অন্টোলজি নিষ্কাশন কাজে বিদ্যমান BERT পদ্ধতিকে উল্লেখযোগ্যভাবে অতিক্রম করে
- সূক্ষ্ম-সুর এবং কাঠামোবদ্ধ আউটপুট সীমাবদ্ধতা কর্মক্ষমতা উন্নতির মূল কারণ
- LLM-as-a-judge অন্টোলজি গুণমান মূল্যায়নের জন্য একটি সম্ভাব্য সমাধান প্রদান করে
সীমাবদ্ধতা
- মূল্যায়ন নির্ভরতা: প্রধানত LLM-as-a-judge এর উপর নির্ভর করে, ব্যবহারকারী গবেষণা যাচাইকরণের অভাব
- গণনা খরচ: BERT পদ্ধতির তুলনায় গণনা খরচ উল্লেখযোগ্যভাবে বৃদ্ধি পায়
- হ্যালুসিনেশন সমস্যা: LLM এখনও অপ্রাসঙ্গিক দিক উৎপাদনের হ্যালুসিনেশন সমস্যা রয়েছে
- বেঞ্চমার্ক অভাব: পণ্য অন্টোলজি ক্ষেত্রে মান বেঞ্চমার্ক ডেটাসেটের অভাব
ভবিষ্যত দিকনির্দেশনা
- মান বেঞ্চমার্ক নির্মাণ: এই কাজের জন্য মান বেঞ্চমার্ক ডেটাসেট প্রতিষ্ঠা করা
- ব্যবহারকারী গবেষণা যাচাইকরণ: ব্যবহারকারী গবেষণার মাধ্যমে অন্টোলজির ব্যবহারিকতা যাচাই করা
- পদ্ধতি সাধারণীকরণ: অন্যান্য ধরনের অন্টোলজিতে পদ্ধতির প্রয়োগ অন্বেষণ করা (যেমন শ্রেণীবিভাগ অন্টোলজি)
- হ্যালুসিনেশন প্রশমন: একক মডেল হ্যালুসিনেশন হ্রাস করার জন্য একাধিক LLM একীভূত করার পদ্ধতি গবেষণা করা
গভীর মূল্যায়ন
সুবিধা
- শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো সিস্টেমেটিকভাবে অংশ-সম্পূর্ণ অন্টোলজি নিষ্কাশনে LLMs প্রয়োগ করেছে
- সম্পূর্ণ পদ্ধতি: এন্ড-টু-এন্ড সম্পূর্ণ পাইপলাইন সমাধান প্রদান করেছে
- মূল্যায়ন উদ্ভাবন: LLM-as-a-judge মূল্যায়ন কাঠামো প্রস্তাব করেছে
- পর্যাপ্ত পরীক্ষা: বিস্তারিত বিলোপন পরীক্ষা এবং দক্ষতা বিশ্লেষণ অন্তর্ভুক্ত করেছে
- ওপেন সোর্স অবদান: সম্পূর্ণ ওপেন সোর্স বাস্তবায়ন প্রদান করেছে
অপূর্ণতা
- মূল্যায়ন সীমাবদ্ধতা: অত্যধিক LLM মূল্যায়নের উপর নির্ভর করে, মানব মূল্যায়ন যাচাইকরণের অভাব
- খরচ বিবেচনা: গণনা খরচ উল্লেখযোগ্যভাবে বৃদ্ধি পায় কিন্তু খরচ-সুবিধা ট্রেড-অফ পর্যাপ্তভাবে আলোচনা করা হয়নি
- সাধারণীকরণ: শুধুমাত্র ৫টি পণ্য বিভাগে যাচাই করা হয়েছে, সাধারণীকরণ আরও যাচাইকরণের প্রয়োজন
- বেঞ্চমার্ক তুলনা: আরও বিদ্যমান পদ্ধতির সাথে তুলনা যথেষ্ট নয়
প্রভাব
- একাডেমিক মূল্য: অন্টোলজি নির্মাণে LLMs এর প্রয়োগের জন্য গুরুত্বপূর্ণ রেফারেন্স প্রদান করেছে
- ব্যবহারিক মূল্য: ই-কমার্স ইত্যাদি ক্ষেত্রে সরাসরি প্রয়োগ সম্ভাবনা রয়েছে
- পদ্ধতিগত অবদান: LLM-as-a-judge মূল্যায়ন কাঠামো ব্যাপক প্রয়োগযোগ্যতা রয়েছে
- পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং ওপেন সোর্স কোড প্রদান করেছে
প্রযোজ্য পরিস্থিতি
- ই-কমার্স প্ল্যাটফর্ম: পণ্য শ্রেণীবিভাগ এবং সুপারিশ সিস্টেম
- জ্ঞান গ্রাফ নির্মাণ: স্বয়ংক্রিয় অন্টোলজি নির্মাণ
- তথ্য নিষ্কাশন: অসংগঠিত পাঠ্য থেকে কাঠামোবদ্ধ সম্পর্ক নিষ্কাশন
- পর্যালোচনা বিশ্লেষণ: পণ্য বৈশিষ্ট্য এবং উপাদান সনাক্তকরণ
সংদর্ভ
এই পেপারটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করেছে, যার মধ্যে রয়েছে:
- Oksanen ইত্যাদি (২০২১): BERT-ভিত্তিক পণ্য অন্টোলজি নিষ্কাশন পদ্ধতি
- Devlin ইত্যাদি (২০১৯): BERT মডেল
- Jiang ইত্যাদি (২০২৩): Mistral মডেল
- Pontiki ইত্যাদি (২০১৪): SemEval-2014 Task 4 ডেটাসেট
সামগ্রিক মূল্যায়ন: এটি অংশ-সম্পূর্ণ অন্টোলজি নিষ্কাশন ক্ষেত্রে গুরুত্বপূর্ণ অবদান সহ একটি পেপার। পদ্ধতি শক্তিশালী উদ্ভাবনী, পরীক্ষামূলক ডিজাইন যুক্তিসঙ্গত, ফলাফল প্রভাবশালী। যদিও মূল্যায়ন পদ্ধতি এবং গণনা খরচের ক্ষেত্রে কিছু সীমাবদ্ধতা রয়েছে, তবে এটি ক্ষেত্রের বিকাশের জন্য মূল্যবান অন্তর্দৃষ্টি এবং সরঞ্জাম প্রদান করে।