সীমিত-নমুনা NER-এর জন্য সংকর বহু-পর্যায়ের ডিকোডিং এবং সত্তা-সচেতন বৈপরীত্য শিক্ষা

মৌলিক তথ্য

• পত্র ID: 2404.06970
• শিরোনাম: Hybrid Multi-stage Decoding for Few-shot NER with Entity-aware Contrastive Learning
• লেখক: Congying Liu, Gaosheng Wang, Peipei Liu, Xingyuan Wei, Hongsong Zhu
• শ্রেণীবিভাগ: cs.CL
• প্রকাশনার সময়: এপ্রিল ২০২৪ (arXiv প্রাক-প্রিন্ট)
• পত্র লিঙ্ক: https://arxiv.org/abs/2404.06970

সারসংক্ষেপ

সীমিত-নমুনা নামকৃত সত্তা স্বীকৃতি কয়েকটি লেবেলযুক্ত উদাহরণের উপর ভিত্তি করে নতুন ধরনের নামকৃত সত্তা চিহ্নিত করতে পারে। টোকেন-স্তর বা বিস্তৃতি-স্তরের মেট্রিক শিক্ষা ব্যবহার করে পূর্ববর্তী পদ্ধতিগুলি গণনামূলক বোঝা এবং বিপুল সংখ্যক নেতিবাচক নমুনা বিস্তৃতির সমস্যায় ভুগছে। এই পত্রে, আমরা সীমিত-নমুনা NER-এর জন্য সংকর বহু-পর্যায়ের ডিকোডিং এবং সত্তা-সচেতন বৈপরীত্য শিক্ষা (MsFNER) প্রস্তাব করি, যা সাধারণ NER-কে দুটি পর্যায়ে বিভক্ত করে: সত্তা-বিস্তৃতি সনাক্তকরণ এবং সত্তা শ্রেণীবিভাগ। MsFNER প্রবর্তনের জন্য ৩টি প্রক্রিয়া রয়েছে: প্রশিক্ষণ, সূক্ষ্ম-সুর এবং অনুমান। প্রশিক্ষণ প্রক্রিয়ায়, আমরা মেটা-শিক্ষা ব্যবহার করে উৎস ডোমেইনে সর্বোত্তম সত্তা-বিস্তৃতি সনাক্তকরণ মডেল এবং সত্তা শ্রেণীবিভাগ মডেল আলাদাভাবে প্রশিক্ষণ এবং প্রাপ্ত করি, যেখানে আমরা সত্তা শ্রেণীবিভাগের জন্য সত্তা প্রতিনিধিত্ব উন্নত করতে একটি বৈপরীত্য শিক্ষা মডিউল তৈরি করি। সূক্ষ্ম-সুর প্রক্রিয়ায়, আমরা লক্ষ্য ডোমেইনের সমর্থন ডেটাসেটে উভয় মডেল সূক্ষ্ম-সুর করি। অনুমান প্রক্রিয়ায়, লেবেলবিহীন ডেটার জন্য, আমরা প্রথমে সত্তা-বিস্তৃতি সনাক্ত করি, তারপর সত্তা-বিস্তৃতি সত্তা শ্রেণীবিভাগ মডেল এবং KNN দ্বারা যৌথভাবে নির্ধারিত হয়। আমরা খোলা FewNERD ডেটাসেটে পরীক্ষা-নিরীক্ষা পরিচালনা করি এবং ফলাফলগুলি MsFNER-এর অগ্রগতি প্রদর্শন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

সীমিত-নমুনা নামকৃত সত্তা স্বীকৃতি (Few-shot NER) অল্প সংখ্যক লেবেলযুক্ত নমুনার উপর ভিত্তি করে নতুন ধরনের নামকৃত সত্তা দ্রুত চিহ্নিত করার লক্ষ্য রাখে। এই কাজটি গতিশীল পরিবর্তনশীল বাস্তব-বিশ্ব প্রয়োগের দৃশ্যে দ্রুত খাপ খাওয়ানোর প্রয়োজনীয়তা সহ বিশেষভাবে গুরুত্বপূর্ণ।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

1. টোকেন-স্তরের পদ্ধতি: যদিও প্রোটোটাইপ বা সমর্থন সেট টোকেনের দূরত্বের উপর ভিত্তি করে পদ্ধতিগুলি সহজ এবং স্বজ্ঞাত, তবে উচ্চ গণনামূলক খরচ, সত্তা টোকেন শব্দার্থিক সম্পূর্ণতা বজায় রাখতে অক্ষমতা এবং অ-সত্তা চিহ্নের হস্তক্ষেপের সমস্যা রয়েছে।
2. বিস্তৃতি-স্তরের পদ্ধতি: যদিও সম্পূর্ণ বিস্তৃতি মূল্যায়নের মাধ্যমে টোকেন-স্তরের পদ্ধতির কিছু সমস্যা হ্রাস করা যায়, তবে সমস্ত সম্ভাব্য বিস্তৃতি গণনা করা O(N²) জটিলতা এবং বিপুল সংখ্যক নেতিবাচক নমুনার শব্দ বৃদ্ধি করে।

গবেষণা প্রেরণা

লেখকরা দুটি মূল সমস্যা সমাধানের আশা করেন:

1. সত্তা এবং অ-সত্তার মধ্যে শব্দার্থিক পার্থক্য বৃদ্ধি করে কার্যকর সত্তা বিস্তৃতি নির্ধারণের মাধ্যমে few-shot NER স্বীকৃতির দক্ষতা কীভাবে উন্নত করা যায়
2. বিভিন্ন সত্তা ধরনের শব্দার্থিক দূরত্ব নিয়ন্ত্রণ এবং সমন্বয়ের মাধ্যমে সত্তা বিস্তৃতি শ্রেণীবিভাগ কীভাবে উন্নত করা যায়, যাতে একই ধরনের সত্তা শব্দার্থিক প্রতিনিধিত্ব আরও কাছাকাছি হয় এবং বিভিন্ন ধরনের সত্তা আরও দূরে থাকে

মূল অবদান

1. MsFNER কাঠামো প্রস্তাব: ঐতিহ্যবাহী NER কাজকে সত্তা বিস্তৃতি সনাক্তকরণ এবং সত্তা শ্রেণীবিভাগ দুটি পর্যায়ে বিভক্ত করে, গণনামূলক জটিলতা কার্যকরভাবে হ্রাস করে এবং নেতিবাচক নমুনার প্রভাব কমায়
2. সত্তা-সচেতন বৈপরীত্য শিক্ষা মডিউল ডিজাইন: সত্তা প্রতিনিধিত্ব শিক্ষা উন্নত করে, একই ধরনের সত্তার সামঞ্জস্য বৃদ্ধি করে এবং বিভিন্ন ধরনের সত্তার মধ্যে দূরত্ব বাড়ায়
3. সংকর অনুমান প্রক্রিয়া নির্মাণ: সত্তা শ্রেণীবিভাগ মডেল এবং KNN পদ্ধতি একত্রিত করে যৌথ পূর্বাভাস প্রদান করে, শ্রেণীবিভাগ নির্ভুলতা উন্নত করে
4. SOTA কর্মক্ষমতা অর্জন: FewNERD এবং FewAPTER ডেটাসেটে বিদ্যমান পদ্ধতিগুলিকে উল্লেখযোগ্যভাবে অতিক্রম করে এবং ChatGPT-এর সাথে ব্যাপক তুলনা পরিচালনা করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

Few-shot NER কাজ সংজ্ঞায়িত করা হয় যে: মডেল প্রথমে উৎস ডোমেইন ডেটাসেট $D_{source} = (S_{source}, Q_{source})$-এ প্রশিক্ষিত হয়, তারপর লক্ষ্য ডোমেইন ডেটাসেট $D_{target} = (S_{target}, Q_{target})$-এ অনুমানের জন্য স্থানান্তরিত হয়। যেখানে $S_{target}$ সমর্থন সেট, যাতে N ধরনের সত্তা (N-way) রয়েছে, প্রতিটি ধরনে K টি লেবেলযুক্ত উদাহরণ (K-shot) রয়েছে; $Q_{target}$ প্রশ্ন সেট, যাতে সমর্থন সেটের মতো একই ধরনের সত্তা রয়েছে।

মডেল স্থাপত্য

MsFNER তিনটি প্রধান প্রক্রিয়া অন্তর্ভুক্ত করে:

১. প্রশিক্ষণ প্রক্রিয়া (Training Process)

সত্তা বিস্তৃতি সনাক্তকরণ (ESD) মডিউল:

• সত্তা বিস্তৃতি সনাক্তকরণকে ক্রম লেবেলিং কাজ হিসাবে বিবেচনা করে, BIOES লেবেলিং স্কিম ব্যবহার করে
• ইনপুট বাক্য $x = (x_1, x_2, ..., x_n)$-এর জন্য, BERT এনকোডার ব্যবহার করে প্রসঙ্গ প্রতিনিধিত্ব $h = (h_1, h_2, ..., h_n)$ প্রাপ্ত করে
• CRF স্তরের মাধ্যমে সত্তা বিস্তৃতি সনাক্তকরণ সম্পাদন করে, প্রশিক্ষণ ক্ষতি:

$L_{ESD} = -\sum \log P(y|x)$

যেখানে: $P(y|x) = \frac{\prod_{i=1}^{|x|} \phi_i(y_{i-1}, y_i, x)}{\sum_{y'} \prod_{i=1}^{|x|} \phi_i(y'_{i-1}, y'_i, x)}$

• MAML মেটা-শিক্ষা পদ্ধতি ব্যবহার করে প্রশিক্ষণ দেয়, অভ্যন্তরীণ লুপ আপডেট এবং বাহ্যিক লুপ আপডেট অন্তর্ভুক্ত করে

সত্তা শ্রেণীবিভাগ (EC) মডিউল:

• সত্তা $e_k = (x_f, ..., x_{f+l})$-এর জন্য, সর্বোচ্চ পুলিং ব্যবহার করে প্রতিনিধিত্ব প্রাপ্ত করে: $\hat{e}_k = \max(h_f, ..., h_{f+l})$
• সত্তা-সচেতন বৈপরীত্য শিক্ষা প্রবর্তন করে, ক্ষতি ফাংশন: $L_{CL} = \sum_j -\frac{1}{|P(j)|} \sum_{p \in P(j)} \log \frac{\exp(\text{sim}(z_j, z_p)/\tau)}{\sum_{a \in A(j)} \exp(\text{sim}(z_j, z_a)/\tau)}$
• প্রোটোটাইপ প্রতিনিধিত্ব নির্মাণ এবং শ্রেণীবিভাগ সম্পাদন করে: $c_t(S) = \frac{1}{|S_t|} \sum_{e_m \in S_t} \hat{e}_m$

$p_{soft}(e_k) = \frac{\exp(-d(c_t(S), \hat{e}_k))}{\sum_{i=1}^{|\phi|} \exp(-d(c_i(S), \hat{e}_k))}$

২. সূক্ষ্ম-সুর প্রক্রিয়া (Finetuning Process)

লক্ষ্য ডোমেইন সমর্থন সেট $S_{target}$-এ প্রশিক্ষিত সত্তা সনাক্তকরণ এবং শ্রেণীবিভাগ মডেল সূক্ষ্ম-সুর করে, প্রশিক্ষণ প্রক্রিয়ার মতো একই প্যাটার্ন ব্যবহার করে।

৩. অনুমান প্রক্রিয়া (Inference Process)

চারটি পর্যায় অন্তর্ভুক্ত করে:

1. কী-মূল্য ডেটা স্টোর $D_{knn}$ নির্মাণ করে, কী হিসাবে সত্তা প্রতিনিধিত্ব, মূল্য হিসাবে সংশ্লিষ্ট লেবেল
2. সত্তা সনাক্তকরণ মডেল ব্যবহার করে সত্তা বিস্তৃতি প্রাপ্ত করে
3. সনাক্ত করা সত্তা প্রতিনিধিত্ব যথাক্রমে শ্রেণীবিভাগ মডেল এবং KNN মডিউলে ইনপুট করে
4. যৌথ পূর্বাভাস: $p(y|e'_k) = \lambda p_{knn}(y|e'_k) + (1-\lambda) p_{soft}(y|e'_k)$

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

1. দুই-পর্যায়ের বিভাজন কৌশল: NER কাজকে বিস্তৃতি সনাক্তকরণ এবং শ্রেণীবিভাগ দুটি উপ-কাজে বিভক্ত করে, ঐতিহ্যবাহী পদ্ধতিতে সমস্ত সম্ভাব্য বিস্তৃতি গণনা করার জটিলতা সমস্যা এড়ায়
2. সত্তা-সচেতন বৈপরীত্য শিক্ষা: বিশেষভাবে ডিজাইন করা বৈপরীত্য শিক্ষা মডিউল সত্তা প্রতিনিধিত্ব উন্নত করে, একই ধরনের সত্তার সমন্বয় বৃদ্ধি করে এবং বিভিন্ন ধরনের সত্তার পার্থক্য উন্নত করে
3. সংকর অনুমান প্রক্রিয়া: প্যারামিটারযুক্ত মডেল এবং অ-প্যারামিটারযুক্ত KNN পদ্ধতি একত্রিত করে, সমর্থন সেট তথ্য সম্পূর্ণভাবে ব্যবহার করে

পরীক্ষা সেটআপ

ডেটাসেট

FewNERD ডেটাসেট:

• ৮টি মোটা-দানাদার এবং ৬৬টি সূক্ষ্ম-দানাদার সত্তা ধরন অন্তর্ভুক্ত করে
• FewNERD-INTRA এবং FewNERD-INTER দুটি সেটিং মূল্যায়ন করে
• কাজ নির্মাণের জন্য N-way K~2K-shot স্যাম্পলিং পদ্ধতি গ্রহণ করে

FewAPTER ডেটাসেট:

• নেটওয়ার্ক নিরাপত্তা হুমকি বুদ্ধিমত্তা ডেটাসেট APTER-এর উপর ভিত্তি করে নির্মিত
• মূল ৩৭টি সত্তা ধরনকে ২১টি শ্রেণীতে একীভূত করে, মোট ২৮,২৫০টি সত্তা
• ৭:৭:৭ অনুপাতে প্রশিক্ষণ/যাচাইকরণ/পরীক্ষা সেট বিভক্ত করে
• ৪-way ১-shot, ৪-way ৩-shot, ৬-way ১-shot, ৬-way ৩-shot চারটি সেটিং নির্মাণ করে

মূল্যায়ন মেট্রিক্স

প্রধান মূল্যায়ন মেট্রিক হিসাবে F1 স্কোর ব্যবহার করে এবং মান বিচ্যুতি রিপোর্ট করে।

তুলনামূলক পদ্ধতি

• ProtoBERT: BERT লুকানো অবস্থার সাদৃশ্যের উপর ভিত্তি করে টোকেন-স্তরের পদ্ধতি
• CONTAINER: টোকেন-স্তরের বৈপরীত্য শিক্ষা গ্রহণকারী পদ্ধতি
• NNShot/StructShot: নিকটতম প্রতিবেশী অ্যালগরিদমের উপর ভিত্তি করে পদ্ধতি
• ESD: বিস্তৃতি-স্তরের ম্যাচিং পদ্ধতি
• MAML-ProtoNet: MAML এবং প্রোটোটাইপ নেটওয়ার্ক একত্রিত করা মেটা-শিক্ষা পদ্ধতি
• BDCP: সীমানা বৈষম্য এবং প্রাসঙ্গিকতা নির্মলকরণ পদ্ধতি
• ChatGPT: বৃহৎ ভাষা মডেল বেসলাইন

বাস্তবায়ন বিবরণ

• এনকোডার: BERT-base
• অপ্টিমাইজার: AdamW, শিক্ষার হার ৩e-৫
• ব্যাচ আকার: ৩২, সর্বোচ্চ ক্রম দৈর্ঘ্য: ১২৮
• KNN-এ K=১০, λ=০.১
• ১০০০ ধাপ প্রশিক্ষণ, যাচাইকরণ সেটে সেরা মডেল নির্বাচন করে

পরীক্ষার ফলাফল

প্রধান ফলাফল

FewNERD ডেটাসেট:

• FewNERD-INTRA-তে গড় F1 ২.৬৫% বৃদ্ধি
• FewNERD-INTER-এ গড় F1 ৪.৪৪% বৃদ্ধি
• পূর্ববর্তী সেরা পদ্ধতি MAML-ProtoNet-এর তুলনায় উল্লেখযোগ্য উন্নতি

FewAPTER ডেটাসেট:

• গড় F1 স্কোর ১১.৪২% বৃদ্ধি
• বেশিরভাগ সেটিংয়ে ChatGPT অতিক্রম করে

ChatGPT-এর সাথে তুলনা:

• FewNERD-তে সামগ্রিকভাবে ChatGPT অতিক্রম করে
• FewAPTER-এ ChatGPT-এর চেয়ে সামান্য কম, কিন্তু অনুমান গতি উল্লেখযোগ্যভাবে দ্রুত

বিলোপন পরীক্ষা

1. বৈপরীত্য শিক্ষা মডিউল অপসারণ:
   • FewNERD-তে গড় ০.৯০৫% হ্রাস
   • FewAPTER-এ গড় ০.৭৪৫% হ্রাস
2. KNN মডিউল অপসারণ:
   • FewNERD-তে গড় ০.৫২৪% হ্রাস
   • FewAPTER-এ গড় ০.৬৩৫% হ্রাস

ফলাফল দেখায় যে উভয় মডিউল কর্মক্ষমতায় ইতিবাচক অবদান রাখে।

দক্ষতা বিশ্লেষণ

MsFNER-এর অনুমান সময় ChatGPT-এর চেয়ে উল্লেখযোগ্যভাবে দ্রুত, বিভিন্ন সেটিংয়ে উচ্চতর দক্ষতা প্রদর্শন করে, অকাম রেজর নীতির সাথে সামঞ্জস্যপূর্ণ।

পরীক্ষামূলক আবিষ্কার

1. K-shot সংখ্যার প্রভাব: K-shot নমুনা সংখ্যা বৃদ্ধি কর্মক্ষমতা উল্লেখযোগ্যভাবে উন্নত করতে পারে
2. N-way সংখ্যার প্রভাব: N-way বৃদ্ধি কর্মক্ষমতা হ্রাস করে, স্বজ্ঞাত
3. ডোমেইন অভিযোজন: মডেল ক্রস-ডোমেইন কাজে ভাল কর্মক্ষমতা প্রদর্শন করে
4. LLM স্থিতিশীলতা: ChatGPT কর্মক্ষমতা তুলনামূলকভাবে স্থিতিশীল, ডেটা এবং ডোমেইন পরিবর্তন দ্বারা কম প্রভাবিত

সম্পর্কিত কাজ

Few-shot NER প্রধান দিকনির্দেশনা

1. টোকেন-স্তরের পদ্ধতি: ProtoBERT, CONTAINER ইত্যাদির মতো, টোকেন সাদৃশ্যের উপর ভিত্তি করে পূর্বাভাস দেয়
2. বিস্তৃতি-স্তরের পদ্ধতি: ESD ইত্যাদির মতো, সত্তাকে সম্পূর্ণ বিস্তৃতি হিসাবে পরিচালনা করে
3. মেটা-শিক্ষা পদ্ধতি: MAML-ProtoNet ইত্যাদির মতো, মেটা-শিক্ষা কাঠামো নতুন কাজে দ্রুত অভিযোজন করে

এই পত্রের সুবিধা

বিদ্যমান কাজের তুলনায়, MsFNER দুই-পর্যায়ের বিভাজন কৌশলের মাধ্যমে বিদ্যমান পদ্ধতির মূল সমস্যা কার্যকরভাবে সমাধান করে, একই সাথে বৈপরীত্য শিক্ষা প্রবর্তন করে প্রতিনিধিত্ব শিক্ষা উন্নত করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

1. কার্যকারিতা: MsFNER একাধিক ডেটাসেটে SOTA কর্মক্ষমতা অর্জন করে, দুই-পর্যায়ের বিভাজন কৌশলের কার্যকারিতা প্রমাণ করে
2. দক্ষতা: ঐতিহ্যবাহী বিস্তৃতি-স্তরের পদ্ধতির তুলনায় গণনামূলক জটিলতা উল্লেখযোগ্যভাবে হ্রাস করে
3. সর্বজনীনতা: বিভিন্ন ডোমেইন এবং সেটিংয়ে ভাল কর্মক্ষমতা প্রদর্শন করে

সীমাবদ্ধতা

1. ডোমেইন অভিযোজন সীমা: নির্দিষ্ট ডোমেইনে (যেমন FewAPTER) সাধারণীকরণ ক্ষমতা এখনও উন্নতির অবকাশ রয়েছে
2. হাইপারপ্যারামিটার সংবেদনশীলতা: λ ইত্যাদি হাইপারপ্যারামিটার বিভিন্ন ডেটাসেটের জন্য সামঞ্জস্য প্রয়োজন
3. গণনামূলক সম্পদ: এখনও ভিত্তি হিসাবে প্রাক-প্রশিক্ষিত BERT মডেল প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

1. শক্তিশালী ডোমেইন অভিযোজন ক্ষমতা: আরও ভাল ক্রস-ডোমেইন স্থানান্তর পদ্ধতি অন্বেষণ করে
2. শেষ থেকে শেষ অপ্টিমাইজেশন: দুই-পর্যায়ের যৌথ অপ্টিমাইজেশন কৌশল গবেষণা করে
3. বৃহত্তর স্কেল মূল্যায়ন: আরও ডোমেইন এবং ভাষায় পদ্ধতির কার্যকারিতা যাচাই করে

গভীর মূল্যায়ন

সুবিধা

1. পদ্ধতি উদ্ভাবন শক্তিশালী: দুই-পর্যায়ের বিভাজন কৌশল উদ্ভাবনী, বিদ্যমান পদ্ধতির মূল সমস্যা কার্যকরভাবে সমাধান করে
2. প্রযুক্তিগত ডিজাইন যুক্তিসঙ্গত: সত্তা-সচেতন বৈপরীত্য শিক্ষা এবং সংকর অনুমান প্রক্রিয়া ডিজাইন চতুর
3. পরীক্ষা ব্যাপক: একাধিক ডেটাসেটে ব্যাপক মূল্যায়ন, LLM-এর সাথে তুলনা অন্তর্ভুক্ত করে
4. বিশ্লেষণ গভীর: বিস্তারিত বিলোপন পরীক্ষা এবং দক্ষতা বিশ্লেষণ প্রদান করে

অপূর্ণতা

1. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: পদ্ধতির কার্যকারিতার তাত্ত্বিক ব্যাখ্যার অভাব
2. গণনামূলক জটিলতা বিশ্লেষণ: যদিও জটিলতা হ্রাস দাবি করে, কিন্তু পরিমাণগত বিশ্লেষণের অভাব
3. ত্রুটি বিশ্লেষণ অনুপস্থিত: মডেল ব্যর্থতার ক্ষেত্রে গভীর বিশ্লেষণ নেই

প্রভাব

1. একাডেমিক অবদান: Few-shot NER-এর জন্য নতুন সমাধান চিন্তাভাবনা প্রদান করে
2. ব্যবহারিক মূল্য: পদ্ধতি সহজ কার্যকর, বাস্তবায়ন এবং স্থাপনা সহজ
3. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং হাইপারপ্যারামিটার সেটিং প্রদান করে

প্রযোজ্য দৃশ্য

1. সম্পদ সীমিত পরিবেশ: বৃহৎ ভাষা মডেলের তুলনায় সীমিত গণনামূলক সম্পদের দৃশ্যে আরও উপযুক্ত
2. দ্রুত স্থাপনা প্রয়োজন: নতুন সত্তা ধরনে দ্রুত অভিযোজন করতে পারে
3. নির্দিষ্ট ডোমেইন প্রয়োগ: নেটওয়ার্ক নিরাপত্তা ইত্যাদি উল্লম্ব ডোমেইনে ভাল প্রয়োগ সম্ভাবনা

তথ্যসূত্র

পত্রটি সম্পর্কিত ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

• Few-shot শিক্ষা ভিত্তি পদ্ধতি (Prototypical Networks, MAML)
• নামকৃত সত্তা স্বীকৃতি ক্লাসিক পদ্ধতি (BERT-based approaches)
• বৈপরীত্য শিক্ষা সম্পর্কিত কাজ (Supervised Contrastive Learning)
• Few-shot NER বিশেষ পদ্ধতি (ProtoBERT, ESD, MAML-ProtoNet ইত্যাদি)

সামগ্রিক মূল্যায়ন: এটি একটি প্রযুক্তিগতভাবে দৃঢ়, পরীক্ষা-নিরীক্ষা ব্যাপক উৎকৃষ্ট পত্র। লেখক প্রস্তাবিত দুই-পর্যায়ের বিভাজন কৌশল বিদ্যমান পদ্ধতির মূল সমস্যা কার্যকরভাবে সমাধান করে, একাধিক ডেটাসেটে উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করে। পদ্ধতি ডিজাইন যুক্তিসঙ্গত, ব্যবহারিক মূল্য উচ্চ, few-shot NER ক্ষেত্রে মূল্যবান অবদান প্রদান করে।