2025-11-13T19:49:11.380535

Benchmarking Open-Source Large Language Models for Persian in Zero-Shot and Few-Shot Learning

Cherakhloo, Abbasi, Sarafraz et al.

Large Language Models (LLMs) have demonstrated remarkable capabilities across numerous languages; however, their effectiveness in low-resource languages like Persian requires thorough investigation. This paper presents a comprehensive benchmark of several open-source LLMs for Persian Natural Language Processing (NLP) tasks, utilizing both zero-shot and few-shot learning paradigms. We evaluate models across a range of tasks including sentiment analysis, named entity recognition, reading comprehension, and question answering, using established Persian datasets such as ParsiNLU and ArmanEmo. Our methodology encompasses rigorous experimental setups for both zero-shot and few-shot scenarios, employing metrics such as Accuracy, F1-score, BLEU, and ROUGE for performance evaluation. The results reveal that Gemma 2 consistently outperforms other models across nearly all tasks in both learning paradigms, with particularly strong performance in complex reasoning tasks. However, most models struggle with token-level understanding tasks like Named Entity Recognition, highlighting specific challenges in Persian language processing. This study contributes to the growing body of research on multilingual LLMs, providing valuable insights into their performance in Persian and offering a benchmark for future model development.

academic

পার্সিয়ান ভাষায় জিরো-শট এবং ফিউ-শট লার্নিং এর জন্য ওপেন-সোর্স বড় ভাষা মডেলগুলির বেঞ্চমার্কিং

মৌলিক তথ্য

পেপার আইডি: 2510.12807
শিরোনাম: Benchmarking Open-Source Large Language Models for Persian in Zero-Shot and Few-Shot Learning
লেখক: Mahdi Cherakhloo, Arash Abbasi, Mohammad Saeid Sarafraz, Bijan Vosoughi Vahdat
শ্রেণীবিভাগ: cs.CL cs.AI
প্রকাশনার সময়: ১৬ অক্টোবর, ২০২৫
পেপার লিঙ্ক: https://arxiv.org/abs/2510.12807

সারসংক্ষেপ

এই গবেষণা পার্সিয়ান ভাষার প্রাকৃতিক ভাষা প্রক্রিয়াকরণ কাজে একাধিক ওপেন-সোর্স বড় ভাষা মডেলের কর্মক্ষমতা সম্পর্কে একটি ব্যাপক বেঞ্চমার্ক পরিচালনা করে, যা জিরো-শট এবং ফিউ-শট লার্নিং প্যারাডাইম ব্যবহার করে। গবেষণা অনুভূতি বিশ্লেষণ, নামকৃত সত্তা স্বীকৃতি, পড়ার বোঝাপড়া এবং প্রশ্নোত্তর কাজগুলি কভার করে, ParsiNLU এবং ArmanEmo এর মতো প্রতিষ্ঠিত পার্সিয়ান ভাষার ডেটাসেট ব্যবহার করে। পরীক্ষায় কঠোর জিরো-শট এবং ফিউ-শট পরীক্ষামূলক সেটআপ ব্যবহার করা হয়েছে, যেখানে নির্ভুলতা, F1 স্কোর, BLEU এবং ROUGE এর মতো মেট্রিক্স ব্যবহার করে কর্মক্ষমতা মূল্যায়ন করা হয়েছে। ফলাফলগুলি দেখায় যে Gemma 2 উভয় শেখার প্যারাডাইমে প্রায় সমস্ত কাজে সর্বোত্তম কর্মক্ষমতা প্রদর্শন করে, বিশেষ করে জটিল যুক্তিযুক্ত কাজে উল্লেখযোগ্য কর্মক্ষমতা দেখায়। তবে, বেশিরভাগ মডেল নামকৃত সত্তা স্বীকৃতির মতো টোকেন-স্তরের বোঝাপড়ার কাজে দুর্বল কর্মক্ষমতা প্রদর্শন করে, যা পার্সিয়ান ভাষা প্রক্রিয়াকরণের নির্দিষ্ট চ্যালেঞ্জগুলি তুলে ধরে।

গবেষণার পটভূমি এবং প্রেরণা

মূল সমস্যা: কম সম্পদযুক্ত ভাষায় (যেমন পার্সিয়ান) বড় ভাষা মডেলের কার্যকারিতা গভীর গবেষণার প্রয়োজন। যদিও LLM গুলি ইংরেজির মতো উচ্চ সম্পদযুক্ত ভাষায় চমৎকার কর্মক্ষমতা প্রদর্শন করে, তবে পার্সিয়ান ভাষার মতো ভাষায় কর্মক্ষমতা উল্লেখযোগ্য ব্যবধান রয়েছে।
সমস্যার গুরুত্ব:
- পার্সিয়ান ভাষার অনন্য অর্থোগ্রাফিক বৈশিষ্ট্য, জটিল মরফোলজিক্যাল কাঠামো এবং ব্যাকরণগত প্যাটার্ন রয়েছে
- উচ্চ সম্পদযুক্ত ভাষার তুলনায় পার্সিয়ান ভাষায় ব্যাপক ডেটাসেট, টীকাকৃত কর্পাস এবং বিশেষায়িত NLP সরঞ্জামের অভাব রয়েছে
- পার্সিয়ান ভাষা সম্প্রদায়কে ন্যায্য NLP প্রযুক্তি অ্যাক্সেস প্রদান করা প্রয়োজন
বিদ্যমান পদ্ধতির সীমাবদ্ধতা:
- পার্সিয়ান ভাষার জন্য সিস্টেমেটিক LLM মূল্যায়নের অভাব
- বিদ্যমান গবেষণা প্রধানত ইংরেজির মতো উচ্চ সম্পদযুক্ত ভাষায় ফোকাস করে
- পার্সিয়ান ভাষা-নির্দিষ্ট ভাষাগত ঘটনা পর্যাপ্তভাবে অধ্যয়ন করা হয়নি
গবেষণার প্রেরণা: জিরো-শট এবং ফিউ-শট লার্নিং প্যারাডাইমের মাধ্যমে পার্সিয়ান ভাষার কাজে ওপেন-সোর্স LLM গুলির ক্ষমতা মূল্যায়ন করে, কম সম্পদযুক্ত ভাষা NLP প্রযুক্তি উন্নয়নের জন্য একটি বেঞ্চমার্ক প্রদান করা।

মূল অবদান

প্রথম ব্যাপক পার্সিয়ান ভাষা LLM বেঞ্চমার্ক প্রতিষ্ঠা: ১১টি ওপেন-সোর্স মডেলের ৫০+ কাজে সিস্টেমেটিক মূল্যায়ন অন্তর্ভুক্ত
জিরো-শট এবং ফিউ-শট লার্নিং প্যারাডাইমের তুলনামূলক বিশ্লেষণ প্রদান: বিভিন্ন শেখার প্যারাডাইমের পার্সিয়ান ভাষার কাজে প্রভাব প্রকাশ করে
পার্সিয়ান ভাষা প্রক্রিয়াকরণের নির্দিষ্ট চ্যালেঞ্জ চিহ্নিত করা: বিশেষ করে NER এর মতো টোকেন-স্তরের বোঝাপড়ার কাজে অসুবিধা
ভবিষ্যত মডেল উন্নয়নের জন্য বেঞ্চমার্ক প্রদান: গুরুত্বপূর্ণ কর্মক্ষমতা বেসলাইন প্রতিষ্ঠা করে, উন্নতির প্রয়োজনীয় মূল ক্ষেত্রগুলি নির্দেশ করে

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

গবেষণা একাধিক মূল NLP কাজ কভার করে:

পাঠ্য শ্রেণীবিভাগ: অনুভূতি বিশ্লেষণ, অনুভূতি সনাক্তকরণ
ক্রম লেবেলিং: নামকৃত সত্তা স্বীকৃতি
পড়ার বোঝাপড়া: প্রসঙ্গ-ভিত্তিক প্রশ্নোত্তর
পাঠ্য উৎপাদন: মেশিন অনুবাদ, পাঠ্য সংক্ষিপ্তকরণ
যুক্তিযুক্ত কাজ: যৌক্তিক যুক্তি, সাধারণ জ্ঞান যুক্তি, গাণিতিক যুক্তি

মডেল আর্কিটেকচার

১১টি প্রতিনিধিত্বমূলক ওপেন-সোর্স LLM মূল্যায়ন করা হয়েছে:

Gemma2: Google এর দক্ষ ট্রান্সফর্মার মডেল, উন্নত বহুভাষিক প্রতিনিধিত্ব ক্ষমতা সহ
GLM4: জটিল যুক্তি এবং বোঝাপড়ার কাজের জন্য অপ্টিমাইজ করা উৎপাদনশীল ভাষা মডেল
LLaMA3.1/3.2: Meta AI এর পরিমার্জিত আর্কিটেকচার, অ-ল্যাটিন লিপির টোকেন প্রতিনিধিত্ব উন্নত করেছে
Qwen2/2.5: আলিবাবার বহুভাষিক ভিত্তি মডেল
Mistral: গ্রুপযুক্ত প্রশ্ন মনোযোগ প্রক্রিয়া ব্যবহার করে গণনা-দক্ষ মডেল
অন্যান্য মডেল: Marco-O1, Aya-Expanse, Falcon3, Tulu3

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

একীভূত মূল্যায়ন কাঠামো: মানসম্মত প্রম্পট টেমপ্লেট এবং মূল্যায়ন পাইপলাইন প্রতিষ্ঠা করা
বহু-প্যারাডাইম তুলনা: জিরো-শট এবং ফিউ-শট লার্নিং এর কার্যকারিতা সিস্টেমেটিকভাবে তুলনা করা
সূক্ষ্ম-দানাদার বিশ্লেষণ: পার্সিয়ান ভাষা-নির্দিষ্ট ভাষাগত ঘটনার জন্য ত্রুটি বিশ্লেষণ
ক্রস-ডোমেইন মূল্যায়ন: মানবিকী, STEM এবং অন্যান্য একাধিক জ্ঞান ক্ষেত্র কভার করা

পরীক্ষামূলক সেটআপ

ডেটাসেট

ParsiNLU:
- পড়ার বোঝাপড়া: ১,০০০টি অনুচ্ছেদ-প্রশ্ন জোড়া
- পাঠ্য অন্তর্ভুক্তি: ২,৫০০টি পূর্বধারণা-অনুমান জোড়া
- অনুভূতি শ্রেণীবিভাগ: ১২,০০০টি বাক্য
- মেশিন অনুবাদ: ১০,০০০টি ইংরেজি-পার্সিয়ান সমান্তরাল বাক্য
ArmanEmo: ৭,৫০০টি পার্সিয়ান সোশ্যাল মিডিয়া পোস্ট, ৮টি অনুভূতি বিভাগে টীকাকৃত
ArmanNER: ৭,৬৮২টি বাক্য, ব্যক্তি, অবস্থান, সংস্থা তিনটি সত্তা শ্রেণী অন্তর্ভুক্ত
Persian MMLU: ১,২০০টি বহুনির্বাচনী প্রশ্ন, যুক্তি, ধর্মতত্ত্ব, সমাজবিজ্ঞান, গণিত, প্রাকৃতিক বিজ্ঞান এবং অন্যান্য ক্ষেত্র কভার করে
Persian News Summary: ৯৫,০০০টি নিবন্ধ-সংক্ষিপ্তকরণ জোড়া

মূল্যায়ন মেট্রিক্স

শ্রেণীবিভাগ কাজ: নির্ভুলতা (Accuracy) এবং ম্যাক্রো-গড় F1 স্কোর
নামকৃত সত্তা স্বীকৃতি: টোকেন-স্তরের F1 স্কোর
পড়ার বোঝাপড়া: সঠিক মিল (EM) এবং টোকেন ওভারল্যাপ F1 স্কোর
মেশিন অনুবাদ: BLEU স্কোর
পাঠ্য সংক্ষিপ্তকরণ: ROUGE-1, ROUGE-2, ROUGE-L স্কোর

তুলনামূলক পদ্ধতি

একীভূত পরীক্ষামূলক সেটআপ ব্যবহার করে ১১টি ওপেন-সোর্স LLM তুলনা করা হয়েছে, ন্যায্য তুলনা নিশ্চিত করতে।

বাস্তবায়ন বিবরণ

হার্ডওয়্যার: NVIDIA A100 GPUs (40GB VRAM)
সফটওয়্যার: Hugging Face Transformers (v4.30.2), PyTorch (v2.0.1)
অনুমান প্যারামিটার: উৎপাদন কাজের জন্য তাপমাত্রা ০.১ এ সেট করা, শ্রেণীবিভাগ কাজে লোভী ডিকোডিং ব্যবহার করা
ফিউ-শট সেটআপ: প্রতিটি কাজের জন্য ৫টি প্রতিনিধিত্বমূলক উদাহরণ র্যান্ডমলি নির্বাচন করা

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

সামগ্রিক কর্মক্ষমতা র্যাঙ্কিং:

Gemma2: ফিউ-শট ০.৬১, জিরো-শট ০.৪২ (সর্বোত্তম)
GLM4: ফিউ-শট ০.৫৩, জিরো-শট ০.৩৫
Qwen2.5: ফিউ-শট ০.৫০, জিরো-শট ০.৩৫
অন্যান্য মডেল: কর্মক্ষমতা ক্রমান্বয়ে হ্রাস পায়

মূল আবিষ্কার:

Gemma2 উভয় শেখার প্যারাডাইমে নেতৃত্ব বজায় রাখে, গড় সুবিধা ৮% এর বেশি
ফিউ-শট লার্নিং সর্বজনীনভাবে জিরো-শট লার্নিং এর চেয়ে উন্নত, গড় উন্নতি ১৩.৮%
জটিল যুক্তিযুক্ত কাজ সবচেয়ে স্পষ্ট উপকৃত হয় (১৭.৩% উন্নতি)

কাজ-নির্দিষ্ট বিশ্লেষণ

শক্তিশালী কাজ:

যৌক্তিক যুক্তি এবং ধর্মতত্ত্ব: গড় স্কোর ০.৪১২ এবং ০.৩৯৫
পড়ার বোঝাপড়া: ফিউ-শট জিরো-শট এর তুলনায় ১৭.৩% উন্নতি
পাঠ্য অন্তর্ভুক্তি: ফিউ-শট ১৫-২০% উন্নতি

চ্যালেঞ্জিং কাজ:

নামকৃত সত্তা স্বীকৃতি: সমস্ত মডেল দুর্বল কর্মক্ষমতা প্রদর্শন করে, ফিউ-শট উন্নতি মাত্র ৭.২%
গণিত এবং কম্পিউটার বিজ্ঞান: গড় স্কোর ০.২৮৭ এবং ০.৩০১
টোকেন-স্তরের পূর্বাভাস: কাঠামোগত সীমাবদ্ধতা কর্মক্ষমতা সীমাবদ্ধ করে

বিলোপন পরীক্ষা

ডোমেইন জ্ঞান পার্থক্য:

মানবিকী গড় ০.৩৯৫ বনাম STEM ক্ষেত্র ০.২৮৭
বহুভাষিক প্রশিক্ষণ ডেটা বিতরণ অসম নির্দেশ করে

ভাষাগত ঘটনা বিশ্লেষণ:

শব্দার্থগত বিচ্ছিন্নতা ত্রুটির হার ২৩.৭% বেশি
জটিল অনুভূতি অভিব্যক্তি ভুল শ্রেণীবিভাগের হার ৩১.২% বেশি
বহু-টোকেন সত্তা ত্রুটির হার ২৭.৮% বেশি
প্রাচীন অভিব্যক্তি ত্রুটির হার ৩৪.৫% বেশি

কেস বিশ্লেষণ

সফল কেস: Gemma2 যৌক্তিক যুক্তি কাজে উল্লেখযোগ্য কর্মক্ষমতা প্রদর্শন করে, জটিল শব্দার্থগত সম্পর্ক পরিচালনা করতে পারে

ব্যর্থ কেস: সমস্ত মডেল পার্সিয়ান ভাষা-নির্দিষ্ট প্রাচীন অভিব্যক্তি এবং সাংস্কৃতিক প্রসঙ্গ বোঝায় অসুবিধা রয়েছে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

মডেল কর্মক্ষমতা স্তর: Gemma2 অন্যান্য মডেলের চেয়ে উল্লেখযোগ্যভাবে উন্নত, আর্কিটেকচার সুবিধা প্রতিফলিত করে
শেখার প্যারাডাইম প্রভাব: ফিউ-শট লার্নিং উল্লেখযোগ্য উন্নতি নিয়ে আসে, বিশেষ করে শব্দার্থগত যুক্তি কাজে
কাজ-নির্দিষ্ট চ্যালেঞ্জ: টোকেন-স্তরের কাজ (যেমন NER) সমস্ত মডেলের জন্য চ্যালেঞ্জিং
ক্রস-ভাষা কর্মক্ষমতা ব্যবধান: পার্সিয়ান ভাষা ইংরেজি বেঞ্চমার্কের তুলনায় গড়ে ১৮.৭% কম

সীমাবদ্ধতা

মডেল নির্বাচন: সমস্ত উপলব্ধ মডেল কভার করা হয়নি, বিশেষ করে পার্সিয়ান ভাষা-নির্দিষ্ট মডেল
প্রম্পট ইঞ্জিনিয়ারিং: ব্যাপক প্রম্পট অপ্টিমাইজেশন পরিচালনা করা হয়নি
ডেটাসেট প্রতিনিধিত্ব: পার্সিয়ান ভাষার উপভাষা পরিবর্তন সম্পূর্ণভাবে কভার করা নাও হতে পারে
হাইপারপ্যারামিটার অপ্টিমাইজেশন: কাজ-নির্দিষ্ট হাইপারপ্যারামিটার সমন্বয় পরিচালনা করা হয়নি
উদাহরণ সংখ্যা: ফিউ-শট উদাহরণ সংখ্যা সীমিত (৩-৫টি)

ভবিষ্যত দিকনির্দেশনা

মডেল বৈচিত্র্য: আরও পার্সিয়ান ভাষা-নির্দিষ্ট LLM মূল্যায়ন করা
কাজ সম্প্রসারণ: বিমূর্ত সংক্ষিপ্তকরণ, বহু-পালা কথোপকথন এর মতো জটিল কাজ যোগ করা
উন্নত প্রম্পট কৌশল: গতিশীল প্রম্পট সমন্বয়, চিন্তা-শৃঙ্খল যুক্তি অন্বেষণ করা
ডোমেইন অভিযোজন: চিকিৎসা, আইন এর মতো পেশাদার ক্ষেত্র বেঞ্চমার্ক উন্নয়ন করা
সূক্ষ্ম-সুর কৌশল: প্যারামিটার-দক্ষ সূক্ষ্ম-সুর পদ্ধতি গবেষণা করা
সম্প্রদায় অবকাঠামো: সম্প্রদায় বেঞ্চমার্ক লিডারবোর্ড প্রতিষ্ঠা করা

গভীর মূল্যায়ন

শক্তি

গবেষণার উল্লেখযোগ্য অর্থ: পার্সিয়ান ভাষা LLM মূল্যায়নের শূন্যস্থান পূরণ করে, কম সম্পদযুক্ত ভাষা গবেষণায় গুরুত্বপূর্ণ রেফারেন্স প্রদান করে
কঠোর পরীক্ষামূলক ডিজাইন: একীভূত মূল্যায়ন কাঠামো ন্যায্য তুলনা নিশ্চিত করে, একাধিক কাজ এবং মেট্রিক্স কভার করে
গভীর এবং ব্যাপক বিশ্লেষণ: শুধুমাত্র কর্মক্ষমতা ডেটা প্রদান করে না, বরং সূক্ষ্ম ত্রুটি বিশ্লেষণ এবং ভাষাগত অন্তর্দৃষ্টি প্রদান করে
উচ্চ ব্যবহারিক মূল্য: পার্সিয়ান ভাষা NLP প্রয়োগের জন্য ব্যবহারিক নির্দেশনা প্রদান করে

দুর্বলতা

সীমিত মডেল কভারেজ: কিছু গুরুত্বপূর্ণ পার্সিয়ান ভাষা-নির্দিষ্ট মডেল মূল্যায়ন অনুপস্থিত
অপর্যাপ্ত প্রম্পট ইঞ্জিনিয়ারিং: মানসম্মত প্রম্পট কিছু মডেলের সম্পূর্ণ সম্ভাবনা প্রকাশ করতে পারে না
সাংস্কৃতিক প্রসঙ্গ বিশ্লেষণ: পার্সিয়ান ভাষা সাংস্কৃতিক-নির্দিষ্ট ঘটনার বিশ্লেষণ আরও গভীর হতে পারে
গণনা সম্পদ বর্ণনা: বিভিন্ন মডেলের গণনা খরচ তুলনা বিস্তারিতভাবে বর্ণনা করা হয়নি

প্রভাব

একাডেমিক অবদান: বহুভাষিক LLM গবেষণায় গুরুত্বপূর্ণ বেঞ্চমার্ক প্রদান করে, কম সম্পদযুক্ত ভাষা প্রযুক্তি উন্নয়ন চালিত করে
ব্যবহারিক মূল্য: পার্সিয়ান ভাষা NLP প্রয়োগের জন্য মডেল নির্বাচন এবং অপ্টিমাইজেশনে নির্দেশনা প্রদান করে
পুনরুৎপাদনযোগ্যতা: বিস্তারিত পরীক্ষামূলক সেটআপ এবং ওপেন-সোর্স প্রতিশ্রুতি গবেষণা পুনরুৎপাদন সমর্থন করে
সম্প্রদায় নির্মাণ: পার্সিয়ান ভাষা NLP গবেষণা সম্প্রদায়ের উন্নয়ন প্রচার করে

প্রযোজ্য পরিস্থিতি

মডেল নির্বাচন: পার্সিয়ান ভাষা NLP প্রয়োগের জন্য উপযুক্ত ভিত্তি মডেল নির্বাচন করা
বেঞ্চমার্ক তুলনা: নতুন মডেল উন্নয়নের জন্য কর্মক্ষমতা বেঞ্চমার্ক হিসাবে কাজ করা
গবেষণা নির্দেশনা: পার্সিয়ান ভাষা-নির্দিষ্ট মডেল উন্নতির জন্য দিকনির্দেশনা প্রদান করা
শিক্ষা সম্পদ: বহুভাষিক NLP কোর্সের শিক্ষা উপকরণ হিসাবে কাজ করা

সংদর্ভ

পেপারটি ৩২টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, যা অন্তর্ভুক্ত করে:

LLM মূল্যায়ন পদ্ধতিবিদ্যা গবেষণা
বহুভাষিক ক্ষমতা মূল্যায়ন কাঠামো
পার্সিয়ান ভাষা NLP সম্পদ এবং চ্যালেঞ্জ
জিরো-শট এবং ফিউ-শট লার্নিং কৌশল

মূল সংদর্ভগুলি ParsiNLU বেঞ্চমার্ক স্যুট, ArmanEmo অনুভূতি ডেটাসেট এবং বহুভাষিক LLM ক্ষমতা সমীক্ষা সহ গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে।

সারসংক্ষেপ: এটি পার্সিয়ান ভাষা LLM মূল্যায়নের জন্য একটি গুরুত্বপূর্ণ বেঞ্চমার্ক প্রতিষ্ঠা করে একটি উচ্চ-মানের অভিজ্ঞতামূলক গবেষণা পেপার। গবেষণা পদ্ধতি কঠোর, ফলাফল প্রভাবশালী এবং কম সম্পদযুক্ত ভাষা NLP প্রযুক্তি উন্নয়ন চালিত করতে উল্লেখযোগ্য অর্থ রয়েছে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এর অবদান এবং প্রভাব উল্লেখযোগ্য।