2025-11-13T19:49:11.380535

Benchmarking Open-Source Large Language Models for Persian in Zero-Shot and Few-Shot Learning

Cherakhloo, Abbasi, Sarafraz et al.

Large Language Models (LLMs) have demonstrated remarkable capabilities across numerous languages; however, their effectiveness in low-resource languages like Persian requires thorough investigation. This paper presents a comprehensive benchmark of several open-source LLMs for Persian Natural Language Processing (NLP) tasks, utilizing both zero-shot and few-shot learning paradigms. We evaluate models across a range of tasks including sentiment analysis, named entity recognition, reading comprehension, and question answering, using established Persian datasets such as ParsiNLU and ArmanEmo. Our methodology encompasses rigorous experimental setups for both zero-shot and few-shot scenarios, employing metrics such as Accuracy, F1-score, BLEU, and ROUGE for performance evaluation. The results reveal that Gemma 2 consistently outperforms other models across nearly all tasks in both learning paradigms, with particularly strong performance in complex reasoning tasks. However, most models struggle with token-level understanding tasks like Named Entity Recognition, highlighting specific challenges in Persian language processing. This study contributes to the growing body of research on multilingual LLMs, providing valuable insights into their performance in Persian and offering a benchmark for future model development.

academic

ペルシア語のゼロショット・少数ショット学習におけるオープンソース大規模言語モデルのベンチマーク

基本情報

論文ID: 2510.12807
タイトル: Benchmarking Open-Source Large Language Models for Persian in Zero-Shot and Few-Shot Learning
著者: Mahdi Cherakhloo、Arash Abbasi、Mohammad Saeid Sarafraz、Bijan Vosoughi Vahdat
分類: cs.CL cs.AI
発表日: 2025年10月16日
論文リンク: https://arxiv.org/abs/2510.12807

要約

本研究は、複数のオープンソース大規模言語モデル（LLM）がペルシア語自然言語処理タスクにおける性能を、ゼロショット学習および少数ショット学習パラダイムを用いて包括的にベンチマークしたものである。研究は感情分析、固有表現認識、読解理解、質問応答などのタスクを対象とし、ParsiNLUおよびArmanEmoなどの確立されたペルシア語データセットを使用している。実験は厳密なゼロショットおよび少数ショット実験設定を採用し、精度、F1スコア、BLEU、ROUGEなどの指標を用いて性能を評価している。結果として、Gemma 2は両学習パラダイムにおいてほぼすべてのタスクで最高性能を示し、特に複雑な推論タスクで優れた性能を発揮した。しかし、固有表現認識などのトークンレベル理解タスクではほとんどのモデルが不十分な性能を示し、ペルシア語処理の特定の課題が浮き彫りになった。

研究背景と動機

中核的課題: 大規模言語モデルが低資源言語（ペルシア語など）において有効であるかについて、深い調査が必要である。LLMは英語などの高資源言語では優れた性能を示しているが、ペルシア語などの言語における性能には依然として大きなギャップが存在する。
問題の重要性:
- ペルシア語は独特の正書法特性、複雑な形態構造、および文法パターンを有している
- 高資源言語と比較して、ペルシア語は包括的なデータセット、アノテーション付きコーパス、および専門的なNLPツールが不足している
- ペルシア語コミュニティに対して公平なNLP技術へのアクセスを提供する必要がある
既存手法の限界:
- ペルシア語に特化した体系的なLLM評価が不足している
- 既存研究は主に英語などの高資源言語に焦点を当てている
- ペルシア語特有の言語現象は十分に研究されていない
研究動機: ゼロショットおよび少数ショット学習パラダイムを通じてオープンソースLLMのペルシア語タスクに対する能力を評価し、低資源言語NLP技術の発展のためのベンチマークを提供する。

中核的貢献

初の包括的ペルシア語LLMベンチマークの確立: 11個のオープンソースモデルの50以上のタスクに対する体系的評価を含む
ゼロショットおよび少数ショット学習パラダイムの比較分析を提供: 異なる学習パラダイムがペルシア語タスクに与える影響を明らかにする
ペルシア語処理の特定の課題を特定: 特にNERなどのトークンレベル理解タスクにおける困難さを明らかにする
将来のモデル開発のためのベースラインを提供: 重要な性能ベースラインを確立し、改善が必要な主要領域を指摘する

方法の詳細

タスク定義

研究は複数の中核的なNLPタスクを対象としている：

テキスト分類: 感情分析、感情検出
系列ラベリング: 固有表現認識
読解理解: 文脈に基づく質問応答
テキスト生成: 機械翻訳、テキスト要約
推論タスク: 論理推論、常識推論、数学推論

モデルアーキテクチャ

11個の代表的なオープンソースLLMを評価した：

Gemma2: Googleの効率的なトランスフォーマーモデル、強化された多言語表現能力を備えている
GLM4: 複雑な推論および理解タスク用に最適化された生成言語モデル
LLaMA3.1/3.2: Meta AIの精緻化されたアーキテクチャ、非ラテン文字のトークン表現を改善
Qwen2/2.5: アリババの多言語基盤モデル
Mistral: グループ化クエリアテンション機構を採用した計算効率的なモデル
その他のモデル: Marco-O1、Aya-Expanse、Falcon3、Tulu3

技術的革新点

統一評価フレームワーク: 標準化されたプロンプトテンプレートおよび評価パイプラインを確立
マルチパラダイム比較: ゼロショットおよび少数ショット学習の有効性を体系的に比較
細粒度分析: ペルシア語特有の言語現象に対するエラー分析を実施
クロスドメイン評価: 人文科学、STEM等複数の知識領域を対象

実験設定

データセット

ParsiNLU:
- 読解理解: 1,000個の段落-質問ペア
- テキスト含意: 2,500個の前提-仮説ペア
- 感情分類: 12,000個の文
- 機械翻訳: 10,000個の英波対訳文ペア
ArmanEmo: 7,500個のペルシア語ソーシャルメディア投稿、8種類の感情カテゴリでアノテーション
ArmanNER: 7,682個の文、Person、Location、Organization の3つのエンティティクラスを含む
Persian MMLU: 論理、神学、社会学、数学、自然科学等を網羅する1,200個の多肢選択問題
Persian News Summary: 95,000個の記事-要約ペア