2025-11-11T10:25:09.405477

Can Large Language Models Master Complex Card Games?

Wang, Bie, Chen et al.

Complex games have long been an important benchmark for testing the progress of artificial intelligence algorithms. AlphaGo, AlphaZero, and MuZero have defeated top human players in Go and Chess, garnering widespread societal attention towards artificial intelligence. Concurrently, large language models (LLMs) have exhibited remarkable capabilities across various tasks, raising the question of whether LLMs can achieve similar success in complex games. In this paper, we explore the potential of LLMs in mastering complex card games. We systematically assess the learning capabilities of LLMs across eight diverse card games, evaluating the impact of fine-tuning on high-quality gameplay data, and examining the models' ability to retain general capabilities while mastering these games. Our findings indicate that: (1) LLMs can approach the performance of strong game AIs through supervised fine-tuning on high-quality data, (2) LLMs can achieve a certain level of proficiency in multiple complex card games simultaneously, with performance augmentation for games with similar rules and conflicts for dissimilar ones, and (3) LLMs experience a decline in general capabilities when mastering complex games, but this decline can be mitigated by integrating a certain amount of general instruction data. The evaluation results demonstrate strong learning ability and versatility of LLMs. The code is available at https://github.com/THUDM/LLM4CardGame

academic

大規模言語モデルは複雑なカードゲームをマスターできるか？

基本情報

論文ID: 2509.01328
タイトル: Can Large Language Models Master Complex Card Games?
著者: Wei Wang, Fuqing Bie, Junzhe Chen, Dan Zhang, Shiyu Huang, Evgeny Kharlamov, Jie Tang
分類: cs.CL
発表会議: NeurIPS 2025（第39回ニューラル情報処理システム会議）
論文リンク: https://arxiv.org/abs/2509.01328
コードリンク: https://github.com/THUDM/LLM4CardGame

要約

複雑なゲームは長年にわたってAIアルゴリズムの進歩をテストするための重要なベンチマークとなってきた。AlphaGo、AlphaZero、MuZeroは囲碁とチェスで一流の人間プレイヤーを打ち負かし、AIに対する社会的な関心を喚起した。同時に、大規模言語モデル（LLM）は様々なタスクで優れた能力を示しており、LLMが複雑なゲームで同様の成功を達成できるかという疑問が生じている。本論文は、LLMが複雑なカードゲームをマスターする可能性を探索している。本研究は、8種類の異なるカードゲームにおけるLLMの学習能力を体系的に評価し、高品質なゲームデータに対するファインチューニングの影響を評価し、これらのゲームをマスターしながら汎用能力を維持するモデルの能力をテストしている。

AI能力の境界探索：複雑なゲームはAIアルゴリズムの上限をテストするための重要なシナリオであり、Deep BlueからAlphaGoシリーズまでがこれを証明している
汎用知能の評価：専門的なゲームAIと比較して、汎用学習器としてのLLMのゲームマスタリング能力はより研究価値がある
マルチタスク学習能力：LLMが専門的に設計されたネットワークアーキテクチャなしで複数の複雑なゲームを同時にマスターできるかを評価する

既存方法の限界

評価の不十分さ：既存研究の多くはプロンプトベースの方法を採用しており、LLMの学習能力を十分に評価していない
タスク複雑度の不足：評価されるゲームの複雑度が低く、LLMの学習上限を包括的にテストできない
単一ゲームの限界：LLMが複数の複雑なゲームを同時にマスターする能力に関する体系的な研究が不足している

研究動機

AlphaGoシリーズの成功に触発されて、LLMが高品質なゲーム軌跡データを学習することで複雑なカードゲームをマスターできるかどうか、および汎用学習器としての利点を探索する。

核心的貢献

初めて提案した複数の高複雑度ゲームにおけるLLMの学習能力の包括的評価フレームワーク
構築した8種類の複雑なカードゲームを含む大規模な高品質訓練データセット。ゼロからの学習の高い計算コストを回避
体系的に評価した3つの重要な側面におけるLLMのパフォーマンス：単一ゲームのマスタリング能力、複数ゲームの同時学習能力、汎用能力の保持能力
実証したLLMは強力な学習能力と汎用性を備えており、モデル構造を変更することなく複数の複雑なゲームを同時にマスターできる

人気度：ゲームの人気度
複雑度：情報セット数と平均情報セットサイズで測定
データ可用性：強力なAIモデルまたは高品質データが利用可能かどうか

選定されたゲーム

高複雑度ゲーム：大貧民、グアンダン、日本麻雀
中程度の複雑度ゲーム：UNO、ジンラミー
ポーカータイプゲーム：Leduc Hold'em、リミテッドテキサスホールデム、ノーリミットテキサスホールデム

データ生成フロー

軌跡生成

教師モデル：強力なゲームAI（DouZeroやDanZeroなど）または専門家データを使用
対戦相手モデル：ルールベースモデル、ランダムモデル、または他のAIモデル
ゲーム数：ゲームの複雑度に応じて調整、6kから400kゲーム

データフィルタリング

勝者フィルタリング：勝利側の観測-アクションペアのみを保持
選択的フィルタリング：合法的なアクション数が1より大きいサンプルのみを保持

指示データ生成

ゲーム固有のプロンプトテンプレートを設計：

ゲーム紹介：ルールと目標
状態データ：手札、公開カード、過去のアクション、合法的なアクション
出力形式：JSON形式の要件

モデル訓練戦略

モデル選択

複数タイプのモデル：Qwen2.5、Llama3.1、GLM4
複数スケールのモデル：0.5Bから14Bパラメータ

訓練設定

ファインチューニング方法：LoRAファインチューニング（rank=8、alpha=16）
学習率：ピーク値1e-4、コサイン調度
バッチサイズ：128
訓練エポック：1エポック

実験設定

データ規模

ゲーム	プレイヤー数	教師モデル	ゲーム数	平均ステップ数	訓練データ
大貧民	3	DouZero	200k	37.31	1,000k
グアンダン	4	DanZero	6k	311.25	1,000k
日本麻雀	4	専門家データ	7k	656.92	1,000k
UNO	2	ルールモデル	50k	42.33	400k
ジンラミー	2	ルールモデル	50k	52.14	400k