2025-11-12T15:46:10.477787

PIMAEX: Multi-Agent Exploration through Peer Incentivization

KÃ¶lle, Tochtermann, SchÃ¶nberger et al.

While exploration in single-agent reinforcement learning has been studied extensively in recent years, considerably less work has focused on its counterpart in multi-agent reinforcement learning. To address this issue, this work proposes a peer-incentivized reward function inspired by previous research on intrinsic curiosity and influence-based rewards. The \textit{PIMAEX} reward, short for Peer-Incentivized Multi-Agent Exploration, aims to improve exploration in the multi-agent setting by encouraging agents to exert influence over each other to increase the likelihood of encountering novel states. We evaluate the \textit{PIMAEX} reward in conjunction with \textit{PIMAEX-Communication}, a multi-agent training algorithm that employs a communication channel for agents to influence one another. The evaluation is conducted in the \textit{Consume/Explore} environment, a partially observable environment with deceptive rewards, specifically designed to challenge the exploration vs.\ exploitation dilemma and the credit-assignment problem. The results empirically demonstrate that agents using the \textit{PIMAEX} reward with \textit{PIMAEX-Communication} outperform those that do not.

academic

PIMAEX: ピア・インセンティブ化による多エージェント探索

基本情報

論文ID: 2501.01266
タイトル: PIMAEX: Multi-Agent Exploration through Peer Incentivization
著者: Michael Kölle, Johannes Tochtermann, Julian Schönberger, Gerhard Stenzel, Philipp Altmann, Claudia Linnhoff-Popien (ルートヴィヒ・マクシミリアン大学ミュンヘン)
分類: cs.MA (マルチエージェントシステム), cs.AI (人工知能)
発表日: 2025年1月2日 (arXiv プレプリント)
論文リンク: https://arxiv.org/abs/2501.01266

要約

単一エージェント強化学習における探索問題は広く研究されている一方で、マルチエージェント強化学習における探索問題は相対的に注目が不足している。この問題に対処するため、本論文はピア・インセンティブ化された報酬関数を提案する。この関数は内在的好奇心と影響力ベースの報酬に関する先行研究に着想を得ている。PIMAEX報酬（ピア・インセンティブ化マルチエージェント探索の略）は、エージェント間の相互影響を促進することで新しい状態に遭遇する可能性を高め、マルチエージェント環境における探索を改善することを目指している。本研究は、PIMAEX報酬とPIMAEX-Communication アルゴリズムの組み合わせを、Consume/Explore環境で評価した。この環境は、欺瞞的な報酬を持つ部分可観測環境であり、探索と利用のジレンマおよび信用割当問題に対処するために特別に設計されている。実験結果は、PIMAEX報酬を使用するエージェントが使用しないエージェントを上回ることを示している。

研究背景と動機

核心的な問題

マルチエージェント探索の課題: マルチエージェント強化学習における探索問題は単一エージェントよりも困難である。なぜなら、結合状態空間がエージェント数に対して指数関数的に増加するからである
協調の必要性: 状態遷移確率がすべてのエージェントの結合行動に依存するため、個々のエージェントが状態空間の重要な部分を独立して探索することは困難である
疎な報酬と欺瞞的な報酬: 疎い報酬または欺瞞的な報酬を持つ環境では、エージェントは局所最適に陥りやすい
信用割当問題: 長い行動シーケンスと最終報酬の間の時間的距離により、信用割当が困難になる

研究の重要性

マルチエージェントシステムは現実世界のアプリケーション（自動運転、ロボット協調など）でますます重要になっている
効果的なマルチエージェント探索は複雑な協調タスクの実現の鍵である
既存の方法は主に協調と協力に焦点を当てており、探索問題に特化していない

既存方法の限界

単一エージェント探索方法（ε-貪欲戦略など）はマルチエージェント環境では効果が限定的である
内在的好奇心ベースの方法は主に単一エージェント向けに設計されている
影響力報酬は主に協調改善に使用され、探索促進に特化していない

核心的な貢献

PIMAEX報酬関数の提案: 内在的好奇心と社会的影響力を組み合わせてマルチエージェント探索を促進する新規なピア・インセンティブ化メカニズム
一般化された社会的影響力報酬フレームワークの構築: α、β、γの3つの項の加重組み合わせを含む先行研究の影響力報酬概念を統一
PIMAEX-Communication アルゴリズムの設計: 通信メカニズムに基づくマルチエージェント訓練アルゴリズム。任意のactor-criticアルゴリズムと組み合わせ可能
Consume/Explore環境の開発: 探索と利用のジレンマおよび信用割当問題を評価するために特別に設計されたテスト環境
実証的検証: 挑戦的な環境におけるPIMAEX方法の有効性の証明

方法の詳細

タスク定義

本研究は部分可観測マルチエージェント環境を対象としており、以下の特性を持つ：

エージェントは探索と利用のバランスを見つける必要がある
環境は疎い報酬または欺瞞的な報酬を持つ
状態空間を効果的に探索するにはエージェント間の協調が必要
長期信用割当問題が存在する

モデルアーキテクチャ

1. 一般化された社会的影響力報酬関数

エージェントjの一般化された影響力報酬は以下のように定義される：

r_j = Σ_{k≠j} [α·PI^α_{j→k} + β·PI^β_{j→k}·r^w_k + γ·VI^w_{j→k}]

ここで：

αの項: 政策影響力に基づく直接報酬（Jaques et al., 2018に類似）
βの項: 本論文の核心的な革新。影響力と被影響エージェント報酬の積に基づく
γの項: 価値影響力に基づく長期報酬（Wang et al., 2019に類似）

2. 政策影響力と価値影響力

政策影響力はKL発散またはPMIを使用して測定される：

PI^DKL_{j→i} = D_KL[π^info_i || π^marginal_{j→i}]
PI^PMI_{j→i} = log(p(a_i|o_i, info_{j→i})/p(a_i|o_i))

価値影響力は以下のように定義される：

VI_{j→i} = V^info_i - V^marginal_{j→i}

3. PIMAEX報酬

PIMAEX報酬は外在的報酬と内在的報酬を組み合わせる：

r^w_k = β_env·r^env_k + β_int·r^int_k
VI^w_{j→k} = γ_env·VI^env_{j→k} + γ_int·VI^int_{j→k}

技術的革新点

βの項の革新: 影響力と被影響エージェント報酬の積に基づくインセンティブメカニズムを初めて提案
反事実的推論: 反事実的メッセージサンプリングを通じて周辺政策と価値関数を計算
通信メカニズム: 離散メッセージチャネルにより、エージェント間の相互影響を可能にする
内在的好奇心の統合: RND（Random Network Distillation）を社会的影響力と組み合わせる

実験設定

Consume/Explore環境

環境の特性：

4エージェントの部分可観測環境
各エージェントは私的生産ラインを持ち、M ステップごとにC個の消費品を生産
3種類の行動：無行動、消費、探索
探索行動はすべてのエージェントの生産率を向上させるが、即座の報酬はない

主要パラメータ：

集団探索閾値 E = 0.5（成功を保証するには少なくとも2つのエージェントが同時に探索する必要がある）
次の生産量レベルに到達するには c_max = 2000回の成功探索が必要
最大生産量レベル C_max = 5

観測空間: 5次元ベクトル

私的情報：現在の供給量、倉庫スペース、次の生産時間
グローバル情報：現在の生産量レベル、成功探索回数

評価指標

結合報酬: すべてのエージェントの総報酬
個別報酬の差異: 労働分業の程度を反映
状態空間カバレッジ: 直接的な探索度の測定
行動統計: 消費/探索行動の割合と同時行動数
生産量レベル: 最終的に達成された生産量レベルと各レベルに到達するのに必要なステップ数

比較方法

Vanilla PPO: ベースラインPPOエージェント
PPO+RND: ランダムネットワーク蒸留を組み合わせた内在的好奇心エージェント
単一項PIMAEXエージェント: αのみ、βのみ、またはγのみを使用するエージェント

実装の詳細

DeepMindのacmeライブラリとJAXフレームワークに基づく
訓練ステップ数：1e7
バッチサイズ：16、展開長：128
学習率：1e-4、割引因子：0.999
各モデルは3つのランダムシードで訓練

実験結果

主要な結果

全体的なパフォーマンス：
- PIMAEX βエージェントが最高のパフォーマンスを示し、PPO+RNDおよびvanilla PPOを大幅に上回る
- すべてのPIMAEX変体がベースライン方法を上回る
- PIMAEX βは最も低い標準偏差を示し、政策がより安定していることを示唆
探索行動：
- PIMAEX αエージェントが最も活発な探索者である
- PIMAEX βエージェントは明確なタスク分業を示す：エージェント1と3は探索に焦点を当て、エージェント2と4は主に消費
- すべての方法がペアでの協調探索を実現できる（エピソードの約1/3の時間）
状態空間カバレッジ：
- 最終的な探索状態空間カバレッジにおける方法間の差異は比較的小さい
- PIMAEX αはエピソード内の探索カバレッジで最高のパフォーマンスを示す
- PIMAEX βはエージェント状態空間カバレッジの標準偏差が最小