2025-11-11T09:31:09.518969

Optimal Strategy Revision in Population Games: A Mean Field Game Theory Perspective

Barreiro-Gomez, Park

This paper investigates the design of optimal strategy revision in Population Games (PG) by establishing its connection to finite-state Mean Field Games (MFG). Specifically, by linking Evolutionary Dynamics (ED) -- which models agent decision-making in PG -- to the MFG framework, we demonstrate that optimal strategy revision can be derived by solving the forward Fokker-Planck (FP) equation and the backward Hamilton-Jacobi (HJ) equation, both central components of the MFG framework. Furthermore, we show that the resulting optimal strategy revision satisfies two key properties: positive correlation and Nash stationarity, which are essential for ensuring convergence to the Nash equilibrium. This convergence is then rigorously analyzed and established. Additionally, we discuss how different design objectives for the optimal strategy revision can recover existing ED models previously reported in the PG literature. Numerical examples are provided to illustrate the effectiveness and improved convergence properties of the optimal strategy revision design.

academic

Revisión Óptima de Estrategia en Juegos de Población: Una Perspectiva de Teoría de Juegos de Campo Medio

Información Básica

ID del Artículo: 2501.01389
Título: Optimal Strategy Revision in Population Games: A Mean Field Game Theory Perspective
Autores: Julian Barreiro-Gomez (Khalifa University), Shinkyu Park (King Abdullah University of Science and Technology)
Clasificación: cs.MA (Sistemas Multiagente), cs.GT (Ciencia de la Computación y Teoría de Juegos)
Fecha de Publicación: 2 de enero de 2025 (preimpresión arXiv)
Enlace del Artículo: https://arxiv.org/abs/2501.01389

Resumen

Este artículo estudia el diseño de la revisión óptima de estrategia en juegos de población (Population Games, PG) mediante el establecimiento de una conexión entre juegos de población y juegos de campo medio de estado finito (Mean Field Games, MFG). Específicamente, vinculando la dinámica evolutiva (Evolutionary Dynamics, ED) que modela la toma de decisiones de agentes con el marco MFG, el artículo demuestra que la revisión óptima de estrategia puede obtenerse resolviendo la ecuación de Fokker-Planck (FP) hacia adelante y la ecuación de Hamilton-Jacobi (HJ) hacia atrás. Además, el artículo prueba que la revisión óptima de estrategia obtenida satisface dos propiedades clave: correlación positiva y estacionariedad de Nash, que son cruciales para garantizar la convergencia al equilibrio de Nash.

Antecedentes y Motivación de la Investigación

Descripción del Problema

Problema Central: ¿Cómo diseñar un protocolo óptimo de revisión de estrategia en juegos de población de modo que una población grande de agentes converja eficientemente al equilibrio de Nash?
Importancia: El protocolo de revisión de estrategia determina cómo los agentes ajustan sus selecciones de estrategia según los beneficios actuales, afectando directamente el desempeño de convergencia del sistema y la calidad del equilibrio.
Limitaciones Existentes:
- Los modelos tradicionales de dinámica evolutiva (como dinámica de Smith, dinámica de replicación, etc.) carecen de un marco sistemático de optimización
- Falta una base teórica unificada para explicar las relaciones entre diferentes modelos de dinámica evolutiva
- Sigue siendo un problema abierto cómo diseñar protocolos óptimos para una función objetivo dada

Motivación de la Investigación

La innovación del artículo radica en establecer por primera vez una conexión formal entre el marco MFG y la dinámica evolutiva de juegos de población, proporcionando una base teórica para el diseño optimizado de protocolos de revisión de estrategia.

Contribuciones Principales

Establecimiento del Marco Teórico: Establece por primera vez una conexión directa formal entre MFG de estado finito y la dinámica evolutiva de juegos de población
Diseño de Revisión Óptima de Estrategia: Propone un método de diseño de protocolo de revisión óptima de estrategia basado en el marco MFG, obteniendo la solución óptima mediante la resolución de ecuaciones FP y HJ
Prueba de Propiedades Teóricas: Demuestra que la revisión óptima de estrategia satisface correlación positiva y estacionariedad de Nash, estableciendo teoría de convergencia
Unificación de Modelos Existentes: Muestra cómo recuperar modelos clásicos de dinámica evolutiva existentes mediante la selección de diferentes funciones objetivo de diseño
Verificación Numérica: Proporciona ejemplos numéricos que verifican la efectividad del método propuesto y el desempeño mejorado de convergencia

Explicación Detallada del Método

Definición de la Tarea

Considérese una población grande de agentes, donde cada agente selecciona una estrategia del conjunto de estrategias $S = \{1, \cdots, n\}$ . Se define:

Estado de población: $x(t) \in \Delta$ , donde $\Delta$ es el símplex de probabilidad
Función de beneficio: $F: \Delta \rightarrow \mathbb{R}^n$
Protocolo de revisión de estrategia: $\rho_{ji}(p, x)$ representa la probabilidad de que un agente cambie de estrategia $j$ a estrategia $i$

Marco Teórico Principal

1. Conexión entre MFG y Dinámica Evolutiva

Lema 1: La ecuación de dinámica evolutiva (2) es equivalente a la ecuación de Fokker-Planck (8) si y solo si el protocolo de revisión de estrategia satisface:

undefined