2025-11-25T19:52:17.853069

Evolution of cooperation with the diversity of cooperation tendencies

Huang, Han
The complete cooperation and the complete defection are two typical strategies considered in evolutionary games in many previous works. However, in real life, strategies of individuals are full of variety rather than only two complete ones. In this work, the diversity of strategies is introduced into the weak prisoners' dilemma game, which is measured by the diversity of the cooperation tendency. A higher diversity means more cooperation tendencies are provided. The complete cooperation strategy is the full cooperation tendency and the complete defection strategy is without any cooperation tendency. Agents with other cooperation tendencies behave as partial cooperators and as partial defectors simultaneously. The numerical simulation shows that increasing the diversity of the cooperation tendency promotes the cooperation level, not only the number of cooperators but also the average tendency over the whole population, until the diversity reaches its saturated value. Furthermore, our work points out maintaining cooperation is based on the cooperation efficiency approximating to the reward of cooperators and that the cooperation efficiency oscillates and quickly decreases to zero when cooperator clusters cannot resist the invasion of defectors. When the effect of the noise for the Femi update mechanism is considered, a higher diversity of strategies not only improves the cooperation level of the whole population but also supports the survival of more rational agents.
academic

Evolution of cooperation with the diversity of cooperation tendencies

基本信息

  • 论文ID: 2406.12647
  • 标题: Evolution of cooperation with the diversity of cooperation tendencies
  • 作者: Linya Huang, Wenchen Han
  • 分类: physics.soc-ph (社会物理学)
  • 发表时间: 2024年6月18日 (arXiv预印本)
  • 论文链接: https://arxiv.org/abs/2406.12647

摘要

传统演化博弈论中通常只考虑完全合作和完全背叛两种策略，但现实中个体的策略更加多样化。本研究将策略多样性引入弱囚徒困境博弈中，通过合作倾向的多样性来衡量。更高的多样性意味着提供更多的合作倾向选择。完全合作策略对应满合作倾向，完全背叛策略对应零合作倾向，而其他合作倾向的智能体同时表现为部分合作者和部分背叛者。数值模拟显示，增加合作倾向的多样性能够促进合作水平，不仅提高合作者数量，还提升整个群体的平均倾向，直到多样性达到饱和值。研究还指出，维持合作基于合作效率接近合作者的奖励，当合作者集群无法抵抗背叛者入侵时，合作效率会振荡并快速降至零。

研究背景与动机

问题背景

  1. 传统博弈论的局限性: 经典演化博弈论通常只考虑完全合作和完全背叛两种极端策略，但现实世界中个体的行为策略存在连续性和多样性。
  2. 囚徒困境的现实意义: 囚徒困境作为研究合作演化的经典模型，其稳定均衡是相互背叛，导致合作者灭绝，但现实中合作行为广泛存在。
  3. 合作促进机制: 现有研究已识别出五种主要的合作促进机制：亲缘选择、直接互惠、间接互惠、网络互惠和群体选择，但对策略多样性的影响研究不足。

研究动机

  • 策略异质性的重要性: 真实世界中个体并非完全理性，存在各种程度的合作倾向
  • 部分合作策略: 个体可能同时具有合作和背叛的特征，需要更细致的建模
  • 网络效应: 在空间网络上研究策略多样性对合作演化的影响机制

核心贡献

  1. 引入合作倾向多样性概念: 将连续的合作倾向参数引入弱囚徒困境，允许智能体采用部分合作策略
  2. 建立新的评价指标体系: 提出合作者比例(fC)、平均合作倾向(fS)和合作效率(eC)等指标
  3. 揭示合作促进机制: 发现策略多样性通过缓解合作效率振荡来促进合作维持
  4. 理论洞察: 证明合作维持的关键在于合作效率接近合作者奖励值1
  5. 噪声效应分析: 研究了决策噪声对不同策略多样性水平下合作演化的影响

方法详解

任务定义

研究在L×L格子网络上，具有不同合作倾向多样性的智能体群体中，弱囚徒困境博弈的合作演化动力学。

输入:

  • 网络结构(100×100格子)
  • 合作倾向多样性参数m
  • 背叛诱惑参数b∈[1,2)
  • 决策噪声参数κ

输出:

  • 合作者比例fC
  • 平均合作倾向fS
  • 合作效率eC

模型架构

1. 弱囚徒困境设置

  • 收益矩阵: 双方合作获得奖励1，双方背叛获得惩罚0，背叛者面对合作者获得诱惑b，合作者面对背叛者获得0
  • 网络结构: 100×100格子网络，周期边界条件，每个节点度数k=4

2. 合作倾向多样性

合作倾向集合定义为： S={0,1m,2m,…,1}S = \{0, \frac{1}{m}, \frac{2}{m}, \ldots, 1\}

其中m为多样性参数，智能体i的合作倾向为si，表示该智能体si部分为合作者，(1-si)部分为背叛者。

3. 收益计算

智能体i与智能体j的收益为： Πi,j=si⋅sj+(1−si)⋅sj⋅b\Pi_{i,j} = s_i \cdot s_j + (1-s_i) \cdot s_j \cdot b

总收益为： Πi=∑j∈NiΠi,j\Pi_i = \sum_{j \in N_i} \Pi_{i,j}

4. 策略更新机制

采用Fermi更新规则，智能体i学习邻居j策略的概率为： W(sj←si)=11+exp⁡[(Πi−Πj)/κ]W(s_j \leftarrow s_i) = \frac{1}{1 + \exp[(\Pi_i - \Pi_j)/\kappa]}

其中κ为噪声参数，表示智能体的理性程度。

技术创新点

  1. 连续策略空间: 不同于传统的二元策略，引入连续的合作倾向参数
  2. 保持原始收益矩阵: 无需修改传统囚徒困境的收益结构
  3. 多维评价体系: 同时考虑合作者数量和合作强度
  4. 合作效率概念: 定义合作效率eC = ⟨Π⟩/(4fS)作为关键分析工具

实验设置

参数设置

  • 网络规模: N = 10,000个智能体，100×100格子
  • 多样性参数: m ∈ {1, 2, 4, 8, 10, 50, 100}
  • 背叛诱惑: b ∈ 1.00, 1.14
  • 噪声参数: κ = 0.1 (理性智能体)，κ ∈ 0, 0.3 (噪声分析)
  • 时间步数: 50,000步过渡期 + 1,000步统计期
  • 重复次数: 50次随机初始条件

评价指标

  1. 合作者比例: fC=∣{j∣sj>0}∣Nf_C = \frac{|\{j|s_j > 0\}|}{N}
  2. 平均合作倾向: fS=∑jsjNf_S = \frac{\sum_j s_j}{N}
  3. 合作效率: eC=⟨Π⟩4fSe_C = \frac{⟨\Pi⟩}{4f_S}
  4. 合作者平均倾向: fS/fC

实验结果

主要结果

1. 策略多样性促进合作

  • 当m=1时(传统二元策略)，b>1.02时所有智能体选择背叛
  • 当m≥2时，合作者能在更高的背叛诱惑下生存(b≈1.13)
  • 更高的多样性m支持群体达到更高的整体合作水平

2. 合作倾向的优化选择

  • 智能体倾向于选择接近"饱和合作倾向"的策略
  • 在中等诱惑水平下，部分合作策略(如s=0.5, s=0.75)成为主导
  • 多样性增加时，合作者平均倾向fS/fC趋于收敛

3. 合作效率的关键作用

  • 合作维持的关键在于合作效率eC接近1(合作者奖励)
  • 当合作者集群无法抵抗背叛者入侵时，eC剧烈振荡并快速降至0
  • 策略多样性通过缓解eC振荡来促进合作稳定

消融实验

噪声效应分析

  • 更高的策略多样性扩大了合作生存的噪声范围
  • m=1时，b=1.04下合作者完全灭绝，无论理性程度如何
  • m=8时，即使在b=1.42的高诱惑下，合作者仍能生存
  • 生存的合作者需要更高的理性程度来区分相近的合作倾向

案例分析

通过快照分析(图2)揭示了不同参数下的策略分布模式：

  • 低诱惑(b=1.01)：偏好完全合作s=1
  • 中等诱惑(b=1.02-1.03)：混合策略或部分合作占主导
  • 高诱惑(b=1.07)：只有低合作倾向策略能生存

实验发现

  1. 饱和效应: 存在最优合作倾向水平，超过该水平增加多样性效果有限
  2. 动态平衡: 合作效率在1附近的稳定是合作维持的必要条件
  3. 理性要求: 策略多样性增加对智能体理性程度提出更高要求

相关工作

合作演化机制

  • 经典五机制: 亲缘选择、直接互惠、间接互惠、网络互惠、群体选择
  • 系统机制: 声誉、奖惩、智能体异质性

策略异质性研究

  • 投资异质性: Yuan等将个体投资与局部合作水平关联
  • 连接度异质性: Cao等将投资与个体连接度比例关联
  • 声誉异质性: Yan等提出异质性声誉演化机制
  • 准合作策略: Chen等定义允许不完全利他的准合作策略

本文优势

  • 保持原始囚徒困境收益结构不变
  • 引入连续策略空间而非离散第三策略
  • 提供系统的理论分析框架

结论与讨论

主要结论

  1. 策略多样性显著促进合作: 增加合作倾向多样性能提高合作水平，使合作在更高背叛诱惑下维持
  2. 合作效率是关键机制: 合作维持依赖于合作效率接近1，多样性通过缓解效率振荡发挥作用
  3. 存在饱和阈值: 合作促进效果在达到某个多样性水平后趋于饱和
  4. 理性程度要求: 更高多样性需要智能体具备更高理性程度来有效区分策略

局限性

  1. 网络结构限制: 仅考虑了规则格子网络，未探索其他网络拓扑的影响
  2. 更新机制单一: 只使用了Fermi更新规则，其他学习机制可能产生不同结果
  3. 参数范围: 弱囚徒困境的参数范围相对有限
  4. 理论分析不足: 缺乏严格的数学理论推导

未来方向

  1. 网络拓扑扩展: 研究无标度网络、小世界网络等复杂网络上的效应
  2. 多层网络: 考虑多重关系网络中的合作演化
  3. 自适应网络: 允许网络结构随策略演化动态调整
  4. 理论建模: 发展解析理论来预测临界点和相变行为

深度评价

优点

  1. 概念创新: 合作倾向多样性概念新颖，为研究策略异质性提供了新视角
  2. 方法简洁: 在保持原始博弈结构的同时引入连续策略空间，设计巧妙
  3. 分析全面: 从多个维度(合作者比例、平均倾向、合作效率)系统分析合作演化
  4. 机制揭示: 通过合作效率动态演化揭示了合作维持的深层机制
  5. 实验充分: 参数扫描全面，统计分析可靠

不足

  1. 理论深度: 缺乏严格的数学理论分析，主要依赖数值模拟
  2. 模型简化: 网络结构和更新机制相对简单，与现实系统差距较大
  3. 机制解释: 对为什么策略多样性能缓解合作效率振荡的机制解释不够深入
  4. 普适性: 结论的普适性需要在更多博弈类型和网络结构上验证

影响力

  1. 理论贡献: 为演化博弈论中的策略异质性研究提供了新的建模框架
  2. 应用价值: 对理解现实社会中的合作行为具有指导意义
  3. 方法启发: 合作倾向的连续化处理方法可推广到其他博弈模型
  4. 跨学科意义: 对社会学、经济学、生物学等领域的合作研究有借鉴价值

适用场景

  1. 社会合作: 分析社会群体中不同合作程度个体的相互作用
  2. 经济行为: 研究市场中企业的部分合作策略
  3. 生态系统: 建模生物群体中的合作-竞争关系
  4. 在线社区: 分析网络社区中用户的参与和贡献行为

参考文献

论文引用了51篇相关文献，涵盖了博弈论基础、合作演化机制、网络科学等多个领域的重要工作，为研究提供了坚实的理论基础。特别值得关注的包括Nowak关于合作演化五规则的经典工作，以及近年来关于策略异质性的前沿研究。