D3MAS: Decompose, Deduce, and Distribute for Enhanced Knowledge Sharing in Multi-Agent Systems

基本信息

• 论文ID: 2510.10585
• 标题: D3MAS: Decompose, Deduce, and Distribute for Enhanced Knowledge Sharing in Multi-Agent Systems
• 作者: Heng Zhang, Yuling Shi, Xiaodong Gu, Haochen You, Zijian Zhang, Lubin Gan, Yilei Yuan, Jin Huang
• 分类: cs.GR (Graphics)
• 发表时间: 2025年10月12日
• 论文链接: https://arxiv.org/abs/2510.10585v1

摘要

基于大型语言模型的多智能体系统在协作问题解决方面展现出强大能力，但这些系统存在严重的知识冗余问题。智能体在检索和推理过程中重复劳动，平均知识重复率达到47.3%。这种低效源于更深层的问题：当前架构缺乏确保智能体在每个操作阶段共享最少必要信息的机制。本文提出D3MAS（分解、推理、分发）框架，通过结构化设计而非显式优化来解决冗余问题。该框架在三个协调层中组织协作：任务分解层过滤无关子问题，协作推理层捕获智能体间互补推理路径，分布式内存层提供非冗余知识访问。这些层通过统一异构图中的结构化消息传递进行协调，确保信息与实际任务需求保持一致。在四个挑战性数据集上的实验表明，D3MAS将推理准确率提升8.7%至15.6%，平均减少46%的知识冗余。

研究背景与动机

问题定义

本研究要解决的核心问题是多智能体系统中的知识冗余问题。具体表现为：

1. 检索冗余：多个智能体独立检索相同或重叠的知识
2. 推理冗余：智能体追求语义相似的推理路径
3. 任务冗余：子任务分配中的重叠问题

问题重要性

知识冗余问题严重影响多智能体系统的效率和性能：

• 实证分析显示智能体通信中平均知识重复率为47.3%
• 造成计算资源浪费和协作效果下降
• 阻碍了多智能体系统在复杂任务中的有效应用

现有方法局限性

现有多智能体协作方法存在以下问题：

1. 架构碎片化：任务协调、推理执行和内存检索被视为独立组件
2. 缺乏跨层同步：各层决策缺乏其他层的上下文信息
3. 信息流优化不足：无法系统性地过滤和对齐信息

研究动机

从信息论角度，有效协作需要确保智能体间交换的信息在每个操作阶段都是最小充分的。本文提出通过结构化设计隐式实现信息优化，而非显式计算信息论目标。

核心贡献

1. 识别关键问题：首次系统性分析多智能体系统中的层次协调缺失问题，发现47.3%的知识重复率
2. 提出D3MAS框架：基于异构图架构的统一多智能体协作框架，通过显式依赖建模显著减少冗余
3. 实现性能提升：在多个挑战性基准测试中实现8.7%-15.6%的准确率提升，同时平均减少46%的知识冗余

方法详解

任务定义

多智能体推理系统定义为 S = {A₁, A₂, ..., Aₙ}，其中每个智能体Aᵢ具有独立的推理过程和知识库Kᵢ。给定复杂查询q，系统通过协作推理产生综合答案a。

模型架构

整体框架设计

D3MAS构建统一异构图G_D3MAS来组织多智能体协作，包含三种节点类型：

节点类型集合：

• T_v = {T_task, T_reason, T_memory}

边类型集合：

• T_e = {e_decompose, e_trigger, e_depend, e_retrieve, e_ground, e_relate}

1. Decompose层：任务分解

构建任务图G⁽⁰⁾ = (V⁽⁰⁾, E⁽⁰⁾)，节点表示从原始查询q派生的子问题。

分解过程：

V⁽⁰⁾ = {v_root} ∪ ⋃ⱼ₌₁ᵐ {vⱼ⁽⁰⁾ | vⱼ⁽⁰⁾ = Create(tⱼ), tⱼ ∈ LLM_decomp(v_parent)}

任务分配：

Assign(vⱼ⁽⁰⁾) = arg max_{Aᵢ∈S} Capability(Aᵢ, vⱼ⁽⁰⁾)

2. Deduce层：协作推理

维护推理图G⁽¹⁾ = (V⁽¹⁾, E⁽¹⁾)，节点表示不同智能体的推理步骤。

推理节点生成：

vᵢ,ₖ⁽¹⁾ = LLM_Aᵢ(Concat(c_{vₖ⁽⁰⁾}, C_Aᵢ))

依赖边构建：

E_depend = {(vᵢ,ₖ⁽¹⁾, vⱼ,ₗ⁽¹⁾) | Premise(vᵢ,ₖ⁽¹⁾) ∩ Conclusion(vⱼ,ₗ⁽¹⁾) ≠ ∅}

3. Distribute层：分布式内存

组织知识图G⁽²⁾ = (V⁽²⁾, E⁽²⁾)，节点表示实体和概念。

相关性评分：

Score(vₗ⁽²⁾, q_mem) = (h_{vₗ} · f_embed(q_mem)) / (‖h_{vₗ}‖ · ‖f_embed(q_mem)‖)

分布式检索：

M_retrieve = Top-k(⋃ᵢ₌₁ⁿ {v ∈ Gᵢ⁽²⁾ | Score(v, q_mem) > θ})

层次化消息传递

跨层信息流通过类型感知的消息传递实现：

h_v⁽ᵗ⁺¹⁾ = UPDATE(φ(v))(h_v⁽ᵗ⁾, ⊕_{u∈N(v)} MSG(ψ(u,v))(h_u⁽ᵗ⁾))

消息传递交替进行自底向上和自顶向下的阶段，实现持续对齐。

技术创新点

1. 结构化冗余减少：通过异构图显式建模依赖关系，避免重复工作
2. 跨层协调机制：三层间的双向信息流确保决策基于全局上下文
3. 最小充分信息共享：通过结构化设计隐式实现信息论优化

实验设置

数据集

使用四个多样化的公开基准测试：

1. MMLU：57个学科的多选题，测试逻辑推理和世界知识
2. HumanEval：164个手工编写的编程问题，测试代码生成能力
3. CommonGen：约束文本生成，考查常识推理
4. ARC-Challenge：小学科学问题，需要高级推理

评价指标

• 准确率：所有基准测试的主要指标
• MAgIC维度：Judge、Reason、Decept、Self-Aware、Compre、Coord、Rational七个维度
• 冗余率：内存冗余、推理冗余、任务冗余的综合测量

对比方法

包括单智能体方法（CoT、CoT-SC、Reflexion等）和多智能体方法（AutoGen、MetaGPT、MACNET等）。

实现细节

• 使用GPT-4作为语言生成器
• BGE-M3计算文本嵌入
• 嵌入维度d=512，消息传递层数L=3
• 检索阈值θ=0.65，top-k=5

实验结果

主要结果

D3MAS在所有基准测试中显著优于基线方法：

消融实验

各组件贡献分析：

冗余减少效果

• 平均冗余减少46%
• 内存冗余减少最显著
• 计算效率提升5-8倍

超参数敏感性

• 最优top-k值：5
• 最优相似性阈值：0.65
• 最优智能体数量：6
• 最优嵌入维度：512

相关工作

LLM智能体协作

现有研究包括交互驱动方法、对话框架、角色分配策略等，但普遍存在效率问题。

图结构多智能体系统

早期工作隐式使用图，近期研究显式定义图结构，但缺乏任务感知的拓扑设计。

本文优势

相比相关工作，D3MAS提供了层次化组织和任务感知的动态拓扑调整能力。

结论与讨论

主要结论

1. D3MAS通过层次化协调有效解决了多智能体系统中的知识冗余问题
2. 结构化设计比显式优化更适合实现最小充分信息共享
3. 跨层对齐是减少系统整体冗余的关键

局限性

1. 当前实验主要基于GPT-4，需要验证在其他模型上的泛化性
2. 对于超大规模智能体群体的扩展策略需要进一步研究
3. 实时动态任务的适应性有待提升

未来方向

论文提出将探索大规模智能体群体的扩展策略，这是一个重要的研究方向。

深度评价

优点

1. 问题定义清晰：首次系统性量化多智能体系统中的知识冗余问题
2. 方法创新性强：异构图架构和层次化协调机制具有原创性
3. 实验充分：多数据集、多基线的全面对比，结果具有说服力
4. 理论基础扎实：基于信息论的理论分析为方法设计提供了坚实基础

不足

1. 计算复杂度分析缺失：未详细分析框架的时间和空间复杂度
2. 实际部署考虑不足：缺乏在真实环境中部署的可行性分析
3. 错误传播机制：未充分讨论层间错误传播的影响和缓解策略

影响力

1. 学术贡献：为多智能体协作领域提供了新的研究范式
2. 实用价值：在代码生成、科学推理等领域有广泛应用前景
3. 可复现性：提供了详细的实现细节，便于复现和扩展

适用场景

D3MAS特别适用于：

1. 需要复杂推理的多步骤任务
2. 知识密集型问题解决
3. 协作代码开发和调试
4. 科学研究和分析任务

参考文献

论文引用了69篇相关文献，涵盖了多智能体系统、图神经网络、大型语言模型等多个领域的重要工作，为研究提供了坚实的理论基础。

总体评价：这是一篇高质量的研究论文，在多智能体系统领域提出了创新性的解决方案。论文问题定义清晰，方法设计合理，实验验证充分，具有重要的学术价值和实用意义。