D3MAS: Декомпозиция, дедукция и распределение для улучшенного обмена знаниями в многоагентных системах

Основная информация

• ID статьи: 2510.10585
• Название: D3MAS: Decompose, Deduce, and Distribute for Enhanced Knowledge Sharing in Multi-Agent Systems
• Авторы: Heng Zhang, Yuling Shi, Xiaodong Gu, Haochen You, Zijian Zhang, Lubin Gan, Yilei Yuan, Jin Huang
• Категория: cs.GR (Графика)
• Дата публикации: 12 октября 2025 г.
• Ссылка на статью: https://arxiv.org/abs/2510.10585v1

Аннотация

Многоагентные системы на основе больших языковых моделей демонстрируют мощные возможности в совместном решении проблем, однако эти системы страдают от серьёзной проблемы избыточности знаний. Агенты выполняют повторяющуюся работу при извлечении и рассуждении, при этом средний коэффициент повторения знаний достигает 47,3%. Эта неэффективность вызвана более глубокой проблемой: текущая архитектура не имеет механизмов, обеспечивающих обмен агентами минимально необходимой информацией на каждом этапе операции. В данной работе предлагается фреймворк D3MAS (декомпозиция, дедукция, распределение), который решает проблему избыточности посредством структурированного проектирования, а не явной оптимизации. Фреймворк организует сотрудничество в трёх координационных слоях: слой декомпозиции задач фильтрует нерелевантные подзадачи, слой совместного рассуждения захватывает дополняющие пути рассуждений между агентами, слой распределённой памяти обеспечивает доступ к знаниям без избыточности. Эти слои координируются посредством унифицированной передачи структурированных сообщений в гетерогенном графе, обеспечивая соответствие информации фактическим требованиям задачи. Эксперименты на четырёх сложных наборах данных показывают, что D3MAS повышает точность рассуждений на 8,7%-15,6%, одновременно снижая среднюю избыточность знаний на 46%.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, которую решает данное исследование, — это избыточность знаний в многоагентных системах. Конкретно это проявляется как:

1. Избыточность при извлечении: несколько агентов независимо извлекают одинаковые или перекрывающиеся знания
2. Избыточность при рассуждении: агенты следуют семантически похожим путям рассуждений
3. Избыточность задач: перекрытие при распределении подзадач

Важность проблемы

Проблема избыточности знаний серьёзно влияет на эффективность и производительность многоагентных систем:

• Эмпирический анализ показывает средний коэффициент повторения знаний в коммуникации агентов 47,3%
• Вызывает расходование вычислительных ресурсов и снижение эффективности сотрудничества
• Препятствует эффективному применению многоагентных систем в сложных задачах

Ограничения существующих методов

Существующие методы многоагентного сотрудничества имеют следующие проблемы:

1. Фрагментированная архитектура: координация задач, выполнение рассуждений и извлечение из памяти рассматриваются как независимые компоненты
2. Отсутствие кросс-слойной синхронизации: решения на каждом слое лишены контекстной информации других слоёв
3. Недостаточная оптимизация информационного потока: невозможность систематически фильтровать и выравнивать информацию

Исследовательская мотивация

С точки зрения теории информации, эффективное сотрудничество требует обеспечения того, чтобы информация, обмениваемая между агентами, была минимально достаточной на каждом этапе операции. В данной работе предлагается достичь оптимизации информации посредством структурированного проектирования, а не явного вычисления информационно-теоретических целей.

Основные вклады

1. Выявление ключевой проблемы: первый систематический анализ проблемы отсутствия иерархической координации в многоагентных системах, обнаружение коэффициента повторения знаний 47,3%
2. Предложение фреймворка D3MAS: унифицированный фреймворк многоагентного сотрудничества на основе гетерогенной графовой архитектуры, значительно снижающий избыточность посредством явного моделирования зависимостей
3. Достижение повышения производительности: повышение точности на 8,7%-15,6% на нескольких сложных тестовых наборах при одновременном среднем снижении избыточности знаний на 46%

Подробное описание метода

Определение задачи

Многоагентная система рассуждений определяется как S = {A₁, A₂, ..., Aₙ}, где каждый агент Aᵢ имеет независимый процесс рассуждения и базу знаний Kᵢ. Для сложного запроса q система посредством совместного рассуждения производит синтетический ответ a.

Архитектура модели

Общее проектирование фреймворка

D3MAS конструирует унифицированный гетерогенный граф G_D3MAS для организации многоагентного сотрудничества, содержащий три типа узлов:

Набор типов узлов:

• T_v = {T_task, T_reason, T_memory}

Набор типов рёбер:

• T_e = {e_decompose, e_trigger, e_depend, e_retrieve, e_ground, e_relate}

1. Слой Decompose: декомпозиция задач

Конструирование графа задач G⁽⁰⁾ = (V⁽⁰⁾, E⁽⁰⁾), где узлы представляют подзадачи, полученные из исходного запроса q.

Процесс декомпозиции:

V⁽⁰⁾ = {v_root} ∪ ⋃ⱼ₌₁ᵐ {vⱼ⁽⁰⁾ | vⱼ⁽⁰⁾ = Create(tⱼ), tⱼ ∈ LLM_decomp(v_parent)}

Распределение задач:

Assign(vⱼ⁽⁰⁾) = arg max_{Aᵢ∈S} Capability(Aᵢ, vⱼ⁽⁰⁾)

2. Слой Deduce: совместное рассуждение

Поддержание графа рассуждений G⁽¹⁾ = (V⁽¹⁾, E⁽¹⁾), где узлы представляют этапы рассуждения различных агентов.

Генерация узлов рассуждения:

vᵢ,ₖ⁽¹⁾ = LLM_Aᵢ(Concat(c_{vₖ⁽⁰⁾}, C_Aᵢ))

Конструирование рёбер зависимостей:

E_depend = {(vᵢ,ₖ⁽¹⁾, vⱼ,ₗ⁽¹⁾) | Premise(vᵢ,ₖ⁽¹⁾) ∩ Conclusion(vⱼ,ₗ⁽¹⁾) ≠ ∅}

3. Слой Distribute: распределённая память

Организация графа знаний G⁽²⁾ = (V⁽²⁾, E⁽²⁾), где узлы представляют сущности и концепции.

Оценка релевантности:

Score(vₗ⁽²⁾, q_mem) = (h_{vₗ} · f_embed(q_mem)) / (‖h_{vₗ}‖ · ‖f_embed(q_mem)‖)

Распределённое извлечение:

M_retrieve = Top-k(⋃ᵢ₌₁ⁿ {v ∈ Gᵢ⁽²⁾ | Score(v, q_mem) > θ})

Иерархическая передача сообщений

Кросс-слойный информационный поток реализуется посредством типо-чувствительной передачи сообщений:

h_v⁽ᵗ⁺¹⁾ = UPDATE(φ(v))(h_v⁽ᵗ⁾, ⊕_{u∈N(v)} MSG(ψ(u,v))(h_u⁽ᵗ⁾))

Передача сообщений чередуется между восходящими и нисходящими фазами, обеспечивая непрерывное выравнивание.

Технические инновации

1. Структурированное снижение избыточности: явное моделирование отношений зависимостей в гетерогенном графе избегает повторяющейся работы
2. Механизм кросс-слойной координации: двусторонний информационный поток между тремя слоями обеспечивает принятие решений на основе глобального контекста
3. Минимально достаточный обмен информацией: неявная реализация информационно-теоретической оптимизации посредством структурированного проектирования

Экспериментальная установка

Наборы данных

Используются четыре разнообразных открытых тестовых набора:

1. MMLU: вопросы с множественным выбором по 57 дисциплинам, тестирование логического рассуждения и мировых знаний
2. HumanEval: 164 задачи программирования, написанные вручную, тестирование способности генерации кода
3. CommonGen: генерация текста с ограничениями, оценка здравого смысла рассуждений
4. ARC-Challenge: задачи естественных наук начальной школы, требующие продвинутого рассуждения

Метрики оценки

• Точность: основной показатель для всех тестовых наборов
• Измерение MAgIC: семь измерений — Judge, Reason, Decept, Self-Aware, Compre, Coord, Rational
• Коэффициент избыточности: комплексное измерение избыточности памяти, рассуждений и задач

Методы сравнения

Включают однопроцессные методы (CoT, CoT-SC, Reflexion и т.д.) и многоагентные методы (AutoGen, MetaGPT, MACNET и т.д.).

Детали реализации

• Использование GPT-4 в качестве генератора языка
• BGE-M3 для вычисления текстовых вложений
• Размерность вложения d=512, количество слоёв передачи сообщений L=3
• Порог извлечения θ=0,65, top-k=5

Результаты экспериментов

Основные результаты

D3MAS значительно превосходит базовые методы на всех тестовых наборах:

Абляционные эксперименты

Анализ вклада каждого компонента:

Эффект снижения избыточности

• Среднее снижение избыточности на 46%
• Наиболее значительное снижение избыточности памяти
• Повышение вычислительной эффективности в 5-8 раз

Чувствительность гиперпараметров

• Оптимальное значение top-k: 5
• Оптимальный порог сходства: 0,65
• Оптимальное количество агентов: 6
• Оптимальная размерность вложения: 512

Связанные работы

Сотрудничество LLM-агентов

Существующие исследования включают методы, управляемые взаимодействием, диалоговые фреймворки, стратегии распределения ролей и т.д., но в целом страдают от проблем эффективности.

Многоагентные системы с графовой структурой

Ранние работы неявно используют графы, недавние исследования явно определяют графовые структуры, но не имеют проектирования топологии, чувствительного к задачам.

Преимущества данной работы

По сравнению со связанными работами, D3MAS обеспечивает иерархическую организацию и способность к динамической корректировке топологии, чувствительной к задачам.

Заключение и обсуждение

Основные выводы

1. D3MAS эффективно решает проблему избыточности знаний в многоагентных системах посредством иерархической координации
2. Структурированное проектирование более подходит для реализации минимально достаточного обмена информацией, чем явная оптимизация
3. Кросс-слойное выравнивание является ключом к снижению общей избыточности системы

Ограничения

1. Текущие эксперименты в основном основаны на GPT-4, требуется проверка обобщаемости на других моделях
2. Стратегии масштабирования для сверхбольших групп агентов требуют дальнейшего исследования
3. Адаптивность к реальным динамическим задачам нуждается в улучшении

Будущие направления

В статье предлагается исследование стратегий масштабирования для больших групп агентов, что является важным направлением исследований.

Глубокая оценка

Преимущества

1. Чёткое определение проблемы: первое систематическое количественное определение проблемы избыточности знаний в многоагентных системах
2. Сильная инновационность метода: гетерогенная графовая архитектура и механизм иерархической координации обладают оригинальностью
3. Полные эксперименты: всесторонние сравнения на нескольких наборах данных и базовых методах, результаты убедительны
4. Прочная теоретическая база: анализ на основе теории информации обеспечивает твёрдую основу для проектирования метода

Недостатки

1. Отсутствие анализа вычислительной сложности: отсутствует подробный анализ временной и пространственной сложности фреймворка
2. Недостаточное рассмотрение практического развёртывания: отсутствует анализ осуществимости развёртывания в реальных условиях
3. Механизм распространения ошибок: недостаточное обсуждение влияния распространения ошибок между слоями и стратегий смягчения

Влияние

1. Академический вклад: предоставляет новую исследовательскую парадигму для области многоагентного сотрудничества
2. Практическая ценность: имеет широкие перспективы применения в генерации кода, научном рассуждении и других областях
3. Воспроизводимость: предоставляет подробные детали реализации, облегчающие воспроизведение и расширение

Применимые сценарии

D3MAS особенно подходит для:

1. Многошаговых задач, требующих сложного рассуждения
2. Решения проблем, интенсивных по знаниям
3. Совместной разработки и отладки кода
4. Научных исследований и аналитических задач

Библиография

Статья цитирует 69 связанных работ, охватывающих многоагентные системы, графовые нейронные сети, большие языковые модели и другие области, обеспечивая прочную теоретическую основу для исследования.

Общая оценка: Это высококачественная исследовательская работа, предлагающая инновационное решение в области многоагентных систем. Статья имеет чёткое определение проблемы, разумное проектирование метода, полную экспериментальную проверку и обладает важной академической ценностью и практической значимостью.