BambooKG: A Neurobiologically-inspired Frequency-Weight Knowledge Graph
Arikutharam, Ukolov
Retrieval-Augmented Generation allows LLMs to access external knowledge, reducing hallucinations and ageing-data issues. However, it treats retrieved chunks independently and struggles with multi-hop or relational reasoning, especially across documents. Knowledge graphs enhance this by capturing the relationships between entities using triplets, enabling structured, multi-chunk reasoning. However, these tend to miss information that fails to conform to the triplet structure. We introduce BambooKG, a knowledge graph with frequency-based weights on non-triplet edges which reflect link strength, drawing on the Hebbian principle of "fire together, wire together". This decreases information loss and results in improved performance on single- and multi-hop reasoning, outperforming the existing solutions.
academic
BambooKG: Вдохновленный нейробиологией граф знаний с частотно-весовыми связями
Поиск с дополнением знаниями (RAG) позволяет большим языковым моделям получать доступ к внешним знаниям, снижая галлюцинации и проблемы устаревания данных. Однако RAG обрабатывает извлеченные текстовые фрагменты независимо, испытывая трудности с многошаговым или реляционным рассуждением, особенно при кросс-документном анализе. Графы знаний улучшают это, используя тройки для захвата отношений между сущностями, обеспечивая структурированное многошаговое рассуждение; однако эти методы часто теряют информацию, которая не соответствует структуре тройки. В данной работе предлагается BambooKG — граф знаний, использующий частотные веса на нетройковых ребрах, где веса ребер отражают силу связи, вдохновленные принципом Хебба "нейроны, возбуждаемые вместе, связываются вместе". Это снижает потерю информации и достигает лучшей производительности как на одношаговом, так и на многошаговом рассуждении, превосходя существующие решения.
Современные системы поиска с дополнением знаниями (RAG) и методы на основе графов знаний имеют значительные ограничения при обработке сложных многошаговых задач рассуждения:
Проблема независимости RAG: Традиционный RAG обрабатывает извлеченные текстовые фрагменты независимо, что затрудняет кросс-документное реляционное рассуждение и многошаговое рассуждение
Структурные ограничения графов знаний: Графы знаний на основе троек (субъект-предикат-объект) теряют информацию, которая не соответствует строгой синтаксической структуре
Потеря информации: Существующие методы теряют информацию при извлечении и представлении знаний, особенно семантические отношения совместного появления
Многошаговое рассуждение является ключевой способностью человеческого познания, критически важной для сложных вопросно-ответных систем, поддержки принятия решений и других приложений
Предприятия и научные учреждения нуждаются в ассоциативном рассуждении на основе больших объемов документов; ограничения существующих методов серьезно препятствуют практическому применению
Снижение галлюцинаций LLM и предоставление интерпретируемых путей поиска знаний являются ключевыми требованиями для безопасности и надежности современного ИИ
Системы RAG: Хотя методы типа Chain-of-RAG добились прогресса на бенчмарке KILT, они вводят более высокие вычислительные затраты и время рассуждения; промежуточные этапы поиска могут накапливать ошибки
OpenIE: Низкая точность на зашумленных или специализированных корпусах (F1-оценка 50-60%), генерируемые тройки часто несвязны
GraphRAG: Производительность зависит от качества построения графа, снижается при зашумленном извлечении отношений или разреженных областях знаний, высокие вычислительные затраты
KGGen: Требует множественных вызовов LLM, хорошо работает на простых вопросах, но ограничена на многошаговых вопросах из-за плохой производительности кластеризации
Вдохновленные нейробиологией, особенно принципом Хебба "нейроны, которые возбуждаются вместе, связываются вместе" и синаптической пластичностью, зависящей от времени спайков (STDP), авторы предлагают новый метод построения графов знаний:
Представление знаний через частотно-взвешенные отношения совместного появления вместо строгой структуры троек
Моделирование механизма ассоциативной памяти мозга, поддерживающего частичное сопоставление шаблонов и приблизительное рассуждение
Реализация пошагового обучения, динамически усиливающего веса ребер по мере добавления новой информации
Предложение архитектуры BambooKG: Архитектура графа знаний, вдохновленная нейробиологией, использующая частотно-взвешенные нетройковые ребра для представления знаний, преодолевающая проблему потери информации традиционных тройковых структур
Инновационный двухэтапный конвейер:
Конвейер запоминания (Memorisation Pipeline): Включает три этапа — разбиение на фрагменты, генерацию меток и создание графа знаний
Конвейер воспоминания (Recall Pipeline): Реализует ассоциативное воспоминание посредством исследования взвешенной окрестности
Значительное улучшение производительности:
Достигает 78% точности на наборе данных HotPotQA, превосходя RAG с 71%
На наборе данных MuSiQue для многошагового рассуждения средняя точность достигает 60%, значительно превосходя другие методы (RAG 42%, GraphRAG 43%, KGGen 20%)
Время поиска всего 0,01 секунды, значительно быстрее других методов (RAG 5,79 сек, GraphRAG 7,72 сек)
Теоретические инновации: Введение принципов STDP и обучения Хебба из нейронауки в проектирование графов знаний, предоставляющее новую парадигму представления и поиска знаний
Входные данные: Набор документов D = {d₁, d₂, ..., dₙ} и пользовательский запрос q
Выходные данные: Ответ, сгенерированный на основе соответствующих фрагментов документов a
Ограничения: Необходимо поддерживать многошаговое рассуждение, то есть ответ может требовать синтеза информации из нескольких документов
Полное название BambooKG — Biologically-inspired Associative Memory Based On Overlaps KG (Вдохновленная биологией ассоциативная память на основе перекрытий), включающая два основных конвейера:
Tagger извлекает метки из запроса, ограничивая словарь уже существующими метками в BambooKG
Если не удается определить действительные метки, считается, что BambooKG еще не изучил эту концепцию
Этап 2: Извлечение подграфа
Для каждой метки запроса извлекается локальный подграф
Использование исследования окрестности с затуханием:
Выбор top-X соседей первой степени (непосредственно связанные метки)
Выбор top-Y соседей второй степени (метки, связанные через посредника)
Сортировка по весам ребер (частота совместного появления)
В экспериментах установлены X=5, Y=3
Этап 3: Построение контекста
Определение всех текстовых фрагментов, которые способствуют извлеченным ребрам
Эти фрагменты представляют контекстную информацию, связанную с метками запроса
Аналогия с биологическим механизмом: Подобно тому, как гиппокамп повторно активирует следы коры при воспоминании
Агрегированные фрагменты формируют окончательный контекст, предоставляемый LLM для генерации ответа
Частичное сопоставление шаблонов: Даже если полная комбинация меток никогда не наблюдалась, система может проводить рассуждение через соответствующих соседей (например, при запросе "домашнее животное" и "рыба", даже если "рыба" новая, можно вывести контекст из соответствующих соседей "кот", "собака" и т.д.).
OpenIE: top-k=5-3 (5 соседей первой степени, 3 соседей второй степени)
GraphRAG: невозможно выбрать top-k
KGGen: top-k=5-3
BambooKG (предложенный метод): top-k=5-3
Примечание: За исключением BambooKG, другие методы на основе графов знаний используют алгоритмы поиска на основе встраивания, а не выбор на основе взвешенных ребер.
Преимущества нетройковой структуры: Хотя это увеличивает размер графа и теряет строгую структуру, это снижает потерю информации и сохраняет когнитивную связность между документами
Ценность произвольных узлов: Использование гибких меток вместо предопределенных сущностей позволяет более полно захватывать семантику
Проблемы встраивания: При применении RAG к тройкам графов знаний трудности в формировании встраивания слов или фраз приводят к потере информации и увеличению времени поиска
Эффективность вызовов LLM: BambooKG требует только одного вызова LLM (генерация меток), конвейер воспоминания полностью не требует LLM или встраивания
Увеличение размера контекста: Средний размер контекста BambooKG значительно больше, чем у других методов
HotPotQA: 1 887 токенов против 648 токенов RAG
MuSiQue 3-шаг: 16 273 токена против 1 078 токенов RAG
Авторы считают, что это выходит за рамки данной работы, так как размер контекстного окна полностью зависит от используемой LLM и не связан с методом долгосрочной памяти.
Традиционный RAG: Простой поиск документов на основе косинусного сходства, широко применяется в медицинских и корпоративных системах вопросно-ответных
Chain-of-RAG: Достигает SOTA на бенчмарке KILT, улучшение оценки EM для многошагового QA более чем на 10 пункта, но высокие вычислительные затраты
Оптимизация с несколькими агентами: Совместное обучение модулей поиска, фильтрации и генерации, улучшение F1-оценки QA, но значительное увеличение сложности обучения
OpenIE: Прямое извлечение троек из текста без предопределенных шаблонов, но низкая точность на зашумленных или специализированных корпусах
GraphRAG: Объединение RAG и графов знаний, поддержка разрешения неоднозначности сущностей и многошагового синтеза, но производительность зависит от качества построения графа
KGGen: Использование множественных вызовов LLM для построения графов знаний, увеличение связности между статьями
BambooKG является первой работой, систематически применяющей принципы ассоциативной памяти из нейронауки к построению графов знаний, достигая двойного улучшения производительности и эффективности через частотно-взвешенную нетройковую структуру.
Проверка эффективности: BambooKG превосходит существующие решения как на одношаговых, так и на многошаговых задачах рассуждения, подтверждая эффективность частотно-взвешенной нетройковой структуры
Преимущества эффективности: Экстремально быстрый поиск (0,01 сек) и единственный вызов LLM дают BambooKG значительные преимущества в практических приложениях
Теоретический вклад: Успешное применение принципов STDP и Хебба из нейронауки к проектированию графов знаний предоставляет новую парадигму представления знаний
Гибкость: Нетройковая структура и способность частичного сопоставления шаблонов позволяют системе обрабатывать более разнообразные запросы
Размер контекста: Извлеченный контекст значительно больше, чем у других методов, что может создать проблемы для некоторых LLM (хотя авторы считают это проблемой LLM, а не метода)
Зависимость от качества Tagger: Производительность системы серьезно зависит от качества извлечения меток Tagger; текущее использование универсальных меток может быть неоптимальным
Отсутствие кластеризации и обрезки: Текущая версия не выполняет явную кластеризацию, обрезку или снижение шума, что может создать проблемы масштабируемости с увеличением объема информации
Ограниченный масштаб оценки: Использование только 100 вопросов на каждый набор данных, и использование недетерминированного GPT-4o в качестве судьи
Отсутствие исследований абляции: Статья не предоставляет подробные исследования абляции для анализа конкретного вклада каждого компонента
Теоретическая инновация: Систематическое введение принципов нейронауки (STDP, обучение Хебба) в проектирование графов знаний, предоставляющее новую теоретическую перспективу
Методологическая инновация: Преодоление ограничений тройковой структуры, использование гибкой системы частотно-взвешенных меток
Техническая инновация: Обход графа без встраивания и единственный вызов LLM, достигающие качественного скачка в эффективности
Отсутствие исследований абляции: Не анализируется отдельно вклад частотного взвешивания, нетройковой структуры, стратегии исследования окрестности и других компонентов
Отсутствие анализа ошибок: Не анализируются случаи отказа, неясно, в каких ситуациях метод не работает
Отсутствие визуальных примеров: Недостаток конкретных примеров запрос-поиск-ответ
Теоретический уровень: Предоставление новой нейронаучной перспективы для проектирования графов знаний, потенциально вдохновляющей больше биологически вдохновленных методов
Методологический уровень: Демонстрация потенциала нетройковых структур в представлении знаний, возможное изменение парадигмы построения графов знаний
Прикладной уровень: Значительное улучшение многошагового рассуждения имеет практическую ценность для корпоративных систем QA, поиска научной литературы и других приложений
BambooKG является инновативной работой с значительными экспериментальными результатами, успешно применяющей принципы нейронауки к проектированию графов знаний и достигающей явного преимущества в производительности на многошаговых задачах рассуждения. Его основная инновация заключается в отказе от ограничений тройковой структуры и представлении знаний через частотно-взвешенные отношения совместного появления, что одновременно снижает потерю информации и обеспечивает экстремально быстрый поиск.
Однако статья также имеет явные недостатки: ограниченный масштаб экспериментов, отсутствие исследований абляции, проблема размера контекста, неподтвержденная масштабируемость. Эти проблемы ограничивают наше понимание истинной производительности метода и диапазона его применимости.
С точки зрения академической ценности, это работа, заслуживающая внимания, предоставляющая новые идеи для исследования графов знаний. С практической точки зрения, метод имеет потенциал применения в сценариях многошагового рассуждения на наборах документов среднего размера, но требует дальнейшей оптимизации и проверки перед крупномасштабным развертыванием.
Рекомендуемая оценка: ⭐⭐⭐⭐ (4/5) - Сильная инновативность, убедительные экспериментальные результаты, но полнота и глубина требуют улучшения.