Мультимодальный RAG для неструктурированных данных: использование графов знаний с учетом модальности и гибридного поиска

Основная информация

• ID статьи: 2510.14592
• Название: Multimodal RAG for Unstructured Data: Leveraging Modality-Aware Knowledge Graphs with Hybrid Retrieval
• Авторы: Rashmi R (Национальный технологический институт Карнатаки), Vidyadhar Upadhya (Национальный технологический институт Карнатаки)
• Классификация: cs.LG (Машинное обучение), cs.IR (Поиск информации)
• Дата публикации: 16 октября 2025 г.
• Ссылка на статью: https://arxiv.org/abs/2510.14592v1

Аннотация

Современные системы поиска с дополнением генерацией (RAG) в основном работают с одномодальными текстовыми данными и имеют ограниченную эффективность при обработке неструктурированных мультимодальных документов, содержащих текст, изображения, таблицы, уравнения и диаграммы. В данной работе предлагается архитектура гибридного поиска с учетом модальности (MAHA), специально разработанная для мультимодального вопросно-ответного рассуждения посредством графов знаний с учетом модальности. MAHA объединяет плотный векторный поиск с структурированным обходом графа, где граф знаний кодирует кросс-модальную семантику и отношения. Такой подход обеспечивает семантически богатый и контекстно-ориентированный поиск на разных модальностях. Оценка на нескольких эталонных наборах данных показывает, что MAHA значительно превосходит базовые методы, достигая оценки ROUGE-L 0,486 с полным охватом модальностей.

Исследовательский контекст и мотивация

Определение проблемы

Существующие системы RAG сталкиваются со следующими основными вызовами:

1. Ограничения одномодальности: традиционные системы RAG в основном обрабатывают текстовые данные и не могут эффективно работать со сложными документами, содержащими изображения, таблицы, уравнения и другой мультимодальный контент
2. Отсутствие кросс-модальных отношений: недостаток способности понимать и использовать сложные отношения между различными модальностями, такие как соответствие между текстовыми описаниями и табличными данными
3. Недостаточное структурированное рассуждение: существующие методы испытывают трудности при моделировании сложных взаимозависимостей между мультимодальными компонентами

Важность исследования

В эпоху обилия данных большой объем информации существует в неструктурированном мультимодальном формате, включая PDF-документы, отсканированные файлы и технические документы со сложными таблицами и диаграммами. Эффективный поиск и синтез этой информации имеют решающее значение для принятия решений в различных областях.

Ограничения существующих методов

1. Недостаточное кросс-модальное выравнивание: отсутствие механизмов для семантического связывания контента различных модальностей
2. Статический процесс поиска: невозможность адаптации к динамическому или постоянно развивающемуся информационному пространству
3. Поверхностная интеграция графов знаний: графы знаний в существующих гибридных фреймворках RAG в основном ориентированы на текст и не имеют явной поддержки мультимодальных входных данных
4. Отсутствие специализированных стратегий: нет единого подхода для совместной обработки текста, изображений, таблиц, графиков и уравнений

Основные вклады

1. Предложение архитектуры MAHA: первая архитектура гибридного поиска с учетом модальности, специально разработанная для неструктурированных мультимодальных данных
2. Граф знаний с учетом модальности: расширение существующих ориентированных на текст моделей графов знаний путем введения кросс-модальных семантических отношений
3. Стратегия гибридного поиска: инновационное объединение плотного векторного поиска и структурированного обхода графа
4. Комплексная экспериментальная проверка: достижение значительного повышения производительности на нескольких эталонных наборах данных с полным охватом модальностей
5. Новые метрики оценки: предложение метрики охвата модальностей для количественной оценки способности системы к кросс-модальному поиску

Подробное описание методологии

Определение задачи

Учитывая набор неструктурированных документов D, содержащих различные модальности (текст, изображения, таблицы, уравнения, диаграммы), и пользовательский запрос q, система должна:

1. Извлечь релевантные фрагменты доказательств из различных модальностей
2. Синтезировать кросс-модальную информацию для генерации точного и полного ответа
3. Сохранить интерпретируемость и контекстную согласованность

Архитектура модели

1. Модуль приема и встраивания документов

• Мультимодальный анализ: разделение документов на семантически значимые блоки, включая текст, таблицы, диаграммы, изображения и уравнения
• Гетерогенное кодирование:
  • Текст: преобразование с использованием OpenAI text-embedding-3-small в встраивания
  • Таблицы: преобразование в формат HTML
  • Уравнения: кодирование как структурированные уравнения (LaTeX)
  • Визуальные элементы: кодирование с использованием модели CLIP и преобразование в формат base64
• Генерация резюме: создание текстовых резюме для нетекстовых данных и их встраивание

2. Индексирование векторного хранилища и построение графа знаний

• Векторное хранилище: индексирование мультимодальных представлений для поддержки быстрого поиска на основе сходства
• Граф знаний с учетом модальности:
  • Узлы: представляют сущности различных модальностей (текст, уравнения, изображения, таблицы)
  • Ребра: захватывают семантические отношения, такие как "NEXT-TEXT", "NEXT-TABLE", "HAS-IMAGE", "HAS-FORMULA" и т.д.
  • Процесс построения: управляется схемой, включает связывание именованных сущностей, разрешение кореференции и вывод отношений

3. Механизм гибридного поиска

• Векторный поиск: кодирование запроса в встраивание и сопоставление семантически похожих блоков контента
• Обход графа: извлечение вспомогательной информации на основе сущностей и отношений в графе
• Стратегия слияния: балансирование семантического сходства и структурированного обхода для обеспечения релевантности и полноты

4. Контекстно-ориентированная генерация

Использование больших языковых моделей для синтеза извлеченной мультимодальной информации и генерации связного, точного и интерпретируемого ответа.

Технические инновации

1. Моделирование кросс-модальных отношений: первое введение явных кросс-модальных семантических отношений в системы RAG
2. Слияние гибридного поиска: инновационное объединение преимуществ векторного сходства и обхода графовой структуры
3. Индексирование с учетом модальности: достижение бесшовной интеграции семантического и структурированного поиска посредством единого индекса
4. Повышение интерпретируемости: метаданные графа обеспечивают интерпретируемость решений о поиске

Экспериментальная установка

Наборы данных

1. Набор эталонных тестов UDA:
   • Финансовая область: содержит финансовые отчеты со сложной разметкой, проверяет способность к числовому рассуждению
   • Академическая область: из академических статей, проверяет рассуждение о сложном техническом контенте
   • Мировые знания: страницы Wikipedia, оценивает производительность по широкому спектру тем
2. MRAMG-Bench: из веб-источников, академических и образа жизни доменов, специально разработан для проверки способности к мультимодальному рассуждению
3. REAL-MM-RAG-Bench: высокачественный эталон финансовой области, содержит текст, таблицы и изображения

Метрики оценки

Метрики поиска

• Recall@K: доля запросов, для которых правильный блок документа находится в первых K результатах
• MRR (Mean Reciprocal Rank): среднее значение обратного ранга первого правильного ответа

Метрики генерации

• ROUGE-L: мера перекрытия самой длинной общей подпоследовательности между сгенерированным и эталонным ответом

Мультимодальные метрики

• Охват модальностей: предложенная новая метрика, рассчитываемая по формуле:

Coverage(q) = |Mgt(q) ∩ Mret(q)| / |Mgt(q)|

где Mgt(q) — набор модальностей, необходимых для эталонного ответа, а Mret(q) — набор модальностей, извлеченных системой.

Методы сравнения

1. BM25: разреженный поисковик на основе частоты терминов
2. FAISS + SBERT: поисковик с плотным векторным представлением
3. CLIP: поисковик только для изображений
4. Hybrid (BM25 + FAISS): традиционный гибридный метод
5. Graph Traversal (KG Retriever): метод чистого обхода графа
6. Существующие фреймворки мультимодального RAG: HybridRAG, HybGRAG, KG-Guided RAG и т.д.

Результаты экспериментов

Основные результаты

Сравнение с базовыми методами

MAHA значительно превосходит базовые методы по всем метрикам:

• ROUGE-L: 0,486 (улучшение на 72% по сравнению с векторным поиском)
• Recall@3: 0,79-0,81
• MRR: 0,74 (улучшение на 19-21% по сравнению с базовыми методами)
• Охват модальностей: 1,00 (полный охват)

Сравнение с существующими фреймворками мультимодального RAG

• MAHA — единственный метод, достигающий полного охвата модальностей (1,00)
• Охват модальностей других методов составляет только 0,00-0,39
• Достигает наивысших оценок по всем показателям производительности

Абляционные исследования

Проверка вклада каждого компонента путем сравнения трех конфигураций:

1. Vector-Only: ROUGE-L 0,282, Recall@3 0,70, MRR 0,61
2. Graph-Only: ROUGE-L 0,337, Recall@3 0,68, MRR 0,62
3. MAHA: ROUGE-L 0,486, Recall@3 0,79, MRR 0,74

Результаты показывают:

• Векторный поиск захватывает локальную семантику, но не хватает структурных подсказок
• Обход графа обеспечивает структурные отношения, но с трудом независимо обнаруживает богатые доказательства
• Гибридный метод достигает оптимальной производительности, демонстрируя дополнительность обоих подходов

Экспериментальные выводы

1. Синергетический эффект: объединение структурированного рассуждения и семантического сходства создает значительный синергетический эффект
2. Важность кросс-модальных связей: явные связи с учетом модальности позволяют системе извлекать мультимодальные доказательства, которые иначе были бы пропущены
3. Ценность полного охвата: достижение полного охвата модальностей имеет решающее значение для генерации высокачественных ответов

Связанные работы

Основные направления исследований

1. Традиционные системы RAG: в основном основаны на тексте, используют единые методы поиска, такие как BM25 и FAISS
2. Гибридные фреймворки RAG: объединяют графы знаний и векторный поиск, но графы знаний в основном ориентированы на текст
3. Мультимодальный RAG: такие как Kosmos-1, MM-ReAct и т.д., но в основном работают в закрытых условиях
4. RAG с дополнением графами знаний: повышение разнообразия поиска с помощью графов знаний, но без модулей визуального кодирования

Преимущества данной работы

По сравнению с существующими работами, MAHA имеет следующие преимущества:

1. Первая специально разработанная архитектура графа знаний с учетом модальности
2. Явное моделирование кросс-модальных семантических отношений
3. Обеспечение детального контроля поиска с учетом модальности
4. Достижение полного охвата модальностей и интерпретируемости

Заключение и обсуждение

Основные выводы

1. Технологический прорыв: MAHA успешно решает ограничения традиционных систем RAG при обработке мультимодальных данных
2. Повышение производительности: достижение значительного повышения производительности на нескольких эталонных наборах данных, особенно улучшение на 72% по метрике ROUGE-L
3. Полный охват: первое достижение полного охвата модальностей, демонстрирующее эффективность кросс-модального рассуждения
4. Масштабируемость: предоставление масштабируемого и интерпретируемого фреймворка поиска

Ограничения

1. Сложность построения графа знаний: построение графа знаний с учетом модальности требует специализированных стратегий анализа и выравнивания
2. Вычислительные затраты: механизм гибридного поиска может увеличить вычислительную сложность
3. Адаптация к конкретным областям: способность адаптации к конкретным областям требует дальнейшей проверки
4. Динамическое обновление: статический граф знаний сталкивается с проблемами при обработке динамического обновления информации

Направления будущих исследований

1. Автоматизированное построение графов знаний: разработка более продвинутых методов автоматизации для обработки высоко неструктурированных данных
2. Динамическая маршрутизация запросов: реализация интеллектуальных маршрутизаторов, способных адаптироваться к сложности запроса в реальном времени
3. Оценка в большем масштабе: проверка методов на более крупных и разнообразных наборах данных
4. Оптимизация производительности: оптимизация времени отклика системы для повышения практической применимости

Глубокая оценка

Сильные стороны

1. Высокая инновационность: первое предложение концепции графа знаний с учетом модальности, заполняющее важный пробел в мультимодальном RAG
2. Полнота методологии: комплексное решение от приема данных до окончательной генерации
3. Достаточная экспериментальная проверка: комплексная оценка на нескольких наборах данных, включая абляционные исследования
4. Инновация в метриках: предложение метрики охвата модальностей как важного показателя оценки
5. Значительные результаты: достижение значительного улучшения по всем ключевым метрикам

Недостатки

1. Относительно высокая сложность: архитектура системы относительно сложна, что может создать проблемы при практическом развертывании
2. Масштаб наборов данных: масштаб и разнообразие наборов данных оценки могут быть ограничены
3. Недостаточный анализ ошибок: отсутствие глубокого анализа случаев отказа
4. Недостаточное обсуждение вычислительных затрат: в статье недостаточно подробно обсуждаются требования к вычислительным ресурсам и эффективность
5. Способность к обобщению: способность к обобщению на невиданные области и типы данных требует дальнейшей проверки

Влияние

1. Академическая ценность: предоставление новых направлений исследований и эталонов для области мультимодального поиска информации
2. Практическая ценность: широкие перспективы применения в анализе документов, технической поддержке, образовании и других областях
3. Воспроизводимость: предоставление подробных деталей реализации, способствующих последующим исследованиям
4. Вдохновляющее значение: идея графа знаний с учетом модальности может вдохновить исследования других мультимодальных задач

Применимые сценарии

1. Анализ корпоративных документов: обработка финансовых отчетов и технических документов, содержащих диаграммы и таблицы
2. Поддержка академических исследований: помощь исследователям в извлечении информации из мультимодальных академических статей
3. Образовательная поддержка: предоставление кросс-модальных услуг вопросно-ответного обслуживания для студентов
4. Обработка медицинских документов: анализ медицинских отчетов, содержащих изображения и таблицы
5. Проверка юридических документов: обработка сложных юридических документов и материалов доказательств

Библиография

В статье цитируется 32 связанные работы, включая:

• Базовые методы RAG: классические методы поиска, такие как BM25, FAISS, SBERT
• Мультимодальные модели: CLIP, Kosmos-1, MM-ReAct и т.д.
• Методы графов знаний: различные фреймворки RAG с дополнением графами знаний
• Эталонные наборы для оценки: UDA, MRAMG-Bench, REAL-MM-RAG-Bench и т.д.

Общая оценка: Это высокачественная исследовательская статья, предлагающая инновационное решение для важной и сложной проблемы мультимодального RAG. Архитектура MAHA достигает важного технологического прорыва посредством графа знаний с учетом модальности и стратегии гибридного поиска, а результаты экспериментов убедительны. Хотя существует место для улучшения в отношении сложности и способности к обобщению, данная работа закладывает важную основу для области мультимодального поиска информации и обладает высокой академической ценностью и практическим потенциалом.