Интерпретируемые и эффективные графовые нейронные аддитивные сети

Основная информация

• ID статьи: 2406.01317
• Название: The Interpretable and Effective Graph Neural Additive Networks
• Авторы: Maya Bechler-Speicher, Amir Globerson, Ran Gilad-Bachrach
• Классификация: cs.LG cs.AI
• Конференция: NeurIPS 2024 (38-я конференция по системам нейронной обработки информации)
• Ссылка на статью: https://arxiv.org/abs/2406.01317

Аннотация

Графовые нейронные сети (GNNs) стали основным методом обучения на данных со структурой графа, однако большинство GNNs функционируют как чёрные ящики, требующие апостериорного объяснения, что может быть недостаточным в высокорисковых сценариях, требующих прозрачности. В данной работе предложена интерпретируемая по замыслу модель GNN — графовые нейронные аддитивные сети (GNAN), представляющие новое расширение класса интерпретируемых обобщённых аддитивных моделей, которые могут быть визуализированы и полностью поняты человеком. GNAN обеспечивает глобальные и локальные объяснения на уровне признаков и графа, описывая посредством прямой визуализации модели, как модель использует целевую переменную, признаки и отношения в графе. Экспериментальные результаты демонстрируют, что точность GNAN сопоставима с чёрными ящиками GNNs и применима к критическим приложениям, требующим прозрачности и высокой точности.

Исследовательский контекст и мотивация

Определение проблемы

1. Основная проблема: существующие GNNs недостаточно интерпретируемы, их применение в высокорисковых областях (медицина, финансы, уголовное правосудие) ограничено
2. Требования к прозрачности: нормативные акты, такие как GDPR ЕС и Закон об искусственном интеллекте, требуют прозрачности высокорисковых систем ИИ
3. Ограничения существующих методов объяснения:
   • Апостериорные методы объяснения (например, SHAP, LIME) не гарантируют корректность
   • Локальные объяснения могут быть несогласованны с глобальными
   • Невозможно предоставить полное описание модели

Исследовательская мотивация

• Интерпретируемость vs точность: традиционное мнение предполагает, что интерпретируемые модели обычно менее точны; данная работа оспаривает это утверждение
• Интерпретируемость по замыслу: модели, интерпретируемые по замыслу, более надёжны, чем апостериорно объясняемые
• Нормативное соответствие: удовлетворение всё более строгих нормативных требований к прозрачности ИИ

Основные вклады

1. Теоретический вклад: расширение обобщённых аддитивных моделей (GAMs) на графовые данные с предложением архитектуры GNAN
2. Методологический вклад: разработка полностью интерпретируемой модели предсказания на графах с возможностью глобального и локального объяснения
3. Эмпирический вклад: доказательство того, что GNAN демонстрирует производительность, сопоставимую с чёрными ящиками GNNs на множестве реальных наборов данных
4. Практический вклад: обеспечение возможности прямой визуализации для отладки и верификации модели

Подробное описание метода

Определение задачи

• Входные данные: граф G, содержащий N узлов, каждый узел i связан с d-мерным вектором признаков xi ∈ ℝd
• Выходные данные: предсказания на уровне узлов или графа
• Определение расстояния: dist(j,i) — количество рёбер в кратчайшем пути от узла j к узлу i

Архитектура модели

Основная идея проектирования

GNAN генерирует представления узлов путём обучения функции расстояния ρ(x;θ): ℝ → ℝ и набора функций формы признаков {fk}^d_, fk(x;θk): ℝ → ℝ.

Вычисление представления узла

k-е представление признака узла i вычисляется как:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) · fk([xj]k)

где:

• #disti(j,i): количество узлов на расстоянии dist(j,i) от узла i
• ρ(1/(1+dist(j,i))): функция взвешивания по расстоянию
• fk([xj]k): функция формы для k-го признака

Вычисление предсказания

• Предсказание на уровне узла: σ(Σ(k=1 to d)[hi]k)
• Предсказание на уровне графа: сначала получить представление графа через суммирующую пулинг-операцию h = Σ(i=1 to N)hi, затем вычислить σ(Σ(k=1 to d)[h]k)

Расширение для многоклассовой классификации

Для классификации на C классов функции признаков и функции расстояния выводят C-мерные векторы, объединяемые поэлементным умножением:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) ⊙ fk([xj]k)

Технические инновации

1. Аддитивная структура: избегание перекрёстных произведений признаков и топологии графа, сохранение интерпретируемости
2. Моделирование расстояния: явное моделирование влияния расстояния между узлами на предсказание
3. Глобальный информационный поток: каждый узел собирает информацию со всего графа, избегая узких мест передачи сообщений
4. Полная визуализация: модель может быть полностью описана несколькими графиками функций

Экспериментальная установка

Наборы данных

Задачи классификации узлов

• Сети цитирования: Cora, Citeseer, PubMed, ogb-arxiv
• Гетерогенные данные: Cornell, Tolokers

Задачи классификации графов

• Химические молекулы: NCI1, Proteins, Mutagen, PTC
• Долгодействующие молекулярные свойства: μ, α, αHOMO (набор данных QM9)

Метрики оценки

• Задачи классификации: точность (Accuracy)
• Задачи регрессии: средняя абсолютная ошибка (MAE)
• Бинарная классификация: ROC-AUC

Методы сравнения

• GraphConv, GraphSAGE, GIN
• GATv2, Graph Transformer
• FSGNN (модель с развязкой признак-граф)

Детали реализации

• Оптимизатор: Adam
• Количество эпох обучения: 1000
• Ранняя остановка: при отсутствии улучшения потерь валидации в течение 100 шагов
• Архитектура сети: MLP с 3-5 слоями, активация ReLU
• Скрытая размерность: 32-64

Результаты экспериментов

Основные результаты

На 13 задачах GNAN показывает лучшие или вторые по качеству результаты на 9 задачах:

Ключевые находки

1. Преимущество на долгодействующих задачах: GNAN показывает выдающиеся результаты на задачах предсказания долгодействующих молекулярных свойств, подтверждая преимущества глобального информационного потока
2. Сохранение производительности: несмотря на ограниченную ёмкость, производительность GNAN сопоставима с более сложными GNNs
3. Вычислительная эффективность: избегание итеративной передачи сообщений снижает вычислительные узкие места

Демонстрация интерпретируемости

Глобальное объяснение

Полное описание модели посредством визуализации функции расстояния ρ и функций признаков {fk}:

1. Набор данных Mutagenicity:
   • Функция расстояния показывает убывающее влияние удалённых атомов
   • Функции признаков раскрывают, что атомы Ca, Na, Li увеличивают мутагенность
   • Атомы N, P оказывают лёгкое защитное действие
2. Набор данных PubMed:
   • Функции расстояния для трёх типов диабета существенно различаются
   • Функции признаков демонстрируют сложные немонотонные отношения
   • Частота слова "insulin" по-разному влияет на различные типы диабета

Локальное объяснение

Визуализация важности узлов для конкретных молекул:

• Углеродные кольца имеют высокую важность в мутагенных молекулах
• Группа NO2 корректно определяется как мутагенный фактор

Возможность отладки

• Верификация того, что модель обучается в соответствии с априорными знаниями
• Выявление потенциальных смещений и рисков безопасности
• Поддержка выбора и оптимизации модели

Связанные работы

Обобщённые аддитивные модели

• Традиционные GAMs используют сглаживающие функции, такие как сплайны
• Neural Additive Models используют нейронные сети для обучения функций формы
• GNAN — первое расширение GAMs на графовые данные

Интерпретируемость GNN

• Существующие методы в основном предоставляют апостериорные объяснения подграфов
• Отсутствуют модели GNN, интерпретируемые по замыслу
• GNAN обеспечивает полное описание модели, а не суррогатное объяснение

Не основанные на передаче сообщений GNNs

• Методы, такие как FSGNN, развязывают признаки и структуру графа
• Снижают переобучение и вычислительную сложность
• GNAN дополнительно достигает полной интерпретируемости

Заключение и обсуждение

Основные выводы

1. Интерпретируемость не обязательно требует жертвы точностью
2. Интерпретируемость по замыслу более надёжна, чем апостериорное объяснение
3. Многие реальные задачи на графах проще, чем предполагается, и не требуют сложных моделей

Ограничения

1. Ограничение ёмкости: аддитивная структура ограничивает выразительную способность модели
2. Взаимодействие признаков: невозможно моделировать сложные взаимодействия между признаками
3. Структура графа: может быть недостаточно чувствительна к высокосложным паттернам графа
4. Сложность визуализации: затруднения при визуализации для высокомерных признаков

Направления будущих исследований

1. Технические улучшения:
   • Интеграция сетей Колмогорова-Арнольда для реализации гладких функций
   • Обучение независимых функций расстояния для каждого признака
   • Исследование регуляризации для снижения использования признаков
2. Расширение приложений:
   • Применение к биологическим сетевым наборам данных
   • Сети взаимодействия белков
   • Инструменты поддержки научных открытий

Глубокая оценка

Преимущества

1. Высокая инновационность: первое расширение GAMs на графовые данные, заполнение важного пробела
2. Прочная теоретическая база: основано на зрелой теории GAMs, разумное проектирование
3. Высокая практическая ценность: непосредственное удовлетворение требований интерпретируемости высокорисковых приложений
4. Достаточные эксперименты: охватывает разнообразные задачи и наборы данных, полное сравнение
5. Отличная визуализация: обеспечивает интуитивные и полные объяснения модели

Недостатки

1. Методологические ограничения: аддитивное предположение может быть слишком строгим, возможна потеря важных взаимодействий признаков
2. Область применения: может показать худшую производительность на задачах, требующих сложных взаимодействий признаков
3. Теоретический анализ: отсутствует теоретический анализ выразительной способности
4. Масштабируемость: проблемы с интерпретируемостью и вычислительной эффективностью при высокой размерности признаков

Влияние

1. Академический вклад: открытие нового направления интерпретируемых GNN
2. Практическая ценность: предоставление практического решения для высокорисковых приложений ИИ
3. Политическое значение: соответствие тенденциям регулирования ИИ, важное практическое значение
4. Воспроизводимость: открытый исходный код, облегчение последующих исследований

Применимые сценарии

1. Высокорисковые приложения: медицинская диагностика, финансовый контроль рисков, судебные решения
2. Научные исследования: предсказание молекулярных свойств, открытие лекарств
3. Нормативное соответствие: коммерческие приложения, требующие соответствия требованиям интерпретируемости
4. Образование и обучение: преподавание принципов GNN и понимание

Библиография

Ключевые связанные работы:

1. Hastie & Tibshirani (1986): Фундаментальная теория обобщённых аддитивных моделей
2. Agarwal et al. (2021): Neural Additive Models
3. Ying et al. (2019): GNNExplainer — апостериорный метод объяснения GNN
4. Rudin (2019): Дискуссия об интерпретируемых моделях vs чёрных ящиках с объяснениями

Резюме: Предложенная в данной работе модель GNAN представляет собой важный вклад в область интерпретируемого ИИ, успешно доказывая возможность достижения как интерпретируемости, так и точности в задачах обучения на графах. Несмотря на теоретические ограничения выразительной способности, её практическая ценность, особенно в высокорисковых сценариях, требующих прозрачности, делает её важным прогрессом в данной области.