2025-11-23T14:13:16.164537

Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion

Alchihabi, Guo
Graph Neural Networks (GNNs) have demonstrated remarkable efficacy in tackling a wide array of graph-related tasks across diverse domains. However, a significant challenge lies in their propensity to generate biased predictions, particularly with respect to sensitive node attributes such as age and gender. These biases, inherent in many machine learning models, are amplified in GNNs due to the message-passing mechanism, which allows nodes to influence each other, rendering the task of making fair predictions notably challenging. This issue is particularly pertinent in critical domains where model fairness holds paramount importance. In this paper, we propose a novel generative Fairness-Aware Subgraph Diffusion (FASD) method for unbiased GNN learning. The method initiates by strategically sampling small subgraphs from the original large input graph, and then proceeds to conduct subgraph debiasing via generative fairness-aware graph diffusion processes based on stochastic differential equations (SDEs). To effectively diffuse unfairness in the input data, we introduce additional adversary bias perturbations to the subgraphs during the forward diffusion process, and train score-based models to predict these applied perturbations, enabling them to learn the underlying dynamics of the biases present in the data. Subsequently, the trained score-based models are utilized to further debias the original subgraph samples through the reverse diffusion process. Finally, FASD induces fair node predictions on the input graph by performing standard GNN learning on the debiased subgraphs. Experimental results demonstrate the superior performance of the proposed method over state-of-the-art Fair GNN baselines across multiple benchmark datasets.
academic

Несмещённое обучение GNN через справедливую диффузию подграфов

Основная информация

  • ID статьи: 2501.00595
  • Название: Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion
  • Авторы: Abdullah Alchihabi, Yuhong Guo (Carleton University)
  • Классификация: cs.LG cs.AI
  • Дата публикации: 31 декабря 2024 г. (препринт arXiv)
  • Ссылка на статью: https://arxiv.org/abs/2501.00595

Аннотация

Графовые нейронные сети (GNN) показывают отличные результаты при решении различных задач, связанных с графами, но сталкиваются с важной проблемой: они склонны к предвзятым предсказаниям при работе с чувствительными атрибутами узлов (такими как возраст, пол). Поскольку механизм передачи сообщений заставляет узлы влиять друг на друга, предвзятость в GNN более серьёзна, чем в традиционных моделях машинного обучения. В данной работе предлагается новый генеративный метод справедливой диффузии подграфов (FASD) для достижения несмещённого обучения GNN. Метод сначала стратегически выбирает малые подграфы из исходного большого графа, а затем применяет генеративный процесс справедливой диффузии графа на основе стохастических дифференциальных уравнений (СДУ) для удаления смещения из подграфов. Путём введения противоборствующих возмущений смещения в процесс прямой диффузии обучается модель на основе оценок для предсказания этих возмущений, что позволяет изучить скрытую динамику смещения в данных. Впоследствии обученная модель оценок используется для удаления смещения из исходных образцов подграфов посредством процесса обратной диффузии. Наконец, на несмещённых подграфах выполняется стандартное обучение GNN для получения справедливых предсказаний узлов.

Исследовательский контекст и мотивация

Определение проблемы

  1. Основная проблема: GNN склонны к предвзятым предсказаниям на основе чувствительных атрибутов (возраст, пол, раса и т.д.) при классификации узлов
  2. Механизм усиления смещения: Механизм передачи сообщений GNN приводит к распространению и усилению смещения в графе, что более серьёзно, чем в традиционных моделях ML
  3. Важность приложений: Справедливость модели имеет решающее значение в критических областях, таких как здравоохранение и оценка при приёме на работу

Ограничения существующих методов

  1. Традиционные методы справедливого обучения: Не учитывают структуру графа и взаимодействие передачи сообщений между узлами
  2. Существующие методы справедливых GNN:
    • Методы предварительной обработки недостаточно робастны и разработаны для конкретных форм смещения
    • Методы обработки требуют тщательного баланса между справедливостью и точностью, обладают низкой стабильностью
    • Методы постобработки только изменяют результаты предсказаний
  3. Методы диффузии графов: Существующие методы легко наследуют смещение из входных данных

Исследовательская мотивация

Разработка адаптивных к данным методов справедливого увеличения и обучения графов, которые могут широко применяться в разнообразных приложениях GNN.

Основные вклады

  1. Инновационный метод: Предложен первый метод справедливой диффузии графов FASD, использующий процесс диффузии для удаления смещения из экземпляров подграфов и повышения справедливости в нижестоящих задачах
  2. Технические инновации: Интеграция противоборствующих возмущений смещения в процесс прямой диффузии на основе СДУ с обучением модели оценок для изучения динамики смещения
  3. Экспериментальная верификация: Демонстрация превосходной производительности по сравнению с передовыми базовыми методами справедливых GNN на нескольких эталонных наборах данных
  4. Теоретический вклад: Предоставление теоретической базы и схемы реализации для справедливой диффузии графов

Подробное описание метода

Определение задачи

  • Входные данные: Граф G=(V,E), матрица признаков узлов X∈R^(N×D), вектор чувствительных атрибутов S, матрица меток Y^ℓ
  • Цель: Обучить модель GNN, способную точно и справедливо предсказывать метки узлов
  • Критерий справедливости: Групповая справедливость, оценивается с использованием статистической чётности и равенства возможностей

Архитектура модели

1. Выборка экземпляров на уровне подграфов

G^(i) = Subgraph_Sampling(G, u, d, k)
  • Начиная с узла u, глубина d, выборка k соседей на каждом шаге
  • Генерирование набора подграфов G = {G^(i)}_^M

2. Справедливая прямая диффузия

Моделирование СДУ:

dG_t^(i) = f_t(G_t^(i))dt + g_t(G_t^(i))dw

Модель предсказания чувствительных атрибутов:

Ŝ^(i) = g_sen(X^(i), A^(i))

Справедливое возмущение:

X_t^(i) = μ_t(X_0^(i)) + σ_t(X_0^(i)) × ε_X - γ_X∇_X L_sen(X_0^(i), A_0^(i))
A_t^(i) = μ_t(A_0^(i)) + σ_t(A_0^(i)) × ε_A - γ_A∇_A L_sen(X_0^(i), A_0^(i))

3. Оценка возмущений на основе моделей оценок

Модель оценок признаков узлов:

s_{θ,t}(G_t^(i)) = MLP_X([{H_j}_{j=0}^L])
H_{j+1} = GNN_X(H_j, A_t^(i)), H_0 = X_t^(i)

Модель оценок структуры графа:

s_{φ,t}(G_t^(i)) = MLP_A([{GMH(H_j, (A_t^(i))^p)}_{j=0,p=1}^{K,P}])

Функция потерь:

L_θ = E_t{E_{G_0^(i)} E_{G_t^(i)|G_0^(i)} ||s_{θ,t}(G_t^(i)) - ε_X + (γ_X/σ_t(X_0^(i)))∇_X L_sen||_2^2}

4. Обратная диффузия для удаления смещения

Обратное СДУ:

dX_t^(i) = [f_{1,t}(X_t^(i)) - g_{1,t}^2 s_{θ,t}(G_t^(i))]dt̄ + g_{1,t}dw̄_1
dA_t^(i) = [f_{2,t}(A_t^(i)) - g_{2,t}^2 s_{φ,t}(G_t^(i))]dt̄ + g_{2,t}dw̄_2

Решение аппроксимируется с использованием семплера Predictor-Corrector.

5. Справедливая классификация узлов

Обучение стандартной GNN на несмещённых подграфах G̃:

P^(i) = f(X̃^(i), Ã^(i))
L = Σ_{G̃^(i)∈G̃} Σ_{u∈V_ℓ^(i)} ℓ_ce(P_u^(i), Y_u^ℓ)

Ключевые технические инновации

  1. Дизайн справедливого возмущения: Использование градиента функции потерь предсказания чувствительных атрибутов в качестве противоборствующего возмущения для прямого моделирования смещения
  2. Двойная модель оценок: Отдельное моделирование возмущений признаков узлов и структуры графа для захвата сложных паттернов смещения
  3. Обработка на уровне подграфов: Решение проблемы вычислительной сложности больших графов посредством выборки подграфов
  4. Генеративное удаление смещения: Использование генеративной способности моделей диффузии для удаления смещения на уровне данных

Экспериментальная установка

Наборы данных

  1. NBA: Данные игроков NBA, чувствительный атрибут — национальность, метка — превышает ли зарплата медиану
  2. Pokec-z/Pokec-n: Данные словацкой социальной сети, чувствительный атрибут — регион, метка — область работы
  3. Разделение данных: NBA(20%/35%/45%), Pokec-z(10%/10%/80%), Pokec-n(10%/10%/80%)

Метрики оценки

  1. Точность (Acc.): Точность классификации
  2. Статистическая чётность (ΔDP): |P(Ŷ=1|S=0) - P(Ŷ=1|S=1)|
  3. Равенство возможностей (ΔEO): |P(Ŷ=1|S=0,Y=1) - P(Ŷ=1|S=1,Y=1)|

Примечание: Меньшие значения ΔDP и ΔEO указывают на лучшую справедливость

Методы сравнения

  • Методы справедливых GNN: FairWalk, FairDrop, NIFTY, FairAug, Graphair
  • Методы контрастного обучения графов: GRACE, GCA

Детали реализации

  • Выборка подграфов: d=2(NBA), d=3(Pokec), k=10
  • Предсказатель чувствительных атрибутов: 2-слойный GCN + 2-слойный полносвязный слой, скрытые размерности (64,32,16)
  • Модель оценок: Скрытый размер 32, обучение 1000 эпох
  • Шаги обратной диффузии: N_steps=5(NBA), 4(Pokec-z), 2(Pokec-n)

Результаты экспериментов

Основные результаты

Набор данныхМетодAcc.%ΔDP%ΔEO%
NBAFASD69.220.924.47
Graphair69.362.564.64
Pokec-zFASD66.152.281.96
Graphair68.172.102.76
Pokec-nFASD66.340.790.91
Graphair67.432.021.62

Ключевые выводы:

  1. Значительное улучшение справедливости: По метрике равенства возможностей достигнуто 29% улучшение на Pokec-z и 43% на Pokec-n
  2. Лидерство в статистической чётности: Превосходство над вторым местом на 64% на NBA и 60% на Pokec-n
  3. Сохранение точности: При значительном улучшении справедливости снижение точности минимально

Абляционные исследования

ВариантNBA ΔDP%Pokec-z ΔDP%Pokec-n ΔDP%
FASD0.922.280.79
без диффузии3.293.852.74
без справедливости3.104.811.74

Выводы абляционных исследований:

  1. Необходимость процесса диффузии: Удаление процесса диффузии приводит к значительному снижению справедливости
  2. Важность справедливого возмущения: Использование только случайного возмущения показывает плохие результаты

Анализ чувствительности гиперпараметров

  1. Шаги обратной диффузии: Оптимальные значения 2-5 шагов, избыточное количество шагов снижает производительность
  2. Вес справедливого возмущения: λX, λA показывают лучшие результаты в диапазоне 0.1, 10.0

Связанные работы

Справедливое обучение GNN

  1. Методы предварительной обработки: FairWalk, FairDrop, Graphair и др., но недостаточно робастны
  2. Методы обработки: NIFTY, FairAug и др., требуют тщательного баланса между справедливостью и точностью
  3. Методы постобработки: Прямое изменение результатов предсказаний GNN

Методы диффузии графов

  1. Непрерывная диффузия: GDSS и др. на основе моделирования СДУ
  2. Дискретная диффузия: DiGress и др. с использованием марковских процессов шума
  3. Ограничения: Существующие методы легко наследуют смещение из входных данных

Заключение и обсуждение

Основные выводы

  1. FASD успешно применяет модели диффузии к справедливому обучению GNN, достигая удаления смещения на уровне данных
  2. Посредством справедливого возмущения и моделей оценок эффективно изучаются и устраняются паттерны смещения
  3. Достигнута лучшая справедливость на нескольких эталонных наборах данных при сохранении конкурентоспособной точности

Ограничения

  1. Вычислительная сложность: Требуется обучение нескольких моделей (предсказатель чувствительных атрибутов, модель оценок, классификатор)
  2. Чувствительность гиперпараметров: Требуется тщательная настройка гиперпараметров λX, λA и др.
  3. Бинарные чувствительные атрибуты: Текущий метод работает только с бинарными чувствительными атрибутами, расширение на многоклассовые требует дальнейших исследований
  4. Представление подграфов: Выборка подграфов может привести к потере глобальной информации

Направления будущих исследований

  1. Расширение на многоклассовые чувствительные атрибуты и многолабельную классификацию
  2. Повышение вычислительной эффективности, снижение сложности обучения
  3. Исследование применимости других критериев справедливости
  4. Теоретический анализ сходимости и гарантий справедливости метода

Глубокая оценка

Преимущества

  1. Высокая инновационность метода: Первое применение моделей диффузии к справедливому обучению GNN, новаторский подход
  2. Разумный технический дизайн: Интуитивный и эффективный дизайн справедливого возмущения, архитектура модели оценок подходит для графовых данных
  3. Полные эксперименты: Верификация на нескольких наборах данных, полные абляционные исследования и анализ гиперпараметров
  4. Убедительные результаты: Значительное улучшение метрик справедливости, ясная статистическая значимость

Недостатки

  1. Отсутствие теоретического анализа: Не предоставлены доказательства сходимости или теоретические гарантии справедливости
  2. Проблемы вычислительной эффективности: Многоэтапное обучение увеличивает вычислительные затраты, отсутствует анализ эффективности
  3. Ограничения применимости: Верификация только на относительно малых графах, масштабируемость на больших графах неизвестна
  4. Неполное сравнение: Отсутствует сравнение с новейшими методами справедливого обучения

Влияние

  1. Академический вклад: Предоставление нового технического пути для справедливого обучения GNN
  2. Практическая ценность: Важное значение в критических областях приложений
  3. Воспроизводимость: Подробные детали реализации способствуют воспроизведению и расширению

Применимые сценарии

  1. Графы среднего размера: Текущий метод подходит для графов с десятками тысяч узлов
  2. Области с высокими требованиями к справедливости: Здравоохранение, найм, кредитование и другие чувствительные приложения
  3. Задачи бинарной классификации: Особенно сценарии с бинарными чувствительными атрибутами

Библиография

Статья цитирует 61 соответствующую работу, охватывающую справедливое обучение, графовые нейронные сети, модели диффузии и другие важные области, обеспечивая прочную теоретическую базу для исследования.

Общая оценка: Это инновационная работа в области справедливого обучения GNN, первое применение моделей диффузии к удалению смещения из графовых данных, с разумным дизайном метода и убедительными экспериментальными результатами. Хотя требуется улучшение в теоретическом анализе и вычислительной эффективности, работа предоставляет ценные новые идеи и технические решения для данной области.