2025-11-23T14:13:16.164537

Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion

Alchihabi, Guo
Graph Neural Networks (GNNs) have demonstrated remarkable efficacy in tackling a wide array of graph-related tasks across diverse domains. However, a significant challenge lies in their propensity to generate biased predictions, particularly with respect to sensitive node attributes such as age and gender. These biases, inherent in many machine learning models, are amplified in GNNs due to the message-passing mechanism, which allows nodes to influence each other, rendering the task of making fair predictions notably challenging. This issue is particularly pertinent in critical domains where model fairness holds paramount importance. In this paper, we propose a novel generative Fairness-Aware Subgraph Diffusion (FASD) method for unbiased GNN learning. The method initiates by strategically sampling small subgraphs from the original large input graph, and then proceeds to conduct subgraph debiasing via generative fairness-aware graph diffusion processes based on stochastic differential equations (SDEs). To effectively diffuse unfairness in the input data, we introduce additional adversary bias perturbations to the subgraphs during the forward diffusion process, and train score-based models to predict these applied perturbations, enabling them to learn the underlying dynamics of the biases present in the data. Subsequently, the trained score-based models are utilized to further debias the original subgraph samples through the reverse diffusion process. Finally, FASD induces fair node predictions on the input graph by performing standard GNN learning on the debiased subgraphs. Experimental results demonstrate the superior performance of the proposed method over state-of-the-art Fair GNN baselines across multiple benchmark datasets.
academic

تعلم الشبكات العصبية الرسومية غير المنحازة عبر انتشار الرسوم البيانية الفرعية الواعية للعدالة

المعلومات الأساسية

  • معرّف الورقة: 2501.00595
  • العنوان: Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion
  • المؤلفون: Abdullah Alchihabi, Yuhong Guo (جامعة كارلتون)
  • التصنيف: cs.LG cs.AI
  • تاريخ النشر: 31 ديسمبر 2024 (نسخة أولية من arXiv)
  • رابط الورقة: https://arxiv.org/abs/2501.00595

الملخص

تُظهر الشبكات العصبية الرسومية (GNNs) أداءً ممتازاً في معالجة مختلف المهام المتعلقة بالرسوم البيانية، لكنها تواجه تحدياً مهماً: إنتاج تنبؤات منحازة عند التعامل مع خصائص العقد الحساسة (مثل العمر والجنس). نظراً لأن آلية نقل الرسائل تجعل العقد تؤثر على بعضها البعض، يكون الانحياز في الشبكات العصبية الرسومية أكثر حدة من نماذج التعلم الآلي التقليدية. تقترح هذه الورقة طريقة جديدة لانتشار الرسوم البيانية الفرعية الواعية للعدالة (FASD) لتحقيق تعلم الشبكات العصبية الرسومية غير المنحاز. تقوم الطريقة أولاً بأخذ عينات استراتيجية من الرسوم البيانية الفرعية الصغيرة من الرسم البياني الكبير الأصلي، ثم تقوم بإزالة الانحياز من الرسوم البيانية الفرعية من خلال عملية انتشار رسومية واعية للعدالة قائمة على المعادلات التفاضلية العشوائية (SDEs). من خلال إدخال اضطرابات انحياز معاكسة في عملية الانتشار الأمامي، يتم تدريب نموذج قائم على النقاط لتنبؤ هذه الاضطرابات، وبالتالي تعلم الديناميكيات الكامنة للانحياز في البيانات. بعد ذلك، يتم استخدام نموذج النقاط المدرب لإزالة الانحياز من عينات الرسوم البيانية الفرعية الأصلية من خلال عملية الانتشار العكسي. أخيراً، يتم تنفيذ تعلم الشبكات العصبية الرسومية القياسي على الرسوم البيانية الفرعية غير المنحازة لإنتاج تنبؤات عقد عادلة.

خلفية البحث والدافع

تعريف المشكلة

  1. المشكلة الأساسية: تميل الشبكات العصبية الرسومية إلى إنتاج تنبؤات منحازة بناءً على الخصائص الحساسة (العمر والجنس والعرق وما إلى ذلك) في مهام تصنيف العقد
  2. آلية تضخيم الانحياز: تجعل آلية نقل الرسائل في الشبكات العصبية الرسومية الانحياز ينتشر ويتضخم عبر الرسم البياني، مما يكون أكثر حدة من نماذج التعلم الآلي التقليدية
  3. الأهمية التطبيقية: في المجالات الحرجة مثل الرعاية الصحية وتقييم فرص العمل، تكون عدالة النموذج ذات أهمية قصوى

قيود الطرق الموجودة

  1. طرق التعلم العادل التقليدية: لا تأخذ في الاعتبار بنية الرسم البياني والتفاعلات بين نقل الرسائل بين العقد
  2. طرق الشبكات العصبية الرسومية العادلة الموجودة:
    • تفتقر طرق المعالجة المسبقة إلى الاستقرار وتُصمم لأشكال انحياز محددة
    • تتطلب طرق المعالجة أثناء التشغيل موازنة دقيقة بين العدالة والدقة، مع استقرار ضعيف
    • تعدل طرق المعالجة اللاحقة نتائج التنبؤ فقط
  3. طرق انتشار الرسوم البيانية: تميل الطرق الموجودة إلى وراثة الانحياز من بيانات الإدخال

دافع البحث

تطوير طرق تحسين وتعلم رسومية واعية للعدالة وقابلة للتكيف مع البيانات، والتي يمكن تطبيقها على نطاق واسع في مجالات التطبيق المتنوعة للشبكات العصبية الرسومية.

المساهمات الأساسية

  1. طريقة رائدة: تقديم أول طريقة انتشار رسومية واعية للعدالة (FASD)، والتي تستخدم عملية الانتشار لإزالة الانحياز من عينات الرسوم البيانية الفرعية وتعزيز العدالة في المهام اللاحقة
  2. الابتكار التقني: دمج اضطرابات الانحياز المعاكسة في عملية الانتشار الأمامي القائمة على المعادلات التفاضلية العشوائية، مع تعلم ديناميكيات الانحياز من خلال نموذج النقاط
  3. التحقق التجريبي: إظهار الأداء المتفوقة مقارنة بأحدث خطوط الأساس للشبكات العصبية الرسومية العادلة على عدة مجموعات بيانات معيارية
  4. المساهمة النظرية: توفير إطار نظري وخطة تنفيذ لانتشار الرسوم البيانية الواعية للعدالة

شرح الطريقة

تعريف المهمة

  • الإدخال: الرسم البياني G=(V,E)، مصفوفة خصائص العقد X∈R^(N×D)، متجه الخصائص الحساسة S، مصفوفة التسميات Y^ℓ
  • الهدف: تعلم نموذج شبكة عصبية رسومية يمكنه التنبؤ بدقة وعدالة بتسميات العقد
  • معايير العدالة: العدالة الجماعية، مع تقييم المساواة الإحصائية والمساواة في الفرص

معمارية النموذج

1. أخذ عينات الرسوم البيانية الفرعية على مستوى المثيل

G^(i) = Subgraph_Sampling(G, u, d, k)
  • بدءاً من عقدة البداية u، بعمق d، مع أخذ عينات من k جيران في كل قفزة
  • توليد مجموعة الرسوم البيانية الفرعية G = {G^(i)}_^M

2. الانتشار الأمامي الواعي للعدالة

نمذجة المعادلات التفاضلية العشوائية:

dG_t^(i) = f_t(G_t^(i))dt + g_t(G_t^(i))dw

نموذج التنبؤ بالخصائص الحساسة:

Ŝ^(i) = g_sen(X^(i), A^(i))

الاضطراب الواعي للعدالة:

X_t^(i) = μ_t(X_0^(i)) + σ_t(X_0^(i)) × ε_X - γ_X∇_X L_sen(X_0^(i), A_0^(i))
A_t^(i) = μ_t(A_0^(i)) + σ_t(A_0^(i)) × ε_A - γ_A∇_A L_sen(X_0^(i), A_0^(i))

3. تقدير الاضطراب القائم على النقاط

نموذج نقاط خصائص العقد:

s_{θ,t}(G_t^(i)) = MLP_X([{H_j}_{j=0}^L])
H_{j+1} = GNN_X(H_j, A_t^(i)), H_0 = X_t^(i)

نموذج نقاط بنية الرسم البياني:

s_{φ,t}(G_t^(i)) = MLP_A([{GMH(H_j, (A_t^(i))^p)}_{j=0,p=1}^{K,P}])

دالة الخسارة:

L_θ = E_t{E_{G_0^(i)} E_{G_t^(i)|G_0^(i)} ||s_{θ,t}(G_t^(i)) - ε_X + (γ_X/σ_t(X_0^(i)))∇_X L_sen||_2^2}

4. إزالة الانحياز من خلال الانتشار العكسي

المعادلة التفاضلية العشوائية العكسية:

dX_t^(i) = [f_{1,t}(X_t^(i)) - g_{1,t}^2 s_{θ,t}(G_t^(i))]dt̄ + g_{1,t}dw̄_1
dA_t^(i) = [f_{2,t}(A_t^(i)) - g_{2,t}^2 s_{φ,t}(G_t^(i))]dt̄ + g_{2,t}dw̄_2

استخدام أداة أخذ العينات Predictor-Corrector للحل التقريبي.

5. تصنيف العقد العادل

تدريب شبكة عصبية رسومية قياسية على الرسم البياني الفرعي غير المنحاز G̃:

P^(i) = f(X̃^(i), Ã^(i))
L = Σ_{G̃^(i)∈G̃} Σ_{u∈V_ℓ^(i)} ℓ_ce(P_u^(i), Y_u^ℓ)

نقاط الابتكار التقني

  1. تصميم الاضطراب الواعي للعدالة: استخدام تدرج خسارة التنبؤ بالخصائص الحساسة كاضطراب معاكس، مع استهداف مباشر للانحياز
  2. نموذج النقاط المزدوج: نمذجة الاضطرابات في خصائص العقد وبنية الرسم البياني بشكل منفصل، لالتقاط أنماط الانحياز المعقدة
  3. المعالجة على مستوى الرسوم البيانية الفرعية: حل مشكلة التعقيد الحسابي للرسوم البيانية الكبيرة من خلال أخذ عينات من الرسوم البيانية الفرعية
  4. إزالة الانحياز التوليدية: الاستفادة من القدرة التوليدية لنماذج الانتشار لتحقيق إزالة الانحياز على مستوى البيانات

إعداد التجربة

مجموعات البيانات

  1. NBA: بيانات لاعبي كرة السلة، الخصائص الحساسة هي الجنسية، والتسميات هي ما إذا كان الراتب يتجاوز الوسيط
  2. Pokec-z/Pokec-n: بيانات الشبكة الاجتماعية السلوفاكية، الخصائص الحساسة هي المنطقة، والتسميات هي مجال العمل
  3. تقسيم البيانات: NBA(20%/35%/45%), Pokec-z(10%/10%/80%), Pokec-n(10%/10%/80%)

مؤشرات التقييم

  1. الدقة (Acc.): دقة التصنيف
  2. المساواة الإحصائية (ΔDP): |P(Ŷ=1|S=0) - P(Ŷ=1|S=1)|
  3. المساواة في الفرص (ΔEO): |P(Ŷ=1|S=0,Y=1) - P(Ŷ=1|S=1,Y=1)|

ملاحظة: كلما كانت قيم ΔDP و ΔEO أصغر، كانت العدالة أفضل

طرق المقارنة

  • طرق الشبكات العصبية الرسومية العادلة: FairWalk, FairDrop, NIFTY, FairAug, Graphair
  • طرق التعلم المتناقض للرسوم البيانية: GRACE, GCA

تفاصيل التنفيذ

  • أخذ عينات الرسوم البيانية الفرعية: d=2(NBA), d=3(Pokec), k=10
  • منبئ الخصائص الحساسة: 2 طبقة GCN + 2 طبقة متصلة بالكامل، البعد المخفي (64,32,16)
  • نموذج النقاط: البعد المخفي 32، التدريب لـ 1000 جولة
  • خطوات الانتشار العكسي: N_steps=5(NBA), 4(Pokec-z), 2(Pokec-n)

نتائج التجربة

النتائج الرئيسية

مجموعة البياناتالطريقةAcc.%ΔDP%ΔEO%
NBAFASD69.220.924.47
Graphair69.362.564.64
Pokec-zFASD66.152.281.96
Graphair68.172.102.76
Pokec-nFASD66.340.790.91
Graphair67.432.021.62

النتائج الرئيسية:

  1. تحسن كبير في العدالة: في مؤشر المساواة في الفرص، تحقيق تحسن بنسبة 29% و 43% على Pokec-z و Pokec-n على التوالي
  2. الريادة في المساواة الإحصائية: تجاوز الطريقة الثانية بنسبة 64% و 60% على NBA و Pokec-n على التوالي
  3. الحفاظ على الدقة: مع تحسن كبير في العدالة، يكون انخفاض الدقة صغيراً جداً

تجارب الاستئصال

المتغيرNBA ΔDP%Pokec-z ΔDP%Pokec-n ΔDP%
FASD0.922.280.79
بدون الانتشار3.293.852.74
بدون الوعي بالعدالة3.104.811.74

استنتاجات تجارب الاستئصال:

  1. ضرورة عملية الانتشار: يؤدي إزالة عملية الانتشار إلى انخفاض كبير في العدالة
  2. أهمية الاضطراب الواعي للعدالة: استخدام الاضطراب العشوائي وحده يعطي نتائج سيئة

تحليل حساسية المعاملات الفائقة

  1. خطوات الانتشار العكسي: القيمة المثلى هي 2-5 خطوات، والخطوات الزائدة تقلل الأداء
  2. وزن الاضطراب العادل: λX, λA في النطاق 0.1, 10.0 يعطي أفضل النتائج

الأعمال ذات الصلة

تعلم الشبكات العصبية الرسومية العادلة

  1. طرق المعالجة المسبقة: FairWalk, FairDrop, Graphair وغيرها، لكنها تفتقر إلى الاستقرار
  2. طرق المعالجة أثناء التشغيل: NIFTY, FairAug وغيرها، تتطلب موازنة دقيقة بين العدالة والدقة
  3. طرق المعالجة اللاحقة: تعديل نتائج التنبؤ من الشبكات العصبية الرسومية مباشرة

طرق انتشار الرسوم البيانية

  1. الانتشار المستمر: GDSS وغيرها بناءً على نمذجة المعادلات التفاضلية العشوائية
  2. الانتشار المنفصل: DiGress وغيرها باستخدام عمليات الضوضاء ماركوفية
  3. القيود: تميل الطرق الموجودة إلى وراثة الانحياز من بيانات الإدخال

الخلاصة والنقاش

الاستنتاجات الرئيسية

  1. نجحت FASD في تطبيق نماذج الانتشار على تعلم الشبكات العصبية الرسومية العادلة، مع تحقيق إزالة الانحياز على مستوى البيانات
  2. من خلال الاضطراب الواعي للعدالة ونموذج النقاط، تم تعلم وإزالة أنماط الانحياز بشكل فعال
  3. تحقيق أفضل أداء عدالة على عدة مجموعات بيانات معيارية، مع الحفاظ على دقة تنافسية

القيود

  1. التعقيد الحسابي: يتطلب تدريب نماذج متعددة (منبئ الخصائص الحساسة، نموذج النقاط، المصنف)
  2. حساسية المعاملات الفائقة: يتطلب ضبطاً دقيقاً للمعاملات الفائقة مثل λX, λA
  3. الخصائص الحساسة الثنائية: يتعامل الحل الحالي فقط مع الخصائص الحساسة الثنائية، ويتطلب التوسع متعدد الفئات مزيداً من البحث
  4. تمثيل الرسوم البيانية الفرعية: قد يؤدي أخذ عينات الرسوم البيانية الفرعية إلى فقدان المعلومات العالمية

الاتجاهات المستقبلية

  1. التوسع إلى الخصائص الحساسة متعددة الفئات والتصنيف متعدد التسميات
  2. تحسين الكفاءة الحسابية وتقليل تعقيد التدريب
  3. استكشاف قابلية تطبيق معايير العدالة الأخرى
  4. التحليل النظري لتقارب الطريقة وضمانات العدالة

التقييم العميق

المميزات

  1. قوة الابتكار الطريقة: أول تطبيق لنماذج الانتشار على تعلم الشبكات العصبية الرسومية العادلة، مع أفكار جديدة
  2. تصميم تقني معقول: تصميم الاضطراب الواعي للعدالة بديهي وفعال، معمارية نموذج النقاط مناسبة لبيانات الرسوم البيانية
  3. تجارب شاملة: التحقق على عدة مجموعات بيانات، مع تجارب استئصال وتحليل حساسية المعاملات الفائقة كاملة
  4. قوة إقناع النتائج: تحسن كبير في مؤشرات العدالة، مع وضوح الدلالة الإحصائية

أوجه القصور

  1. نقص التحليل النظري: عدم توفير إثبات التقارب أو ضمانات نظرية للعدالة
  2. مشكلة الكفاءة الحسابية: يزيد التدريب متعدد المراحل من التكلفة الحسابية، مع نقص تحليل الكفاءة
  3. قيود القابلية للتطبيق: التحقق فقط على رسوم بيانية صغيرة نسبياً، مع عدم معرفة قابلية التوسع للرسوم البيانية الكبيرة
  4. عدم اكتمال المقارنة: نقص المقارنة مع أحدث طرق التعلم العادل

التأثير

  1. المساهمة الأكاديمية: توفير مسار تقني جديد لتعلم الشبكات العصبية الرسومية العادلة
  2. القيمة العملية: ذات أهمية كبيرة في المجالات التطبيقية الحرجة
  3. قابلية الاستنساخ: تفاصيل التنفيذ مفصلة، مما يسهل الاستنساخ والتوسع

السيناريوهات المطبقة

  1. الرسوم البيانية الصغيرة والمتوسطة: الطريقة الحالية مناسبة للرسوم البيانية بمستوى عشرات الآلاف من العقد
  2. المجالات ذات المتطلبات العالية للعدالة: الرعاية الصحية والتوظيف والائتمان والتطبيقات الحساسة الأخرى
  3. مهام التصنيف الثنائي: خاصة السيناريوهات التي تتضمن خصائص حساسة ثنائية

المراجع

تستشهد الورقة بـ 61 مرجعاً ذا صلة، تغطي التعلم العادل والشبكات العصبية الرسومية ونماذج الانتشار وغيرها من المجالات المهمة، مما يوفر أساساً نظرياً متيناً للبحث.

التقييم الإجمالي: هذا عمل مبتكر في مجال تعلم الشبكات العصبية الرسومية العادلة، حيث يطبق نماذج الانتشار على إزالة الانحياز من بيانات الرسوم البيانية للمرة الأولى. تصميم الطريقة معقول، ونتائج التجارب مقنعة. على الرغم من وجود مجال للتحسين في التحليل النظري والكفاءة الحسابية، إلا أن الورقة توفر أفكاراً وحلولاً تقنية قيمة جديدة لهذا المجال.