2025-11-23T14:13:16.164537

Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion

Alchihabi, Guo
Graph Neural Networks (GNNs) have demonstrated remarkable efficacy in tackling a wide array of graph-related tasks across diverse domains. However, a significant challenge lies in their propensity to generate biased predictions, particularly with respect to sensitive node attributes such as age and gender. These biases, inherent in many machine learning models, are amplified in GNNs due to the message-passing mechanism, which allows nodes to influence each other, rendering the task of making fair predictions notably challenging. This issue is particularly pertinent in critical domains where model fairness holds paramount importance. In this paper, we propose a novel generative Fairness-Aware Subgraph Diffusion (FASD) method for unbiased GNN learning. The method initiates by strategically sampling small subgraphs from the original large input graph, and then proceeds to conduct subgraph debiasing via generative fairness-aware graph diffusion processes based on stochastic differential equations (SDEs). To effectively diffuse unfairness in the input data, we introduce additional adversary bias perturbations to the subgraphs during the forward diffusion process, and train score-based models to predict these applied perturbations, enabling them to learn the underlying dynamics of the biases present in the data. Subsequently, the trained score-based models are utilized to further debias the original subgraph samples through the reverse diffusion process. Finally, FASD induces fair node predictions on the input graph by performing standard GNN learning on the debiased subgraphs. Experimental results demonstrate the superior performance of the proposed method over state-of-the-art Fair GNN baselines across multiple benchmark datasets.
academic

निष्पक्ष GNN शिक्षा निष्पक्षता-जागरूक उपग्राफ विसरण के माध्यम से

बुनियादी जानकारी

  • पेपर ID: 2501.00595
  • शीर्षक: Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion
  • लेखक: Abdullah Alchihabi, Yuhong Guo (Carleton University)
  • वर्गीकरण: cs.LG cs.AI
  • प्रकाशन समय: 31 दिसंबर 2024 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2501.00595

सारांश

ग्राफ न्यूरल नेटवर्क (GNNs) विभिन्न ग्राफ-संबंधित कार्यों को संभालने में उत्कृष्ट प्रदर्शन करते हैं, लेकिन एक महत्वपूर्ण चुनौती का सामना करते हैं: संवेदनशील नोड विशेषताओं (जैसे आयु, लिंग) से संबंधित पूर्वाग्रहपूर्ण भविष्यवाणियां उत्पन्न करना। संदेश पारण तंत्र के कारण नोड्स एक-दूसरे को प्रभावित करते हैं, GNNs में पूर्वाग्रह पारंपरिक मशीन लर्निंग मॉडल की तुलना में अधिक गंभीर हैं। यह पेपर निष्पक्ष GNN शिक्षा प्राप्त करने के लिए एक नवीन जनरेटिव निष्पक्षता-जागरूक उपग्राफ विसरण (FASD) विधि प्रस्तावित करता है। यह विधि पहले मूल बड़े ग्राफ से रणनीतिक रूप से छोटे उपग्राफ का नमूना लेती है, फिर स्टोकेस्टिक डिफरेंशियल समीकरण (SDEs) पर आधारित जनरेटिव निष्पक्षता-जागरूक ग्राफ विसरण प्रक्रिया के माध्यम से उपग्राफ को निष्पक्ष करती है। अग्रगामी विसरण प्रक्रिया में प्रतिकूल पूर्वाग्रह व्यतिक्रमण को शामिल करके, स्कोर-आधारित मॉडल को इन व्यतिक्रमणों की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, जिससे डेटा में पूर्वाग्रह की अंतर्निहित गतिशीलता सीखी जाती है। इसके बाद, प्रशिक्षित स्कोर मॉडल का उपयोग करके मूल उपग्राफ नमूनों को विपरीत विसरण प्रक्रिया के माध्यम से निष्पक्ष किया जाता है। अंत में, निष्पक्ष उपग्राफ पर मानक GNN शिक्षा निष्पादित की जाती है ताकि निष्पक्ष नोड भविष्यवाणियां उत्पन्न हों।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

  1. मुख्य समस्या: GNNs नोड वर्गीकरण कार्यों में संवेदनशील विशेषताओं (आयु, लिंग, जाति आदि) के आधार पर पूर्वाग्रहपूर्ण भविष्यवाणियां उत्पन्न करते हैं
  2. पूर्वाग्रह प्रवर्धन तंत्र: GNNs का संदेश पारण तंत्र पूर्वाग्रह को ग्राफ में प्रसारित और प्रवर्धित करता है, जो पारंपरिक ML मॉडल की तुलना में अधिक गंभीर है
  3. अनुप्रयोग महत्व: स्वास्थ्यसेवा, नौकरी मूल्यांकन आदि महत्वपूर्ण क्षेत्रों में मॉडल निष्पक्षता महत्वपूर्ण है

मौजूदा विधियों की सीमाएं

  1. पारंपरिक निष्पक्षता शिक्षा विधियां: ग्राफ संरचना और नोड्स के बीच संदेश प्रसारण के अंतःक्रिया पर विचार नहीं करती हैं
  2. मौजूदा निष्पक्ष GNN विधियां:
    • पूर्व-प्रसंस्करण विधियां मजबूती की कमी करती हैं, विशिष्ट पूर्वाग्रह रूपों के लिए डिज़ाइन की गई हैं
    • प्रसंस्करण विधियों को निष्पक्षता और सटीकता को सावधानीपूर्वक संतुलित करने की आवश्यकता है, स्थिरता खराब है
    • पश्च-प्रसंस्करण विधियां केवल भविष्यवाणी परिणामों को संशोधित करती हैं
  3. ग्राफ विसरण विधियां: मौजूदा विधियां इनपुट डेटा में पूर्वाग्रह को विरासत में लेने के लिए प्रवण हैं

अनुसंधान प्रेरणा

डेटा स्व-अनुकूली निष्पक्षता-जागरूक ग्राफ वृद्धि और शिक्षा विधियां विकसित करना, जो GNNs के विविध अनुप्रयोग क्षेत्रों में व्यापक रूप से लागू हो सकती हैं।

मुख्य योगदान

  1. अग्रणी विधि: पहली निष्पक्षता-जागरूक ग्राफ विसरण विधि FASD प्रस्तावित की, जो उपग्राफ उदाहरणों को निष्पक्ष करने और डाउनस्ट्रीम कार्यों की निष्पक्षता को बढ़ावा देने के लिए विसरण प्रक्रिया का उपयोग करती है
  2. तकनीकी नवाचार: प्रतिकूल पूर्वाग्रह व्यतिक्रमण को SDE-आधारित अग्रगामी विसरण प्रक्रिया में एकीकृत किया, स्कोर मॉडल के माध्यम से पूर्वाग्रह गतिशीलता सीखी
  3. प्रायोगिक सत्यापन: कई बेंचमार्क डेटासेट पर अत्याधुनिक निष्पक्ष GNN आधारभूत विधियों की तुलना में उच्च प्रदर्शन प्रदर्शित किया
  4. सैद्धांतिक योगदान: निष्पक्षता-जागरूक ग्राफ विसरण के लिए सैद्धांतिक ढांचा और कार्यान्वयन समाधान प्रदान किया

विधि विवरण

कार्य परिभाषा

  • इनपुट: ग्राफ G=(V,E), नोड विशेषता मैट्रिक्स X∈R^(N×D), संवेदनशील विशेषता वेक्टर S, लेबल मैट्रिक्स Y^ℓ
  • उद्देश्य: ऐसा GNN मॉडल सीखना जो नोड लेबल की सटीक और निष्पक्ष भविष्यवाणी कर सके
  • निष्पक्षता मानदंड: समूह निष्पक्षता, सांख्यिकीय समानता और अवसर समानता का उपयोग करके मूल्यांकन

मॉडल आर्किटेक्चर

1. उपग्राफ-स्तरीय उदाहरण नमूनाकरण

G^(i) = Subgraph_Sampling(G, u, d, k)
  • प्रारंभिक नोड u से शुरू करते हुए, गहराई d, प्रत्येक हॉप पर k पड़ोसियों का नमूना
  • उपग्राफ सेट G = {G^(i)}_^M उत्पन्न करता है

2. निष्पक्षता-जागरूक अग्रगामी विसरण

SDE मॉडलिंग:

dG_t^(i) = f_t(G_t^(i))dt + g_t(G_t^(i))dw

संवेदनशील विशेषता भविष्यवाणी मॉडल:

Ŝ^(i) = g_sen(X^(i), A^(i))

निष्पक्षता-जागरूक व्यतिक्रमण:

X_t^(i) = μ_t(X_0^(i)) + σ_t(X_0^(i)) × ε_X - γ_X∇_X L_sen(X_0^(i), A_0^(i))
A_t^(i) = μ_t(A_0^(i)) + σ_t(A_0^(i)) × ε_A - γ_A∇_A L_sen(X_0^(i), A_0^(i))

3. स्कोर-आधारित व्यतिक्रमण अनुमान

नोड विशेषता स्कोर मॉडल:

s_{θ,t}(G_t^(i)) = MLP_X([{H_j}_{j=0}^L])
H_{j+1} = GNN_X(H_j, A_t^(i)), H_0 = X_t^(i)

ग्राफ संरचना स्कोर मॉडल:

s_{φ,t}(G_t^(i)) = MLP_A([{GMH(H_j, (A_t^(i))^p)}_{j=0,p=1}^{K,P}])

हानि फलन:

L_θ = E_t{E_{G_0^(i)} E_{G_t^(i)|G_0^(i)} ||s_{θ,t}(G_t^(i)) - ε_X + (γ_X/σ_t(X_0^(i)))∇_X L_sen||_2^2}

4. विपरीत विसरण निष्पक्षता

विपरीत SDE:

dX_t^(i) = [f_{1,t}(X_t^(i)) - g_{1,t}^2 s_{θ,t}(G_t^(i))]dt̄ + g_{1,t}dw̄_1
dA_t^(i) = [f_{2,t}(A_t^(i)) - g_{2,t}^2 s_{φ,t}(G_t^(i))]dt̄ + g_{2,t}dw̄_2

Predictor-Corrector नमूनाकारी का उपयोग करके अनुमानित समाधान।

5. निष्पक्ष नोड वर्गीकरण

निष्पक्ष उपग्राफ G̃ पर मानक GNN प्रशिक्षित करना:

P^(i) = f(X̃^(i), Ã^(i))
L = Σ_{G̃^(i)∈G̃} Σ_{u∈V_ℓ^(i)} ℓ_ce(P_u^(i), Y_u^ℓ)

तकनीकी नवाचार बिंदु

  1. निष्पक्षता-जागरूक व्यतिक्रमण डिज़ाइन: संवेदनशील विशेषता भविष्यवाणी हानि के ढाल को प्रतिकूल व्यतिक्रमण के रूप में उपयोग करना, सीधे पूर्वाग्रह को मॉडल करना
  2. दोहरी स्कोर मॉडल: नोड विशेषताओं और ग्राफ संरचना के व्यतिक्रमण को अलग से मॉडल करना, जटिल पूर्वाग्रह पैटर्न को कैप्चर करना
  3. उपग्राफ-स्तरीय प्रसंस्करण: उपग्राफ नमूनाकरण के माध्यम से बड़े ग्राफ की कम्प्यूटेशनल जटिलता को हल करना
  4. जनरेटिव निष्पक्षता: विसरण मॉडल की जनरेटिव क्षमता का उपयोग करके डेटा-स्तरीय निष्पक्षता प्राप्त करना

प्रायोगिक सेटअप

डेटासेट

  1. NBA: NBA खिलाड़ी डेटा, संवेदनशील विशेषता राष्ट्रीयता है, लेबल माध्यिका से अधिक वेतन है
  2. Pokec-z/Pokec-n: स्लोवाक सामाजिक नेटवर्क डेटा, संवेदनशील विशेषता क्षेत्र है, लेबल कार्य क्षेत्र है
  3. डेटा विभाजन: NBA(20%/35%/45%), Pokec-z(10%/10%/80%), Pokec-n(10%/10%/80%)

मूल्यांकन मेट्रिक्स

  1. सटीकता (Acc.): वर्गीकरण सटीकता
  2. सांख्यिकीय समानता (ΔDP): |P(Ŷ=1|S=0) - P(Ŷ=1|S=1)|
  3. अवसर समानता (ΔEO): |P(Ŷ=1|S=0,Y=1) - P(Ŷ=1|S=1,Y=1)|

नोट: ΔDP और ΔEO जितना छोटा होगा, निष्पक्षता उतनी बेहतर होगी

तुलनात्मक विधियां

  • निष्पक्ष GNN विधियां: FairWalk, FairDrop, NIFTY, FairAug, Graphair
  • ग्राफ विपरीत शिक्षा विधियां: GRACE, GCA

कार्यान्वयन विवरण

  • उपग्राफ नमूनाकरण: d=2(NBA), d=3(Pokec), k=10
  • संवेदनशील विशेषता भविष्यवाणीकार: 2-परत GCN + 2-परत पूर्ण कनेक्शन, छिपी हुई आयाम(64,32,16)
  • स्कोर मॉडल: छिपी हुई आयाम 32, 1000 राउंड प्रशिक्षण
  • विपरीत विसरण चरण: N_steps=5(NBA), 4(Pokec-z), 2(Pokec-n)

प्रायोगिक परिणाम

मुख्य परिणाम

डेटासेटविधिAcc.%ΔDP%ΔEO%
NBAFASD69.220.924.47
Graphair69.362.564.64
Pokec-zFASD66.152.281.96
Graphair68.172.102.76
Pokec-nFASD66.340.790.91
Graphair67.432.021.62

मुख्य निष्कर्ष:

  1. निष्पक्षता में महत्वपूर्ण सुधार: अवसर समानता के संदर्भ में, Pokec-z और Pokec-n पर क्रमशः 29% और 43% सुधार प्राप्त किया
  2. सांख्यिकीय समानता में नेतृत्व: NBA और Pokec-n पर दूसरे स्थान से 64% और 60% अधिक
  3. सटीकता बनी रहती है: निष्पक्षता में महत्वपूर्ण सुधार के साथ, सटीकता में बहुत कम गिरावट

विलोपन प्रयोग

वेरिएंटNBA ΔDP%Pokec-z ΔDP%Pokec-n ΔDP%
FASD0.922.280.79
w/o Diffusion3.293.852.74
w/o Fairness3.104.811.74

विलोपन प्रयोग निष्कर्ष:

  1. विसरण प्रक्रिया की आवश्यकता: विसरण प्रक्रिया को हटाने के बाद निष्पक्षता में महत्वपूर्ण गिरावट
  2. निष्पक्षता-जागरूक व्यतिक्रमण का महत्व: केवल यादृच्छिक व्यतिक्रमण का उपयोग करने पर परिणाम खराब हैं

हाइपरपैरामीटर संवेदनशीलता विश्लेषण

  1. विपरीत विसरण चरण: इष्टतम मान 2-5 चरण हैं, अत्यधिक चरण प्रदर्शन को कम करते हैं
  2. निष्पक्षता व्यतिक्रमण वजन: λX, λA 0.1, 10.0 श्रेणी में सर्वोत्तम परिणाम देते हैं

संबंधित कार्य

निष्पक्ष GNN शिक्षा

  1. पूर्व-प्रसंस्करण विधियां: FairWalk, FairDrop, Graphair आदि, लेकिन मजबूती की कमी
  2. प्रसंस्करण विधियां: NIFTY, FairAug आदि, निष्पक्षता और सटीकता को सावधानीपूर्वक संतुलित करने की आवश्यकता
  3. पश्च-प्रसंस्करण विधियां: GNN भविष्यवाणी परिणामों को सीधे संशोधित करना

ग्राफ विसरण विधियां

  1. निरंतर विसरण: GDSS आदि SDE मॉडलिंग पर आधारित
  2. असतत विसरण: DiGress आदि मार्कोव शोर प्रक्रिया का उपयोग करते हैं
  3. सीमाएं: मौजूदा विधियां इनपुट डेटा पूर्वाग्रह को विरासत में लेने के लिए प्रवण हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. FASD ने विसरण मॉडल को निष्पक्ष GNN शिक्षा में सफलतापूर्वक लागू किया, डेटा-स्तरीय निष्पक्षता प्राप्त की
  2. निष्पक्षता-जागरूक व्यतिक्रमण और स्कोर मॉडल के माध्यम से, पूर्वाग्रह पैटर्न को प्रभावी ढंग से सीखा और समाप्त किया
  3. कई बेंचमार्क डेटासेट पर सर्वोत्तम निष्पक्षता प्रदर्शन प्राप्त किया, साथ ही प्रतिस्पर्धी सटीकता बनाए रखी

सीमाएं

  1. कम्प्यूटेशनल जटिलता: कई मॉडल (संवेदनशील विशेषता भविष्यवाणीकार, स्कोर मॉडल, वर्गीकारक) प्रशिक्षित करने की आवश्यकता है
  2. हाइपरपैरामीटर संवेदनशीलता: λX, λA आदि हाइपरपैरामीटर को सावधानीपूर्वक समायोजित करने की आवश्यकता है
  3. बाइनरी संवेदनशील विशेषता: वर्तमान में केवल बाइनरी संवेदनशील विशेषताओं को संभालता है, बहु-वर्ग विस्तार को आगे के अनुसंधान की आवश्यकता है
  4. उपग्राफ प्रतिनिधित्व: उपग्राफ नमूनाकरण वैश्विक जानकारी खो सकता है

भविष्य की दिशाएं

  1. बहु-वर्ग संवेदनशील विशेषताओं और बहु-लेबल वर्गीकरण तक विस्तार
  2. कम्प्यूटेशनल दक्षता में सुधार, प्रशिक्षण जटिलता को कम करना
  3. अन्य निष्पक्षता मानदंडों की प्रयोज्यता की खोज
  4. विधि के अभिसरण और निष्पक्षता गारंटी का सैद्धांतिक विश्लेषण

गहन मूल्यांकन

शक्तियां

  1. विधि नवाचार मजबूत है: पहली बार विसरण मॉडल को निष्पक्ष GNN शिक्षा में लागू किया, विचार नवीन है
  2. तकनीकी डिज़ाइन उचित है: निष्पक्षता-जागरूक व्यतिक्रमण डिज़ाइन सहज और प्रभावी है, स्कोर मॉडल आर्किटेक्चर ग्राफ डेटा के लिए उपयुक्त है
  3. प्रयोग पूर्ण है: बहु-डेटासेट सत्यापन, विलोपन प्रयोग और हाइपरपैरामीटर विश्लेषण संपूर्ण हैं
  4. परिणाम प्रेरक हैं: निष्पक्षता मेट्रिक्स में महत्वपूर्ण सुधार, सांख्यिकीय महत्व स्पष्ट है

कमियां

  1. सैद्धांतिक विश्लेषण की कमी: अभिसरण प्रमाण या निष्पक्षता सैद्धांतिक गारंटी प्रदान नहीं की गई
  2. कम्प्यूटेशनल दक्षता समस्या: बहु-चरणीय प्रशिक्षण कम्प्यूटेशनल लागत को बढ़ाता है, दक्षता विश्लेषण की कमी है
  3. प्रयोज्यता सीमाएं: केवल अपेक्षाकृत छोटे ग्राफ पर सत्यापित, बड़े ग्राफ की स्केलेबिलिटी अज्ञात है
  4. अपूर्ण तुलना: नवीनतम निष्पक्षता शिक्षा विधियों के साथ तुलना की कमी है

प्रभाव

  1. शैक्षणिक योगदान: निष्पक्ष GNN शिक्षा के लिए नया तकनीकी मार्ग प्रदान करता है
  2. व्यावहारिक मूल्य: महत्वपूर्ण अनुप्रयोग क्षेत्रों में महत्वपूर्ण महत्व है
  3. पुनरुत्पादनीयता: कार्यान्वयन विवरण विस्तृत हैं, पुनरुत्पादन और विस्तार के लिए अनुकूल है

लागू परिदृश्य

  1. मध्यम आकार के ग्राफ: वर्तमान विधि दसियों हजार नोड्स वाले ग्राफ के लिए उपयुक्त है
  2. उच्च निष्पक्षता आवश्यकता वाले क्षेत्र: चिकित्सा, भर्ती, ऋण आदि संवेदनशील अनुप्रयोग
  3. बाइनरी वर्गीकरण कार्य: विशेष रूप से बाइनरी संवेदनशील विशेषताओं वाले परिदृश्य

संदर्भ

पेपर ने 61 संबंधित संदर्भों का हवाला दिया है, जो निष्पक्षता शिक्षा, ग्राफ न्यूरल नेटवर्क, विसरण मॉडल आदि कई क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करते हैं, जो अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह निष्पक्ष GNN शिक्षा क्षेत्र में नवाचारी कार्य है, जो पहली बार विसरण मॉडल को ग्राफ डेटा निष्पक्षता के लिए लागू करता है, विधि डिज़ाइन उचित है, प्रायोगिक परिणाम प्रेरक हैं। हालांकि सैद्धांतिक विश्लेषण और कम्प्यूटेशनल दक्षता के संदर्भ में सुधार की गुंजाइश है, लेकिन यह क्षेत्र के लिए मूल्यवान नई सोच और तकनीकी समाधान प्रदान करता है।