2025-11-21T08:58:16.449112

The Interpretable and Effective Graph Neural Additive Networks

Bechler-Speicher, Globerson, Gilad-Bachrach
Graph Neural Networks (GNNs) have emerged as the predominant approach for learning over graph-structured data. However, most GNNs operate as black-box models and require post-hoc explanations, which may not suffice in high-stakes scenarios where transparency is crucial. In this paper, we present a GNN that is interpretable by design. Our model, Graph Neural Additive Network (GNAN), is a novel extension of the interpretable class of Generalized Additive Models, and can be visualized and fully understood by humans. GNAN is designed to be fully interpretable, offering both global and local explanations at the feature and graph levels through direct visualization of the model. These visualizations describe exactly how the model uses the relationships between the target variable, the features, and the graph. We demonstrate the intelligibility of GNANs in a series of examples on different tasks and datasets. In addition, we show that the accuracy of GNAN is on par with black-box GNNs, making it suitable for critical applications where transparency is essential, alongside high accuracy.
academic

ব্যাখ্যাযোগ্য এবং কার্যকর গ্রাফ নিউরাল সংযোজক নেটওয়ার্ক

মৌলিক তথ্য

  • পেপার আইডি: 2406.01317
  • শিরোনাম: The Interpretable and Effective Graph Neural Additive Networks
  • লেখক: Maya Bechler-Speicher, Amir Globerson, Ran Gilad-Bachrach
  • শ্রেণীবিভাগ: cs.LG cs.AI
  • প্রকাশনা সম্মেলন: NeurIPS 2024 (38তম নিউরাল ইনফরমেশন প্রসেসিং সিস্টেম সম্মেলন)
  • পেপার লিংক: https://arxiv.org/abs/2406.01317

সারসংক্ষেপ

গ্রাফ নিউরাল নেটওয়ার্ক (GNNs) গ্রাফ কাঠামোগত ডেটা শেখার জন্য প্রধান পদ্ধতি হয়ে উঠেছে, কিন্তু বেশিরভাগ GNNs ব্ল্যাক বক্স মডেল হিসাবে কাজ করে এবং পরবর্তী ব্যাখ্যার প্রয়োজন হয়, যা উচ্চ ঝুঁকিপূর্ণ পরিস্থিতিতে স্বচ্ছতার প্রয়োজন হলে অপর্যাপ্ত হতে পারে। এই পেপারটি ডিজাইন দ্বারা ব্যাখ্যাযোগ্য একটি GNN মডেল প্রস্তাব করে—গ্রাফ নিউরাল সংযোজক নেটওয়ার্ক (GNAN), যা ব্যাখ্যাযোগ্য সাধারণীকৃত সংযোজক মডেল শ্রেণীর একটি নতুন সম্প্রসারণ, যা মানুষ দ্বারা সম্পূর্ণভাবে কল্পনা এবং বোঝা যায়। GNAN বৈশিষ্ট্য-স্তর এবং গ্রাফ-স্তরের বৈশ্বিক এবং স্থানীয় ব্যাখ্যা প্রদান করে, মডেলের সরাসরি কল্পনার মাধ্যমে লক্ষ্য ভেরিয়েবল, বৈশিষ্ট্য এবং গ্রাফের মধ্যে সম্পর্ক কীভাবে ব্যবহার করে তা বর্ণনা করে। পরীক্ষা-নিরীক্ষা দেখায় যে GNAN এর নির্ভুলতা ব্ল্যাক বক্স GNNs এর সমতুল্য এবং স্বচ্ছতা এবং উচ্চ নির্ভুলতার প্রয়োজন এমন গুরুত্বপূর্ণ অ্যাপ্লিকেশনের জন্য উপযুক্ত।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

  1. মূল সমস্যা: বিদ্যমান GNNs ব্যাখ্যাযোগ্যতার অভাব রয়েছে, চিকিৎসা, আর্থিক, অপরাধ বিচার ইত্যাদি উচ্চ ঝুঁকিপূর্ণ ক্ষেত্রে প্রয়োগ সীমাবদ্ধ
  2. স্বচ্ছতার প্রয়োজনীয়তা: ইউরোপীয় ইউনিয়নের GDPR এবং AI আইন ইত্যাদি নিয়মকানুন উচ্চ ঝুঁকিপূর্ণ AI সিস্টেমের স্বচ্ছতা প্রয়োজন
  3. বিদ্যমান ব্যাখ্যা পদ্ধতির সীমাবদ্ধতা:
    • পরবর্তী ব্যাখ্যা পদ্ধতি (যেমন SHAP, LIME) সঠিকতার গ্যারান্টি অভাব
    • স্থানীয় ব্যাখ্যা এবং বৈশ্বিক ব্যাখ্যা অসামঞ্জস্যপূর্ণ হতে পারে
    • মডেলের সম্পূর্ণ বর্ণনা প্রদান করতে পারে না

গবেষণা প্রেরণা

  • ব্যাখ্যাযোগ্যতা বনাম নির্ভুলতা: ঐতিহ্যবাহী দৃষ্টিভঙ্গি যে ব্যাখ্যাযোগ্য মডেলগুলি সাধারণত কম নির্ভুলতা রয়েছে, এই পেপারটি এই দৃষ্টিভঙ্গিকে চ্যালেঞ্জ করে
  • ডিজাইন-সময় ব্যাখ্যাযোগ্যতা: পরবর্তী ব্যাখ্যার তুলনায়, ডিজাইন-সময় ব্যাখ্যাযোগ্য মডেলগুলি আরও নির্ভরযোগ্য
  • নিয়ন্ত্রক সম্মতি: ক্রমবর্ধমান কঠোর AI স্বচ্ছতা নিয়মকানুন পূরণ করা

মূল অবদান

  1. তাত্ত্বিক অবদান: সাধারণীকৃত সংযোজক মডেল (GAMs) কে গ্রাফ ডেটায় সম্প্রসারিত করা, GNAN আর্কিটেকচার প্রস্তাব করা
  2. পদ্ধতিগত অবদান: সম্পূর্ণ ব্যাখ্যাযোগ্য গ্রাফ পূর্বাভাস মডেল ডিজাইন করা, বৈশ্বিক এবং স্থানীয় ব্যাখ্যা ক্ষমতা প্রদান করা
  3. অভিজ্ঞতামূলক অবদান: একাধিক বাস্তব ডেটাসেটে GNAN এর কর্মক্ষমতা ব্ল্যাক বক্স GNNs এর সমতুল্য প্রমাণ করা
  4. ব্যবহারিক অবদান: সরাসরি কল্পনাযোগ্য মডেল ডিবাগিং এবং যাচাইকরণ ক্ষমতা প্রদান করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

  • ইনপুট: গ্রাফ G যাতে N টি নোড রয়েছে, প্রতিটি নোড i এর সাথে d-মাত্রিক বৈশিষ্ট্য ভেক্টর xi ∈ ℝd যুক্ত
  • আউটপুট: নোড-স্তরের পূর্বাভাস বা গ্রাফ-স্তরের পূর্বাভাস
  • দূরত্ব সংজ্ঞা: dist(j,i) নোড j থেকে নোড i পর্যন্ত সবচেয়ে ছোট পথের প্রান্ত সংখ্যা

মডেল আর্কিটেকচার

মূল ডিজাইন ধারণা

GNAN দূরত্ব ফাংশন ρ(x;θ): ℝ → ℝ এবং বৈশিষ্ট্য আকৃতি ফাংশন {fk}^d_, fk(x;θk): ℝ → ℝ শিখে নোড প্রতিনিধিত্ব তৈরি করে।

নোড প্রতিনিধিত্ব গণনা

নোড i এর k-তম বৈশিষ্ট্য প্রতিনিধিত্ব হল:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) · fk([xj]k)

যেখানে:

  • #disti(j,i): নোড i থেকে dist(j,i) দূরত্বের নোড সংখ্যা
  • ρ(1/(1+dist(j,i))): দূরত্ব ওজন ফাংশন
  • fk([xj]k): k-তম বৈশিষ্ট্যের আকৃতি ফাংশন

পূর্বাভাস গণনা

  • নোড পূর্বাভাস: σ(Σ(k=1 to d)[hi]k)
  • গ্রাফ পূর্বাভাস: প্রথমে যোগ পুলিং এর মাধ্যমে গ্রাফ প্রতিনিধিত্ব পান h = Σ(i=1 to N)hi, তারপর σ(Σ(k=1 to d)[h]k) গণনা করুন

বহু-শ্রেণী শ্রেণীবিভাগ সম্প্রসারণ

C-শ্রেণী শ্রেণীবিভাগের জন্য, বৈশিষ্ট্য ফাংশন এবং দূরত্ব ফাংশন C-মাত্রিক ভেক্টর আউটপুট করে, উপাদান-স্তরের গুণন ব্যবহার করে একত্রিত করা হয়:

[hi]k = Σ(j=1 to N) [1/#disti(j,i)] · ρ(1/(1+dist(j,i))) ⊙ fk([xj]k)

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

  1. সংযোজক কাঠামো: বৈশিষ্ট্য এবং গ্রাফ টপোলজির ক্রস পণ্য এড়ান, ব্যাখ্যাযোগ্যতা বজায় রাখুন
  2. দূরত্ব মডেলিং: নোডের মধ্যে দূরত্ব পূর্বাভাসে প্রভাব স্পষ্টভাবে মডেল করুন
  3. বৈশ্বিক তথ্য প্রবাহ: প্রতিটি নোড সম্পূর্ণ গ্রাফ তথ্য সংগ্রহ করে, বার্তা পাঠানোর বাধা এড়ান
  4. সম্পূর্ণ কল্পনা: মডেল কয়েকটি ফাংশন গ্রাফের মাধ্যমে সম্পূর্ণভাবে বর্ণনা করা যায়

পরীক্ষা-নিরীক্ষা সেটআপ

ডেটাসেট

নোড শ্রেণীবিভাগ কাজ

  • উদ্ধৃতি নেটওয়ার্ক: Cora, Citeseer, PubMed, ogb-arxiv
  • বৈষম্যপূর্ণ ডেটা: Cornell, Tolokers

গ্রাফ শ্রেণীবিভাগ কাজ

  • রাসায়নিক অণু: NCI1, Proteins, Mutagen, PTC
  • দীর্ঘ-পরিসীমা আণবিক বৈশিষ্ট্য: μ, α, αHOMO (QM9 ডেটাসেট)

মূল্যায়ন মেট্রিক্স

  • শ্রেণীবিভাগ কাজ: নির্ভুলতা (Accuracy)
  • রিগ্রেশন কাজ: গড় পরম ত্রুটি (MAE)
  • দ্বিমুখী শ্রেণীবিভাগ: ROC-AUC

তুলনামূলক পদ্ধতি

  • GraphConv, GraphSAGE, GIN
  • GATv2, Graph Transformer
  • FSGNN (বৈশিষ্ট্য-গ্রাফ বিচ্ছিন্ন মডেল)

বাস্তবায়ন বিবরণ

  • অপ্টিমাইজার: Adam
  • প্রশিক্ষণ যুগ: 1000 epochs
  • প্রাথমিক থামা: যাচাইকরণ ক্ষতি 100 ধাপ কোন উন্নতি ছাড়াই
  • নেটওয়ার্ক কাঠামো: 3-5 স্তরের MLP, ReLU সক্রিয়করণ
  • লুকানো মাত্রা: 32-64

পরীক্ষা-নিরীক্ষা ফলাফল

প্রধান ফলাফল

13টি কাজে, GNAN 9টি কাজে সেরা বা দ্বিতীয় সেরা পারফরম্যান্স:

কাজের ধরনডেটাসেটGNAN পারফরম্যান্সসেরা বেসলাইন
নোড শ্রেণীবিভাগCornell85.7±4.8%FSGNN: 86.0±4.1%
নোড শ্রেণীবিভাগTolokers84.5±0.9%GATv2: 83.8±1.1%
গ্রাফ শ্রেণীবিভাগMutagen72.2±1.0%GTransformer: 73.1±0.9%
দীর্ঘ-পরিসীমা রিগ্রেশনμ2.55±0.1GIN: 2.60±0.1
দীর্ঘ-পরিসীমা রিগ্রেশনα4.28±0.9GTransformer: 4.30±0.5

মূল আবিষ্কার

  1. দীর্ঘ-পরিসীমা কাজে সুবিধা: GNAN দীর্ঘ-পরিসীমা আণবিক বৈশিষ্ট্য পূর্বাভাস কাজে চমৎকার পারফরম্যান্স, বৈশ্বিক তথ্য প্রবাহের সুবিধা যাচাই করে
  2. কর্মক্ষমতা বজায় রাখা: সীমিত ক্ষমতা সত্ত্বেও, GNAN কর্মক্ষমতা আরও জটিল GNNs এর সমতুল্য
  3. গণনা দক্ষতা: পুনরাবৃত্তিমূলক বার্তা পাঠানো এড়ান, গণনা বাধা হ্রাস করুন

ব্যাখ্যাযোগ্যতা প্রদর্শন

বৈশ্বিক ব্যাখ্যা

দূরত্ব ফাংশন ρ এবং বৈশিষ্ট্য ফাংশন {fk} কল্পনা করে মডেল সম্পূর্ণভাবে বর্ণনা করুন:

  1. Mutagenicity ডেটাসেট:
    • দূরত্ব ফাংশন দূরবর্তী পরমাণু প্রভাব হ্রাস দেখায়
    • বৈশিষ্ট্য ফাংশন Ca, Na, Li পরমাণু বৃদ্ধি মিউটাজেনিসিটি প্রকাশ করে
    • N, P পরমাণু হালকা সুরক্ষামূলক ভূমিকা রয়েছে
  2. PubMed ডেটাসেট:
    • তিন ধরনের ডায়াবেটিসের দূরত্ব ফাংশন স্পষ্ট পার্থক্য
    • বৈশিষ্ট্য ফাংশন জটিল অ-একঘেয়ে সম্পর্ক প্রদর্শন করে
    • "insulin" শব্দ ফ্রিকোয়েন্সি বিভিন্ন ধরনের ডায়াবেটিসে ভিন্ন প্রভাব

স্থানীয় ব্যাখ্যা

নোড গুরুত্ব কল্পনার মাধ্যমে নির্দিষ্ট অণু:

  • কার্বন বলয় কাঠামো মিউটাজেনিক অণুতে উচ্চ গুরুত্ব
  • NO2 গ্রুপ সঠিকভাবে মিউটাজেনিক ফ্যাক্টর হিসাবে চিহ্নিত

ডিবাগিং ক্ষমতা

  • মডেল শেখা পূর্ব জ্ঞানের সাথে সামঞ্জস্যপূর্ণ কিনা যাচাই করুন
  • সম্ভাব্য পক্ষপাত এবং নিরাপত্তা ঝুঁকি চিহ্নিত করুন
  • মডেল নির্বাচন এবং অপ্টিমাইজেশন সমর্থন করুন

সম্পর্কিত কাজ

সাধারণীকৃত সংযোজক মডেল

  • ঐতিহ্যবাহী GAMs স্প্লাইন ইত্যাদি মসৃণ ফাংশন ব্যবহার করে
  • নিউরাল সংযোজক মডেল নিউরাল নেটওয়ার্ক ব্যবহার করে আকৃতি ফাংশন শিখে
  • GNAN গ্রাফ ডেটায় GAMs এর প্রথম সম্প্রসারণ

GNN ব্যাখ্যাযোগ্যতা

  • বিদ্যমান পদ্ধতি প্রধানত পরবর্তী সাব-গ্রাফ ব্যাখ্যা প্রদান করে
  • ডিজাইন-সময় ব্যাখ্যাযোগ্য GNN মডেল অভাব
  • GNAN প্রতিনিধি ব্যাখ্যার পরিবর্তে সম্পূর্ণ মডেল বর্ণনা প্রদান করে

অ-বার্তা পাঠানো GNNs

  • FSGNN ইত্যাদি পদ্ধতি বৈশিষ্ট্য এবং গ্রাফ কাঠামো বিচ্ছিন্ন করে
  • অতিফিটিং এবং গণনা জটিলতা হ্রাস করুন
  • GNAN আরও সম্পূর্ণ ব্যাখ্যাযোগ্যতা বাস্তবায়ন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. ব্যাখ্যাযোগ্যতা নির্ভুলতার খরচে হতে হবে না
  2. ডিজাইন-সময় ব্যাখ্যাযোগ্যতা পরবর্তী ব্যাখ্যার চেয়ে আরও নির্ভরযোগ্য
  3. অনেক বাস্তব গ্রাফ সমস্যা প্রত্যাশার চেয়ে সহজ, জটিল মডেলের প্রয়োজন নেই

সীমাবদ্ধতা

  1. ক্ষমতা সীমাবদ্ধতা: সংযোজক কাঠামো মডেল প্রকাশ ক্ষমতা সীমাবদ্ধ করে
  2. বৈশিষ্ট্য মিথস্ক্রিয়া: বৈশিষ্ট্যের মধ্যে জটিল মিথস্ক্রিয়া মডেল করতে পারে না
  3. গ্রাফ কাঠামো: অত্যন্ত জটিল গ্রাফ প্যাটার্নের প্রতি যথেষ্ট সংবেদনশীল নাও হতে পারে
  4. কল্পনা জটিলতা: উচ্চ-মাত্রিক বৈশিষ্ট্যে কল্পনা কঠিন

ভবিষ্যত দিকনির্দেশনা

  1. প্রযুক্তিগত উন্নতি:
    • Kolmogorov-Arnold Networks একীভূত করে মসৃণ ফাংশন বাস্তবায়ন করুন
    • প্রতিটি বৈশিষ্ট্যের জন্য স্বাধীন দূরত্ব ফাংশন শিখুন
    • বৈশিষ্ট্য ব্যবহার হ্রাস করতে নিয়মিতকরণ অন্বেষণ করুন
  2. অ্যাপ্লিকেশন সম্প্রসারণ:
    • জৈব নেটওয়ার্ক ডেটাসেট প্রয়োগ
    • প্রোটিন মিথস্ক্রিয়া নেটওয়ার্ক
    • বৈজ্ঞানিক আবিষ্কার সহায়তা সরঞ্জাম

গভীর মূল্যায়ন

সুবিধা

  1. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো GAMs কে গ্রাফ ডেটায় সম্প্রসারিত করা, গুরুত্বপূর্ণ শূন্যতা পূরণ করা
  2. দৃঢ় তাত্ত্বিক ভিত্তি: পরিপক্ক GAMs তত্ত্বের উপর ভিত্তি করে, যুক্তিসঙ্গত ডিজাইন
  3. উচ্চ ব্যবহারিক মূল্য: সরাসরি উচ্চ ঝুঁকিপূর্ণ অ্যাপ্লিকেশনের ব্যাখ্যাযোগ্যতা প্রয়োজন পূরণ করা
  4. পর্যাপ্ত পরীক্ষা-নিরীক্ষা: একাধিক কাজ এবং ডেটাসেট জুড়ে, ব্যাপক তুলনা
  5. চমৎকার কল্পনা: স্বজ্ঞাত, সম্পূর্ণ মডেল ব্যাখ্যা প্রদান করা

অপূর্ণতা

  1. পদ্ধতি সীমাবদ্ধতা: সংযোজক অনুমান খুব শক্তিশালী, গুরুত্বপূর্ণ বৈশিষ্ট্য মিথস্ক্রিয়া মিস করতে পারে
  2. প্রযোজ্য পরিসীমা: জটিল বৈশিষ্ট্য মিথস্ক্রিয়া প্রয়োজন এমন কাজে খারাপ পারফরম্যান্স হতে পারে
  3. তাত্ত্বিক বিশ্লেষণ: প্রকাশ ক্ষমতার তাত্ত্বিক বিশ্লেষণ অভাব
  4. সম্প্রসারণযোগ্যতা: উচ্চ-মাত্রিক বৈশিষ্ট্যে ব্যাখ্যাযোগ্যতা এবং গণনা দক্ষতা সমস্যা

প্রভাব

  1. একাডেমিক অবদান: ব্যাখ্যাযোগ্য GNN এর নতুন দিকনির্দেশনা খোলা
  2. ব্যবহারিক মূল্য: উচ্চ ঝুঁকিপূর্ণ AI অ্যাপ্লিকেশনের জন্য ব্যবহারিক সমাধান প্রদান করা
  3. নীতি তাৎপর্য: AI নিয়ন্ত্রক প্রবণতার সাথে সামঞ্জস্যপূর্ণ, গুরুত্বপূর্ণ বাস্তব অর্থ রয়েছে
  4. পুনরুৎপাদনযোগ্যতা: কোড খোলা উৎস, পরবর্তী গবেষণা সুবিধা

প্রযোজ্য পরিস্থিতি

  1. উচ্চ ঝুঁকিপূর্ণ অ্যাপ্লিকেশন: চিকিৎসা নির্ণয়, আর্থিক ঝুঁকি নিয়ন্ত্রণ, বিচার সিদ্ধান্ত
  2. বৈজ্ঞানিক গবেষণা: আণবিক বৈশিষ্ট্য পূর্বাভাস, ওষুধ আবিষ্কার
  3. নিয়ন্ত্রক সম্মতি: ব্যাখ্যাযোগ্যতা প্রয়োজনীয়তা পূরণ করতে হবে এমন বাণিজ্যিক অ্যাপ্লিকেশন
  4. শিক্ষা প্রশিক্ষণ: GNN নীতি শিক্ষা এবং বোঝা

তথ্যসূত্র

মূল সম্পর্কিত কাজ:

  1. Hastie & Tibshirani (1986): সাধারণীকৃত সংযোজক মডেল মৌলিক তত্ত্ব
  2. Agarwal et al. (2021): নিউরাল সংযোজক মডেল
  3. Ying et al. (2019): GNNExplainer - GNN পরবর্তী ব্যাখ্যা পদ্ধতি
  4. Rudin (2019): ব্যাখ্যাযোগ্য মডেল বনাম ব্ল্যাক বক্স ব্যাখ্যার বিতর্ক

সারসংক্ষেপ: এই পেপারে প্রস্তাবিত GNAN ব্যাখ্যাযোগ্য AI ক্ষেত্রে একটি গুরুত্বপূর্ণ অবদান, সফলভাবে গ্রাফ শেখার কাজে ব্যাখ্যাযোগ্যতা এবং নির্ভুলতা উভয়ই অর্জনযোগ্য প্রমাণ করেছে। যদিও প্রকাশ ক্ষমতার তাত্ত্বিক সীমাবদ্ধতা রয়েছে, বাস্তব প্রয়োগে এর মূল্য, বিশেষত স্বচ্ছতা প্রয়োজন এমন উচ্চ ঝুঁকিপূর্ণ পরিস্থিতিতে, এটিকে এই ক্ষেত্রে একটি গুরুত্বপূর্ণ অগ্রগতি করে তোলে।