2025-11-16T10:43:13.528960

PruneGCRN: Minimizing and explaining spatio-temporal problems through node pruning

GarcÃa-SigÃ¼enza, Nanni, Llorens-Largo et al.

This work addresses the challenge of using a deep learning model to prune graphs and the ability of this method to integrate explainability into spatio-temporal problems through a new approach. Instead of applying explainability to the model's behavior, we seek to gain a better understanding of the problem itself. To this end, we propose a novel model that integrates an optimized pruning mechanism capable of removing nodes from the graph during the training process, rather than doing so as a separate procedure. This integration allows the architecture to learn how to minimize prediction error while selecting the most relevant nodes. Thus, during training, the model searches for the most relevant subset of nodes, obtaining the most important elements of the problem, facilitating its analysis. To evaluate the proposed approach, we used several widely used traffic datasets, comparing the accuracy obtained by pruning with the model and with other methods. The experiments demonstrate that our method is capable of retaining a greater amount of information as the graph reduces in size compared to the other methods used. These results highlight the potential of pruning as a tool for developing models capable of simplifying spatio-temporal problems, thereby obtaining their most important elements.

academic

PruneGCRN: নোড প্রুনিং এর মাধ্যমে স্পেসিও-টেম্পোরাল সমস্যা হ্রাসকরণ এবং ব্যাখ্যা

মৌলিক তথ্য

পেপার আইডি: 2510.10803
শিরোনাম: PruneGCRN: নোড প্রুনিং এর মাধ্যমে স্পেসিও-টেম্পোরাল সমস্যা হ্রাসকরণ এবং ব্যাখ্যা
লেখক: Javier García-Sigüenza, Mirco Nanni, Faraón Llorens-Largo, José F. Vicent
শ্রেণীবিভাগ: cs.LG cs.AI
প্রকাশনার সময়: অক্টোবর ১৪, ২০২৫ (arXiv প্রি-প্রিন্ট)
পেপার লিঙ্ক: https://arxiv.org/abs/2510.10803

সারসংক্ষেপ

এই গবেষণা গভীর শিক্ষা মডেল ব্যবহার করে গ্রাফ প্রুনিং এর চ্যালেঞ্জ এবং স্পেসিও-টেম্পোরাল সমস্যায় ব্যাখ্যাযোগ্যতা সংহত করার ক্ষমতা সমাধান করে। মডেল আচরণে ব্যাখ্যাযোগ্যতা প্রয়োগ করার পরিবর্তে, এই পেপার সমস্যা নিজেই আরও ভালভাবে বোঝার চেষ্টা করে। এই উদ্দেশ্যে, একটি উদ্ভাবনী মডেল প্রস্তাব করা হয়েছে যা অপ্টিমাইজড প্রুনিং মেকানিজম সংহত করে, যা প্রশিক্ষণ প্রক্রিয়ার সময় গ্রাফ থেকে নোড সরাতে পারে, একটি পৃথক প্রোগ্রাম হিসাবে নয়। এই সংহতকরণ আর্কিটেকচারকে সবচেয়ে প্রাসঙ্গিক নোড নির্বাচন করার সময় পূর্বাভাস ত্রুটি কীভাবে কমাতে হয় তা শিখতে দেয়। অতএব, প্রশিক্ষণ প্রক্রিয়ার সময়, মডেল সবচেয়ে প্রাসঙ্গিক নোডের সাবসেট অনুসন্ধান করে, সমস্যার সবচেয়ে গুরুত্বপূর্ণ উপাদান অর্জন করে, বিশ্লেষণ সহজতর করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই গবেষণা প্রধানত স্পেসিও-টেম্পোরাল পূর্বাভাস সমস্যায় ব্যাখ্যাযোগ্যতার চ্যালেঞ্জ সমাধান করে, বিশেষত ট্রাফিক পূর্বাভাসের মতো অ্যাপ্লিকেশনে। ঐতিহ্যবাহী ব্যাখ্যাযোগ্যতা পদ্ধতি প্রধানত মডেল আচরণ বোঝার উপর দৃষ্টি নিবদ্ধ করে, যখন এই পেপার একটি নতুন প্যারাডাইম প্রস্তাব করে: সমস্যার সবচেয়ে গুরুত্বপূর্ণ উপাদান চিহ্নিত করে সমস্যা নিজেই বোঝা।

সমস্যার গুরুত্ব

১. কৃত্রিম বুদ্ধিমত্তা স্বচ্ছতার প্রয়োজনীয়তা: কৃত্রিম বুদ্ধিমত্তার ব্যাপক প্রয়োগের সাথে, বিশেষত উচ্চ-ঝুঁকিপূর্ণ ক্ষেত্রে (চিকিৎসা, অর্থ, স্বয়ংক্রিয় চালনা), ব্যাখ্যাযোগ্যতা অত্যন্ত গুরুত্বপূর্ণ হয়ে উঠেছে २. স্পেসিও-টেম্পোরাল সমস্যার জটিলতা: গ্রাফ নিউরাল নেটওয়ার্ক (GNN) এবং পুনরাবৃত্তিমূলক নিউরাল নেটওয়ার্ক (RNN) একত্রিত করা স্পেসিও-টেম্পোরাল মডেলগুলি উচ্চ জটিলতার, ঐতিহ্যবাহী ব্যাখ্যাযোগ্যতা পদ্ধতি প্রয়োগ করা কঠিন ३. ব্যবহারিক প্রয়োগের মূল্য: ট্রাফিক পূর্বাভাসে, সবচেয়ে গুরুত্বপূর্ণ সেন্সর অবস্থান চিহ্নিত করা শহুরে পরিকল্পনা এবং ট্রাফিক ব্যবস্থাপনার জন্য গুরুত্বপূর্ণ

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. মনোযোগ মেকানিজম: "সমন্বয় শর্টকাট" সমস্যা বিদ্যমান, অপ্রাসঙ্গিক টোকেনে মনোযোগ দিতে পারে २. প্রোটোটাইপ নেটওয়ার্ক: প্রধানত শ্রেণীবিভাগ কাজের জন্য উপযুক্ত, সময় মাত্রা অন্তর্ভুক্ত করে না ३. অস্পষ্ট সিস্টেম: নির্ভুলতা কম, গভীর শিক্ষার সাথে সংমিশ্রণের পরে জটিলতা বৃদ্ধি পায় ४. পোস্ট-হক ব্যাখ্যাযোগ্যতা পদ্ধতি: সাধারণত কর্মক্ষমতা ক্ষতি করে, এবং প্রধানত স্থানিক মাত্রায় ফোকাস করে

মূল অবদান

१. PruneGCRN মডেল প্রস্তাব: একটি উদ্ভাবনী গ্রাফ কনভোলিউশনাল পুনরাবৃত্তিমূলক নেটওয়ার্ক, নোড প্রুনিং মেকানিজম সংহত করে २. উদ্ভাবনী ব্যাখ্যাযোগ্যতা প্যারাডাইম: মডেল আচরণ বোঝা থেকে সমস্যা নিজেই বোঝায় রূপান্তর ३. প্রশিক্ষণ-সময় সংহত প্রুনিং: নোড নির্বাচন প্রশিক্ষণ প্রক্রিয়ায় সংহত করা, স্বাধীন পোস্ট-প্রসেসিং পদক্ষেপ নয় ४. বাইনারি ক্ল্যাম্প প্রযুক্তি: হার্ড কনক্রিটের চেয়ে সহজ এবং কার্যকর মাস্ক জেনারেশন পদ্ধতি প্রস্তাব ५. পরীক্ষামূলক যাচাইকরণ: একাধিক ট্রাফিক ডেটাসেটে পদ্ধতির কার্যকারিতা যাচাই করা হয়েছে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

একটি স্পেসিও-টেম্পোরাল গ্রাফ সিকোয়েন্স দেওয়া, যেখানে প্রতিটি নোড একটি স্থানিক অবস্থান প্রতিনিধিত্ব করে (যেমন ট্রাফিক সেন্সর), কাজটি হল: १. ভবিষ্যত সময় ধাপে নোড মান পূর্বাভাস দেওয়া २. একই সাথে একটি মাস্ক শিখা যা পূর্বাভাসের জন্য সবচেয়ে গুরুত্বপূর্ণ নোডের সাবসেট চিহ্নিত করে ३. ব্যবহৃত নোডের সংখ্যা কমিয়ে আনার সময় পূর্বাভাস নির্ভুলতা বজায় রাখা

মডেল আর্কিটেকচার

PruneGCRN মডেলে দুটি মূল মডিউল রয়েছে:

१. নোড অভিযোজিত প্যারামিটার শিক্ষা মডিউল (NAPL)

NAPL মডিউল নোড এমবেডিং এর মাধ্যমে নির্দিষ্ট প্যাটার্নের ফিল্টার শিখে:

Θ = EN · WN
b = EN · bN

যেখানে:

EN ∈ R^(n×d): নোড এমবেডিং ম্যাট্রিক্স
WN ∈ R^(d×c×f): ভাগ করা ওজন
bN: ভাগ করা পক্ষপাত

সংশোধিত গ্রাফ কনভোলিউশন অপারেশন:

Z = (IN + D^(-1/2)AD^(-1/2))XENWN + ENbN

२. প্রুনিং গ্রাফ শিক্ষা মডিউল (PGL)

PGL মডিউল নোড নির্বাচনের জন্য মাস্ক M̃ তৈরি করে:

মাস্ক জেনারেশন প্রবাহ: १. কাঁচা মাস্ক: ১ এর ফ্লোটিং পয়েন্ট মান মাস্ক হিসাবে শুরু করা হয় २. বাইনারি ক্ল্যাম্প: <০ এর মান ০ এ সেট করা হয়, >০ এর মান ১ এ সেট করা হয় ३. বিপরীত মাস্ক: বিপরীত মাস্ক গণনা করা হয় ४. গ্রাফ পক্ষপাত: মাস্ক করা নোডের জন্য বিকল্প মান শিখা হয়

বাইনারি ক্ল্যাম্পের সুবিধা:

হার্ড কনক্রিটের চেয়ে সহজ
প্রশিক্ষণ এবং যাচাইকরণ সময় সামঞ্জস্যপূর্ণ আচরণ
একক-ধাপ নোড নির্বাচন অপ্টিমাইজেশন

३. সম্পূর্ণ PruneGCRN আর্কিটেকচার

NAPL এবং PGL মডিউল GRU তে সংহত করা:

zt = σ(L̃[X̃:,t, ht-1]ENWzr + Ebzr)
rt = σ(In[X̃:,t, ht-1]ENWzr + Ebzr)  
ĥt = tanh([In + L̃][X̃:,t, r ⊙ ht-1]ENWĥ + ENbĥ)
ht = zt ⊙ ĥt-1 + (1-zt) ⊙ ĥt-1

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. প্রশিক্ষণ-সময় নোড প্রুনিং: ঐতিহ্যবাহী পোস্ট-প্রসেসিং প্রুনিং এর বিপরীতে, PruneGCRN প্রশিক্ষণ প্রক্রিয়ায় পূর্বাভাস নির্ভুলতা এবং নোড নির্বাচন একসাথে অপ্টিমাইজ করে २. বাইনারি ক্ল্যাম্প মেকানিজম: SEGCRN দ্বারা ব্যবহৃত হার্ড কনক্রিটের তুলনায়, আরও স্থিতিশীল এবং সহজ মাস্ক জেনারেশন প্রদান করে ३. সমস্যা-ভিত্তিক ব্যাখ্যাযোগ্যতা: মডেল আচরণের পরিবর্তে সমস্যার মূল উপাদান চিহ্নিত করার উপর ফোকাস ४. যৌথ অপ্টিমাইজেশন: ক্ষতি ফাংশনের মাধ্যমে পূর্বাভাস ত্রুটি এবং নোড ব্যবহার সংখ্যা একসাথে বিবেচনা করা

পরীক্ষা সেটআপ

ডেটাসেট

৫টি ব্যাপকভাবে গৃহীত ট্রাফিক ডেটাসেট ব্যবহার করা হয়েছে:

ডেটাসেট	সেন্সর সংখ্যা	সময় পরিসীমা	বৈশিষ্ট্য
PeMSD3	358	2018.9.9-11.30	৫ মিনিটের ব্যবধানে ট্রাফিক প্রবাহ
PeMSD4	307	2018.1.1-2.28	৫ মিনিটের ব্যবধানে ট্রাফিক প্রবাহ
PeMSD7	883	2017.5.1-2018.8.31	৫ মিনিটের ব্যবধানে ট্রাফিক প্রবাহ
PeMSD8	170	2018.7.1-8.31	৫ মিনিটের ব্যবধানে ট্রাফিক প্রবাহ
PeMS-Bay	325	2017.1.1-5.31	ভৌগোলিক অবস্থান তথ্য অন্তর্ভুক্ত

মূল্যায়ন মেট্রিক্স

१. পূর্বাভাস নির্ভুলতা: MAE, RMSE, MAPE २. বিরলতা: Sparsity = 1 - m/M (m হল সাব-গ্রাফ এজ সংখ্যা, M হল মূল গ্রাফ এজ সংখ্যা) ३. গণনামূলক দক্ষতা: পূর্বাভাস সময় এবং মেমরি ব্যবহার

তুলনামূলক পদ্ধতি

র্যান্ডম: বেসলাইন হিসাবে নোড র্যান্ডমলি নির্বাচন করা
সম্পর্ক: সম্পর্কের উপর ভিত্তি করে সবচেয়ে স্বাধীন নোড নির্বাচন করা
PruneGCRN: এই পেপারে প্রস্তাবিত পদ্ধতি

বাস্তবায়ন বিবরণ

অপ্টিমাইজার: RAdam
ডেটা বিভাজন: 6:2:2 (প্রশিক্ষণ:যাচাইকরণ:পরীক্ষা)
ব্যাচ আকার: 32
শিক্ষার হার: 0.001
প্রাথমিক থামা: 25 রাউন্ড

পরীক্ষার ফলাফল

প্রধান ফলাফল

বিভিন্ন প্রুনিং অনুপাতে কর্মক্ষমতা তুলনা দেখায়:

মূল আবিষ্কার: १. কম প্রুনিং হার (25%): সম্পর্ক পদ্ধতি কিছু ডেটাসেটে সেরা পারফরম্যান্স দেখায় २. মধ্যম প্রুনিং হার (50%): PruneGCRN সুবিধা দেখাতে শুরু করে ३. উচ্চ প্রুনিং হার (75%-95%): PruneGCRN সর্বদা সেরা পারফরম্যান্স দেখায়

কর্মক্ষমতা উন্নতির উদাহরণ (PeMSD4 ডেটাসেট, 75% প্রুনিং):

PruneGCRN MAE: 21.88
সম্পর্ক MAE: 23.49
র্যান্ডম MAE: 22.93

গণনামূলক দক্ষতা বিশ্লেষণ

প্রুনিং অনুপাত	সময় হ্রাস	মেমরি হ্রাস
50%	~40%	~50%
75%	~55%	~70%
95%	~70%	>90%

স্থানিক বিশ্লেষণ ফলাফল

PeMS-Bay ডেটাসেটের ভৌগোলিক ভিজ্যুয়ালাইজেশন বিশ্লেষণের মাধ্যমে:

१. নোড নির্বাচন প্যাটার্ন: মডেল হাইওয়ে ইন্টারসেকশনে নোড নির্বাচন করার প্রবণতা দেখায় २. স্থানিক সম্পর্ক: Moran সূচক বিশ্লেষণ দেখায় যে ত্রুটি এবং স্থানিক দূরত্বের মধ্যে কোন উল্লেখযোগ্য সম্পর্ক নেই (p মান >0.05) ३. সামঞ্জস্যতা: ১০টি ভিন্ন প্রশিক্ষণে, কিছু নোড ধারাবাহিকভাবে নির্বাচিত হয় (১টি নোড 100% নির্বাচিত, ৫টি নোড 90% এর উপরে নির্বাচিত)

বিলোপন পরীক্ষা

বিভিন্ন মাস্ক জেনারেশন পদ্ধতির তুলনার মাধ্যমে যাচাই করা হয়েছে: १. বাইনারি ক্ল্যাম্পের হার্ড কনক্রিটের উপর সুবিধা २. প্রশিক্ষণ-সময় সংহত প্রুনিং এর পোস্ট-প্রসেসিং প্রুনিং এর উপর সুবিধা ३. নোড অভিযোজিত প্যারামিটার শিক্ষার গুরুত্ব

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. PruneGCRN সফলভাবে প্রশিক্ষণ-সময় নোড প্রুনিং বাস্তবায়ন করে, উচ্চ প্রুনিং হারে বেসলাইন পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে ভাল २. প্রস্তাবিত বাইনারি ক্ল্যাম্প মেকানিজম হার্ড কনক্রিটের চেয়ে সহজ এবং কার্যকর ३. মডেল সমস্যার মূল উপাদান চিহ্নিত করতে পারে, সমস্যা-ভিত্তিক ব্যাখ্যাযোগ্যতা প্রদান করে ४. পূর্বাভাস নির্ভুলতা বজায় রেখে গণনামূলক সম্পদের প্রয়োজনীয়তা উল্লেখযোগ্যভাবে হ্রাস করে

সীমাবদ্ধতা

१. ডেটাসেট সীমাবদ্ধতা: প্রধানত ট্রাফিক ডেটায় যাচাই করা হয়েছে, অন্যান্য ক্ষেত্রে সাধারণীকরণযোগ্যতা অপরীক্ষিত २. হাইপারপ্যারামিটার সংবেদনশীলতা: γ প্যারামিটার সেটিং কর্মক্ষমতায় উল্লেখযোগ্য প্রভাব ফেলে ३. ব্যাখ্যাযোগ্যতা মূল্যায়ন: মানসম্মত ব্যাখ্যাযোগ্যতা মূল্যায়ন মেট্রিক্স অনুপস্থিত ४. সময় জটিলতা: যদিও পূর্বাভাস সময় হ্রাস পায়, প্রশিক্ষণ সময় বৃদ্ধি পেতে পারে

ভবিষ্যত দিকনির্দেশনা

१. বহু-ক্ষেত্র প্রয়োগ: সামাজিক নেটওয়ার্ক, বিদ্যুৎ খরচ ইত্যাদি অন্যান্য স্পেসিও-টেম্পোরাল সমস্যায় সম্প্রসারণ २. তাত্ত্বিক বিশ্লেষণ: প্রুনিং কার্যকারিতার তাত্ত্বিক গ্যারান্টি প্রদান করা ३. গতিশীল প্রুনিং: সময়ের পরিবর্তনের সাথে নোড নির্বাচন গতিশীলভাবে সামঞ্জস্য করা ४. বহু-দানাদার প্রুনিং: এজ প্রুনিং এবং নোড প্রুনিং একত্রিত করা

গভীর মূল্যায়ন

শক্তি

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো সমস্যা-ভিত্তিক ব্যাখ্যাযোগ্যতা প্যারাডাইম প্রস্তাব করা হয়েছে २. দৃঢ় প্রযুক্তি: বাইনারি ক্ল্যাম্প মেকানিজম ডিজাইন চতুর, হার্ড কনক্রিটের সমস্যা সমাধান করে ३. পর্যাপ্ত পরীক্ষা: একাধিক ডেটাসেট যাচাইকরণ, স্থানিক বিশ্লেষণ এবং সামঞ্জস্য পরীক্ষা অন্তর্ভুক্ত ४. উচ্চ ব্যবহারিক মূল্য: ট্রাফিক ব্যবস্থাপনা ইত্যাদি ক্ষেত্রে সরাসরি প্রয়োগ মূল্য রয়েছে

অপূর্ণতা

१. তাত্ত্বিক ভিত্তি: নোড প্রুনিং কেন সমস্যা ব্যাখ্যাযোগ্যতা প্রদান করে তার তাত্ত্বিক বিশ্লেষণ অনুপস্থিত २. মূল্যায়ন মান: ব্যাখ্যাযোগ্যতা মূল্যায়ন প্রধানত ভিজ্যুয়ালাইজেশন এবং পরিসংখ্যানগত বিশ্লেষণের উপর নির্ভর করে, পরিমাণগত সূচক অনুপস্থিত ३. তুলনা অপূর্ণ: অন্যান্য ব্যাখ্যাযোগ্যতা পদ্ধতির সাথে তুলনা সীমিত ४. প্যারামিটার সংবেদনশীলতা: হাইপারপ্যারামিটার γ এর প্রতি সংবেদনশীলতা বিশ্লেষণ অপর্যাপ্ত

প্রভাব

१. একাডেমিক অবদান: স্পেসিও-টেম্পোরাল সমস্যার ব্যাখ্যাযোগ্যতা গবেষণার জন্য নতুন দিকনির্দেশনা খোলে २. ব্যবহারিক মূল্য: স্মার্ট শহর, ট্রাফিক ব্যবস্থাপনা ইত্যাদি ক্ষেত্রে গুরুত্বপূর্ণ প্রয়োগ সম্ভাবনা রয়েছে ३. পদ্ধতিগত তাৎপর্য: মডেল ব্যাখ্যা থেকে সমস্যা ব্যাখ্যায় রূপান্তরের চিন্তাভাবনা অনুপ্রেরণাদায়ক

প্রযোজ্য পরিস্থিতি

१. ট্রাফিক পূর্বাভাস: মূল পর্যবেক্ষণ পয়েন্ট চিহ্নিত করা २. সেন্সর নেটওয়ার্ক অপ্টিমাইজেশন: সবচেয়ে গুরুত্বপূর্ণ সেন্সর অবস্থান নির্ধারণ করা ३. সম্পদ বরাদ্দ: গণনামূলক সম্পদ সীমিত হলে মডেল স্থাপনা ४. শহুরে পরিকল্পনা: ডেটা-চালিত অবকাঠামো পরিকল্পনা

তথ্যসূত্র

পেপারটি ৬১টি সম্পর্কিত তথ্যসূত্র উদ্ধৃত করে, যা ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তা, গ্রাফ নিউরাল নেটওয়ার্ক, স্পেসিও-টেম্পোরাল পূর্বাভাস ইত্যাদি একাধিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ অন্তর্ভুক্ত করে, গবেষণার জন্য দৃঢ় তাত্ত্বিক ভিত্তি প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি স্পেসিও-টেম্পোরাল পূর্বাভাস এবং ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তার ছেদ ক্ষেত্রে একটি উচ্চ মানের গবেষণা কাজ। যদিও তাত্ত্বিক বিশ্লেষণ এবং মূল্যায়ন মান দিকে উন্নতির অবকাশ রয়েছে, তবে এর উদ্ভাবনী সমস্যা-ভিত্তিক ব্যাখ্যাযোগ্যতা প্যারাডাইম এবং ব্যবহারিক প্রযুক্তিগত সমাধান এটিকে উল্লেখযোগ্য একাডেমিক এবং প্রয়োগ মূল্য প্রদান করে।