Lightweight and Interpretable Transformer via Mixed Graph Algorithm Unrolling for Traffic Forecast
Qi, Do, Liu et al.
Unlike conventional "black-box" transformers with classical self-attention mechanism, we build a lightweight and interpretable transformer-like neural net by unrolling a mixed-graph-based optimization algorithm to forecast traffic with spatial and temporal dimensions. We construct two graphs: an undirected graph $\mathcal{G}^u$ capturing spatial correlations across geography, and a directed graph $\mathcal{G}^d$ capturing sequential relationships over time. We predict future samples of signal $\mathbf{x}$, assuming it is "smooth" with respect to both $\mathcal{G}^u$ and $\mathcal{G}^d$, where we design new $\ell_2$ and $\ell_1$-norm variational terms to quantify and promote signal smoothness (low-frequency reconstruction) on a directed graph. We design an iterative algorithm based on alternating direction method of multipliers (ADMM), and unroll it into a feed-forward network for data-driven parameter learning. We insert graph learning modules for $\mathcal{G}^u$ and $\mathcal{G}^d$ that play the role of self-attention. Experiments show that our unrolled networks achieve competitive traffic forecast performance as state-of-the-art prediction schemes, while reducing parameter counts drastically. Our code is available in https://github.com/SingularityUndefined/Unrolling-GSP-STForecast .
academic
মিশ্র গ্রাফ অ্যালগরিদম আনরোলিং এর মাধ্যমে ট্রাফিক পূর্বাভাসের জন্য হালকা এবং ব্যাখ্যাযোগ্য ট্রান্সফর্মার
এই পেপারটি ট্রাফিক পূর্বাভাসের জন্য মিশ্র গ্রাফ অ্যালগরিদম আনরোলিং এর উপর ভিত্তি করে একটি হালকা ওজনের ব্যাখ্যাযোগ্য ট্রান্সফর্মার মডেল প্রস্তাব করে। ঐতিহ্যবাহী "ব্ল্যাক বক্স" ট্রান্সফর্মার এর বিপরীতে, এই পদ্ধতি মিশ্র গ্রাফ অপ্টিমাইজেশন অ্যালগরিদম আনরোল করে একটি ব্যাখ্যাযোগ্য ট্রান্সফর্মার-সদৃশ নিউরাল নেটওয়ার্ক তৈরি করে। মডেলটি দুটি গ্রাফ তৈরি করে: অনির্দেশিত গ্রাফ Gu ভৌগোলিক-স্থানিক সম্পর্ক ক্যাপচার করে এবং নির্দেশিত গ্রাফ Gd সময়ের সম্পর্ক ক্যাপচার করে। নতুন ℓ2 এবং ℓ1 নর্ম ভেরিয়েশনাল পদ পরিকল্পনা করে নির্দেশিত গ্রাফে সিগন্যাল মসৃণতা পরিমাপ এবং প্রচার করা হয়, এবং বিকল্প দিকনির্দেশনা গুণক পদ্ধতি (ADMM) এর উপর ভিত্তি করে একটি পুনরাবৃত্তিমূলক অ্যালগরিদম ডিজাইন করা হয়, যা ডেটা-চালিত পরামিতি শিক্ষার জন্য একটি ফিডফরওয়ার্ড নেটওয়ার্কে আনরোল করা হয়। পরীক্ষা-নিরীক্ষা দেখায় যে মডেলটি প্রতিযোগিতামূলক ট্রাফিক পূর্বাভাস কর্মক্ষমতা বজায় রেখে পরামিতির সংখ্যা উল্লেখযোগ্যভাবে হ্রাস করে।
প্রথমবারের জন্য মিশ্র গ্রাফ অ্যালগরিদম আনরোলিং প্রস্তাব: অনির্দেশিত গ্রাফ (স্থান) এবং নির্দেশিত গ্রাফ (সময়) একত্রিত করে জটিল স্থানকালীন সম্পর্ক মডেল করা
উদ্ভাবনী নির্দেশিত গ্রাফ নিয়মিতকরণ পদ: নির্দেশিত গ্রাফ লাপ্লাসিয়ান নিয়মিতকারী (DGLR) এবং নির্দেশিত গ্রাফ মোট ভেরিয়েশন (DGTV) ডিজাইন করা
হালকা ওজনের ব্যাখ্যাযোগ্য ট্রান্সফর্মার: ADMM অ্যালগরিদম আনরোলিং এর মাধ্যমে পরামিতি উল্লেখযোগ্যভাবে হ্রাস করা (শুধুমাত্র PDFormer এর 6.4%)
তাত্ত্বিক অবদান: প্রমাণ করা যে নির্দেশিত গ্রাফ ফ্রিকোয়েন্সি সংজ্ঞা ওজনহীন নির্দেশিত লাইন গ্রাফের ক্ষেত্রে ক্লাসিক্যাল ফুরিয়ার ফ্রিকোয়েন্সিতে হ্রাস পায়
N টি পর্যবেক্ষণ স্টেশনে অতীত T+1 সময়ের পর্যবেক্ষণ মূল্য দেওয়া হলে, ভবিষ্যতের S সময়ের ট্রাফিক অবস্থা পূর্বাভাস দিন। ইনপুট আংশিক পর্যবেক্ষিত স্থানকালীন সিগন্যাল y∈RM, আউটপুট সম্পূর্ণ স্থানকালীন সিগন্যাল x∈RN(T+S+1)।
পেপারটি একাধিক গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
ট্রান্সফর্মার মূল পেপার (Vaswani et al., 2017)
অ্যালগরিদম আনরোলিং সমীক্ষা (Monga et al., 2021)
গ্রাফ সিগন্যাল প্রক্রিয়াকরণ ভিত্তি (Ortega et al., 2018)
ট্রাফিক পূর্বাভাস সম্পর্কিত কাজ (Li et al., 2017; Yu et al., 2018)
সামগ্রিক মূল্যায়ন: এটি ট্রাফিক পূর্বাভাস ক্ষেত্রে উদ্ভাবনী একটি কাজ, যা সফলভাবে অ্যালগরিদম আনরোলিং ধারণা মিশ্র গ্রাফ সেটিংয়ে প্রসারিত করে, কর্মক্ষমতা বজায় রেখে পরামিতি পরিমাণ উল্লেখযোগ্যভাবে হ্রাস করে। যদিও কিছু মেট্রিক্সে এখনও উন্নতির অবকাশ রয়েছে, তবে এর হালকা ওজন এবং ব্যাখ্যাযোগ্যতার বৈশিষ্ট্য এটিকে গুরুত্বপূর্ণ ব্যবহারিক মূল্য এবং একাডেমিক তাৎপর্য প্রদান করে।