2025-11-14T19:31:12.107456

Integrating Structure-Aware Attention and Knowledge Graphs in Explainable Recommendation Systems

Lyu, Wang, Zhang et al.

This paper designs and implements an explainable recommendation model that integrates knowledge graphs with structure-aware attention mechanisms. The model is built on graph neural networks and incorporates a multi-hop neighbor aggregation strategy. By integrating the structural information of knowledge graphs and dynamically assigning importance to different neighbors through an attention mechanism, the model enhances its ability to capture implicit preference relationships. In the proposed method, users and items are embedded into a unified graph structure. Multi-level semantic paths are constructed based on entities and relations in the knowledge graph to extract richer contextual information. During the rating prediction phase, recommendations are generated through the interaction between user and target item representations. The model is optimized using a binary cross-entropy loss function. Experiments conducted on the Amazon Books dataset validate the superior performance of the proposed model across various evaluation metrics. The model also shows good convergence and stability. These results further demonstrate the effectiveness and practicality of structure-aware attention mechanisms in knowledge graph-enhanced recommendation.

academic

संरचना-जागरूक ध्यान और ज्ञान ग्राफ को व्याख्यात्मक सिफारिश प्रणालियों में एकीकृत करना

बुनियादी जानकारी

पेपर ID: 2510.10109
शीर्षक: संरचना-जागरूक ध्यान और ज्ञान ग्राफ को व्याख्यात्मक सिफारिश प्रणालियों में एकीकृत करना
लेखक: Shuangquan Lyu (कार्नेगी मेलन विश्वविद्यालय), Ming Wang (ट्राइन विश्वविद्यालय), Huajun Zhang (सिराक्यूज़ विश्वविद्यालय), Xiaoxuan Sun (स्वतंत्र शोधकर्ता), Junjiang Lin (टोरंटो विश्वविद्यालय), Jiasen Zheng (नॉर्थवेस्टर्न विश्वविद्यालय)
वर्गीकरण: cs.IR (सूचना पुनः प्राप्ति)
प्रकाशन समय/सम्मेलन: 2024 प्रीप्रिंट
पेपर लिंक: https://arxiv.org/abs/2510.10109

सारांश

यह पेपर एक व्याख्यात्मक सिफारिश मॉडल प्रस्तुत करता है जो ज्ञान ग्राफ को संरचना-जागरूक ध्यान तंत्र के साथ जोड़ता है। मॉडल ग्राफ न्यूरल नेटवर्क पर आधारित है और बहु-हॉप पड़ोसी एकत्रीकरण रणनीति का उपयोग करता है। ज्ञान ग्राफ की संरचनात्मक जानकारी को एकीकृत करके और ध्यान तंत्र के माध्यम से विभिन्न पड़ोसियों के महत्व को गतिशील रूप से आवंटित करके, यह मॉडल निहित वरीयता संबंधों को कैप्चर करने की क्षमता को बढ़ाता है। प्रस्तावित विधि में, उपयोगकर्ता और वस्तुओं को एक एकीकृत ग्राफ संरचना में एम्बेड किया जाता है, ज्ञान ग्राफ में संस्थाओं और संबंधों के आधार पर बहु-स्तरीय शब्दार्थ पथ बनाए जाते हैं ताकि अधिक समृद्ध संदर्भ जानकारी निकाली जा सके। रेटिंग भविष्यवाणी चरण में, उपयोगकर्ता और लक्ष्य वस्तु प्रतिनिधित्व के बीच इंटरैक्शन के माध्यम से सिफारिशें उत्पन्न की जाती हैं। मॉडल बाइनरी क्रॉस-एंट्रॉपी हानि फ़ंक्शन का उपयोग करके अनुकूलित किया जाता है। Amazon Books डेटासेट पर किए गए प्रयोग विभिन्न मूल्यांकन मेट्रिक्स पर प्रस्तावित मॉडल के उत्कृष्ट प्रदर्शन को सत्यापित करते हैं, और मॉडल अच्छी अभिसरण और स्थिरता प्रदर्शित करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या विवरण

सूचना विस्फोट के युग में, उपयोगकर्ता अभूतपूर्व सूचना अधिभार की समस्या का सामना करते हैं। सहयोगी फ़िल्टरिंग और सामग्री-आधारित विधियों जैसी पारंपरिक सिफारिश विधियां विरलता, उच्च आयामीता और कोल्ड-स्टार्ट समस्याओं को संभालने में महत्वपूर्ण सीमाएं हैं।

अनुसंधान का महत्व

सिफारिश प्रणालियां ई-कॉमर्स प्लेटफॉर्म, वीडियो प्लेटफॉर्म और सोशल मीडिया में महत्वपूर्ण भूमिका निभाती हैं। गहन शिक्षा और बड़े भाषा मॉडल के तीव्र विकास के साथ, सिफारिश प्रणालियां अधिक बुद्धिमान और जटिल आर्किटेक्चर की ओर विकसित हो रही हैं। सिफारिश प्रदर्शन को बढ़ाने के लिए बाहरी ज्ञान को एकीकृत करना मुख्य अनुसंधान फोकस बन गया है।

मौजूदा विधियों की सीमाएं

ज्ञान ग्राफ एकीकरण अपर्याप्त: केवल ज्ञान ग्राफ को एकीकृत करना सिफारिश प्रणालियों में इसकी क्षमता को पूरी तरह से जारी करने के लिए पर्याप्त नहीं है
संबंध महत्व विभेद अपर्याप्त: सभी कनेक्शन सिफारिश प्रक्रिया में समान योगदान नहीं देते हैं; कुछ संबद्ध पथ अन्य की तुलना में अधिक अर्थपूर्ण जानकारी ले जाते हैं
व्याख्यात्मकता की कमी: उपयोगकर्ताओं को न केवल उच्च गुणवत्ता की सिफारिशों की आवश्यकता है, बल्कि पारदर्शिता और सिफारिश कारणों की व्याख्या की भी आवश्यकता है

अनुसंधान प्रेरणा

ज्ञान ग्राफ और संरचना-जागरूक ध्यान तंत्र को जोड़ने वाले एक व्याख्यात्मक सिफारिश मॉडल को डिजाइन करना व्यावहारिक आवश्यकता और सिफारिश प्रणालियों के बुद्धिमान विकास का एक प्राकृतिक कदम दोनों है। यह अनुसंधान अधिक व्यापक, कुशल और विश्वसनीय सिफारिश प्रणालियों के विकास में सहायता करता है।

मुख्य योगदान

नई व्याख्यात्मक सिफारिश आर्किटेक्चर प्रस्तावित की: पहली बार संरचना-जागरूक ध्यान तंत्र को ज्ञान ग्राफ के साथ गहराई से एकीकृत किया, सटीकता और व्याख्यात्मकता दोनों में सुधार प्राप्त किया
बहु-हॉप पड़ोसी एकत्रीकरण रणनीति डिजाइन की: गतिशील महत्व आवंटन के माध्यम से, ज्ञान ग्राफ में उच्च-मूल्य संबंध पथों को प्रभावी ढंग से कैप्चर किया
अंत-से-अंत अनुकूलन ढांचा लागू किया: एकीकृत उपयोगकर्ता-वस्तु ग्राफ संरचना का निर्माण किया, बहु-स्तरीय शब्दार्थ पथ निर्माण और संदर्भ जानकारी निष्कर्षण का समर्थन किया
विधि की प्रभावशीलता सत्यापित की: Amazon Books डेटासेट पर उल्लेखनीय प्रदर्शन सुधार प्राप्त किए, सभी मूल्यांकन मेट्रिक्स पर मौजूदा बेसलाइन विधियों को पार किया

विधि विवरण

कार्य परिभाषा

उपयोगकर्ता सेट U, वस्तु सेट I, ज्ञान ग्राफ में संस्था सेट E और संबंध सेट R दिए गए हैं, लक्ष्य उपयोगकर्ता u द्वारा वस्तु i के लिए वरीयता रेटिंग की भविष्यवाणी करना और व्याख्यात्मक सिफारिश पथ प्रदान करना है। प्रत्येक ट्रिपल को (h,r,t) ∈ E×R×E के रूप में दर्शाया जाता है, जहां h हेड संस्था को दर्शाता है, r संबंध प्रकार को दर्शाता है, और t टेल संस्था को दर्शाता है।

मॉडल आर्किटेक्चर

1. ग्राफ संरचना निर्माण

उपयोगकर्ताओं और वस्तुओं को ग्राफ संरचना में नोड्स में मैप किया जाता है
विभिन्न सहायक संस्थाओं (श्रेणियां, विशेषताएं, ब्रांड आदि) को ज्ञान ग्राफ के माध्यम से जोड़ा जाता है
समृद्ध शब्दार्थ संबद्धता बनाने के लिए बहु-हॉप पड़ोसी जानकारी का निर्माण किया जाता है

2. संरचना-जागरूक ध्यान तंत्र

नोड i के पड़ोसी नोड सेट N(i) के लिए, प्रत्येक पड़ोसी नोड j∈N(i) के लिए ध्यान भार α_ij की गणना करें:

α_ij = exp(LeakyRELU(a^T[Wh_i||Wh_j])) / Σ_{k∈N(i)} exp(LeakyRELU(a^T[Wh_i||Wh_k]))

जहां:

h_i नोड i का प्रारंभिक एम्बेडिंग प्रतिनिधित्व है
W एक सीखने योग्य भार मैट्रिक्स है
a ध्यान वेक्टर है
|| वेक्टर संयोजन संचालन है

3. सूचना एकत्रीकरण और प्रतिनिधित्व शिक्षा

ध्यान भार के माध्यम से पड़ोसी जानकारी को एकत्रित करके, उपयोगकर्ता और वस्तु का संयुक्त एम्बेडिंग प्रतिनिधित्व बनाया जाता है। उपयोगकर्ता u और वस्तु i का प्रतिनिधित्व क्रमशः e_u और e_i है, अंतिम स्कोरिंग फ़ंक्शन आंतरिक उत्पाद रूप अपनाता है:

y_ui = e_u^T · e_i

4. हानि फ़ंक्शन डिजाइन

प्रशिक्षण के लिए बाइनरी क्रॉस-एंट्रॉपी हानि का उपयोग किया जाता है:

L = -Σ_{(u,i)∈D} [y_ui log y'_ui + (1-y_ui) log(1-y'_ui)]

जहां D प्रशिक्षण डेटासेट को दर्शाता है, y_ui ∈ {0,1} यह है कि उपयोगकर्ता u वस्तु i के साथ इंटरैक्ट करता है या नहीं का लेबल मान है।

तकनीकी नवाचार बिंदु

गतिशील महत्व आवंटन: संरचना-जागरूक ध्यान तंत्र के माध्यम से स्वचालित रूप से सीखा जाता है कि विभिन्न पड़ोसी केंद्रीय नोड को कितना प्रभावित करते हैं
बहु-स्तरीय शब्दार्थ पथ: ज्ञान ग्राफ के आधार पर उपयोगकर्ता और लक्ष्य वस्तु को जोड़ने वाले बहु-स्तरीय शब्दार्थ पथ बनाए जाते हैं
अंत-से-अंत व्याख्यात्मकता: न केवल सिफारिश सटीकता में सुधार करता है, बल्कि अनुरेखक पथ आधार के माध्यम से सिफारिश व्याख्या भी प्रदान करता है

प्रयोग सेटअप

डेटासेट

Amazon Books डेटासेट को प्रयोग के आधार के रूप में उपयोग किया जाता है:

डेटा स्रोत: वास्तविक ऑनलाइन ई-कॉमर्स प्लेटफॉर्म उपयोगकर्ता इंटरैक्शन रिकॉर्ड
डेटा सामग्री: रेटिंग, समीक्षा टाइमस्टैम्प और उत्पाद मेटाडेटा शामिल हैं
ज्ञान ग्राफ जानकारी: उत्पाद श्रेणियां, ब्रांड, लेखक आदि संस्थाएं और संबंध
पूर्व-प्रसंस्करण: विषम रिकॉर्ड और कम-आवृत्ति संस्थाओं को हटाया जाता है, केवल 4 स्टार और उससे अधिक सकारात्मक प्रतिक्रिया नमूने रखे जाते हैं

मूल्यांकन मेट्रिक्स

Precision@10: शीर्ष 10 सिफारिशों में प्रासंगिक वस्तुओं का अनुपात
Recall@10: शीर्ष 10 सिफारिशों में प्रासंगिक वस्तुओं का अनुपात कुल प्रासंगिक वस्तुओं के प्रति
NDCG@10: रैंकिंग स्थिति पर विचार करते हुए सामान्यीकृत छूट संचयी लाभ
MAP: औसत सटीकता माध्य

तुलना विधियां

SGCN-SRec: भावना-आधारित ग्राफ कनवोल्यूशन न्यूरल नेटवर्क सामाजिक सिफारिश
SA-MPF: स्थिति-जागरूक मास्क भविष्यवाणी ढांचा
Csrec: कारणात्मक दृष्टिकोण से अनुक्रमिक सिफारिश
DNS-Rec: डेटा-जागरूक तंत्रिका आर्किटेक्चर खोज सिफारिश
SAQ-Rec: प्रश्नावली प्रतिक्रिया-आधारित उपयोगकर्ता संतुष्टि संरेखण सिफारिश
Sim-Rec: वस्तु समानता एकीकृत कोल्ड-स्टार्ट अनुक्रमिक सिफारिश
Linrec: दीर्घकालीन अनुक्रमिक सिफारिश के लिए रैखिक ध्यान तंत्र

कार्यान्वयन विवरण

सीखने की दर सीमा: 0.001-0.004
प्रशिक्षण राउंड: 100+ epochs
अनुकूलन एल्गोरिथ्म: बाइनरी क्रॉस-एंट्रॉपी हानि के साथ ग्रेडिएंट डिसेंट का उपयोग

प्रयोग परिणाम

मुख्य परिणाम

विधि	Precision@10	Recall@10	NDCG@10	MAP
SGCN-SRec	0.284	0.395	0.362	0.219
SA-MPF	0.301	0.411	0.374	0.231
Csrec	0.292	0.403	0.368	0.225
DNS-Rec	0.307	0.417	0.381	0.239
SAQ-Rec	0.315	0.426	0.388	0.247
Sim-Rec	0.298	0.407	0.370	0.228
Linrec	0.293	0.382	0.347	0.207
हमारी विधि	0.332	0.443	0.403	0.261

मुख्य निष्कर्ष:

सभी मूल्यांकन मेट्रिक्स पर सर्वोत्तम प्रदर्शन प्राप्त किया
Precision@10 0.332 तक पहुंचा, Recall@10 0.443 तक पहुंचा, बेसलाइन विधियों को महत्वपूर्ण रूप से पार किया
NDCG@10 0.403 है, MAP 0.261 है, उत्कृष्ट रैंकिंग गुणवत्ता प्रदर्शित करता है

हाइपरपैरामीटर संवेदनशीलता विश्लेषण

सीखने की दर	Precision@10	Recall@10	NDCG@10	MAP
0.004	0.301	0.418	0.376	0.234
0.003	0.319	0.434	0.392	0.249
0.002	0.327	0.440	0.399	0.256
0.001	0.332	0.443	0.403	0.261

विश्लेषण परिणाम:

सीखने की दर मॉडल प्रदर्शन पर महत्वपूर्ण प्रभाव डालती है
उच्च सीखने की दर (0.004) प्रशिक्षण अस्थिरता का कारण बनती है
सर्वोत्तम सीखने की दर 0.001 है, इस बिंदु पर मॉडल सर्वोत्तम प्रदर्शन प्राप्त करता है

अभिसरण विश्लेषण

हानि फ़ंक्शन ड्रॉप ग्राफ के अनुसार:

प्रशिक्षण के पहले 50 राउंड में हानि तेजी से घटती है, मॉडल तेजी से बुनियादी विशेषताओं को कैप्चर करता है
बाद के प्रशिक्षण में हानि वक्र धीरे-धीरे समतल हो जाता है, उतार-चढ़ाव का आयाम महत्वपूर्ण रूप से कम हो जाता है
प्रशिक्षण हानि और सत्यापन हानि के बीच का अंतर कम हो जाता है और स्थिर रहता है, जो अच्छी अभिसरण और अतिफिटिंग की कमी को दर्शाता है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

संरचना-जागरूक ध्यान तंत्र ज्ञान ग्राफ में उच्च-मूल्य संबंधों को प्रभावी ढंग से पहचान सकता है
बहु-हॉप पड़ोसी एकत्रीकरण रणनीति शब्दार्थ जानकारी कैप्चर क्षमता में महत्वपूर्ण रूप से सुधार करती है
प्रस्तावित विधि सटीकता और व्याख्यात्मकता दोनों पहलुओं में उल्लेखनीय सुधार प्राप्त करती है
मॉडल अच्छी अभिसरण और सामान्यीकरण क्षमता प्रदर्शित करता है

सीमाएं

कम्प्यूटेशनल जटिलता: बहु-हॉप पड़ोसी एकत्रीकरण और ध्यान गणना मॉडल जटिलता को बढ़ाती है
डेटा निर्भरता: मॉडल प्रदर्शन ज्ञान ग्राफ की गुणवत्ता और पूर्णता पर निर्भर है
स्केलेबिलिटी: बड़े पैमाने पर ग्राफ संरचना पर विस्तार की क्षमता को आगे सत्यापन की आवश्यकता है
गतिशील अनुकूलन: गतिशील रूप से बदलती उपयोगकर्ता वरीयताओं के अनुकूल होने की क्षमता सीमित है

भविष्य की दिशाएं

गतिशील ग्राफ मॉडलिंग: संरचना विकास का उपयोगकर्ता रुचि मॉडलिंग पर प्रभाव की खोज
कारणात्मक अनुमान एकीकरण: कारणात्मक अनुमान तंत्र को जोड़कर सिफारिश रणनीति की अनुकूलन क्षमता में सुधार
सुदृढ़ शिक्षा संलयन: बहु-उद्देश्य परिदृश्यों में सिफारिश रणनीति की आत्म-अनुकूलन क्षमता में सुधार
क्रॉस-डोमेन स्थानांतरण: विभिन्न डोमेन के बीच मॉडल स्थानांतरण क्षमता का अनुसंधान

गहन मूल्यांकन

शक्तियां

तकनीकी नवाचार मजबूत: संरचना-जागरूक ध्यान और ज्ञान ग्राफ का गहरा एकीकरण नवीन है
प्रयोग डिजाइन व्यापक: व्यापक तुलनात्मक प्रयोग, हाइपरपैरामीटर विश्लेषण और अभिसरण सत्यापन शामिल है
प्रदर्शन सुधार उल्लेखनीय: सभी मूल्यांकन मेट्रिक्स पर स्पष्ट सुधार प्राप्त किया
व्यावहारिक मूल्य उच्च: ई-कॉमर्स, सोशल मीडिया आदि कई सिफारिश परिदृश्यों में लागू किया जा सकता है
व्याख्यात्मकता मजबूत: शब्दार्थ पथ के माध्यम से सिफारिश व्याख्या प्रदान करता है, उपयोगकर्ता विश्वास बढ़ाता है

कमियां

कम्प्यूटेशनल ओवरहेड विश्लेषण अपर्याप्त: विस्तृत समय जटिलता और स्पेस जटिलता विश्लेषण की कमी
डेटासेट एकल: केवल Amazon Books डेटासेट पर सत्यापित, सामान्यीकरण क्षमता को आगे प्रमाण की आवश्यकता है
विलोपन प्रयोग अनुपस्थित: विभिन्न घटकों के विशिष्ट योगदान का विश्लेषण करने के लिए विस्तृत विलोपन प्रयोग प्रदान नहीं किए गए
व्याख्यात्मकता मूल्यांकन: उत्पन्न व्याख्याओं की गुणवत्ता का मात्रात्मक मूल्यांकन की कमी
तुलना विधि चयन: कुछ बेसलाइन विधियां अपेक्षाकृत पुरानी हैं, नवीनतम SOTA विधि तुलना की कमी

प्रभाव

शैक्षणिक योगदान: ज्ञान ग्राफ-वर्धित सिफारिश के लिए नया तकनीकी पथ प्रदान करता है
व्यावहारिक मूल्य: विधि में अच्छी इंजीनियरिंग कार्यान्वयन व्यवहार्यता है
प्रेरणा महत्व: सिफारिश प्रणालियों में संरचना-जागरूक ध्यान के अनुप्रयोग के लिए उदाहरण प्रदान करता है
विकास संभावना: भविष्य के व्याख्यात्मक सिफारिश अनुसंधान के लिए आधार स्थापित करता है

लागू परिदृश्य

ई-कॉमर्स सिफारिश: उत्पाद सिफारिश में श्रेणी, ब्रांड आदि संरचित जानकारी समृद्ध है
सामग्री सिफारिश: समाचार, वीडियो आदि सामग्री के विषय, लेखक संबंध मॉडलिंग
सामाजिक सिफारिश: उपयोगकर्ता सामाजिक नेटवर्क और रुचि ग्राफ का संयुक्त मॉडलिंग
ज्ञान-गहन सिफारिश: शैक्षणिक पेपर, पेशेवर दस्तावेज आदि जिन्हें गहन शब्दार्थ समझ की आवश्यकता है

संदर्भ

पेपर ने 31 संबंधित संदर्भों का हवाला दिया है, जो सिफारिश प्रणालियों, ग्राफ न्यूरल नेटवर्क, ज्ञान ग्राफ, ध्यान तंत्र आदि कई क्षेत्रों के महत्वपूर्ण कार्यों को शामिल करते हैं, जो अनुसंधान के लिए ठोस सैद्धांतिक आधार और तकनीकी समर्थन प्रदान करते हैं।

समग्र मूल्यांकन: यह पेपर तकनीकी नवाचार और प्रयोग सत्यापन के पहलुओं में उत्कृष्ट प्रदर्शन करता है, व्याख्यात्मक सिफारिश प्रणालियों के विकास में मूल्यवान योगदान देता है। हालांकि कुछ सीमाएं हैं, लेकिन इसके मुख्य विचार और तकनीकी विधि में महत्वपूर्ण शैक्षणिक मूल्य और व्यावहारिक महत्व है, जो आगे के गहन अनुसंधान और अनुप्रयोग प्रचार के योग्य है।