2025-11-23T00:10:15.831186

Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation

Li, Yang, Zhu

Sequential recommendation aims to predict the next item based on user interests in historical interaction sequences. Historical interaction sequences often contain irrelevant noisy items, which significantly hinders the performance of recommendation systems. Existing research employs unsupervised methods that indirectly identify item-granularity irrelevant noise by predicting the ground truth item. Since these methods lack explicit noise labels, they are prone to misidentify users' interested items as noise. Additionally, while these methods focus on removing item-granularity noise driven by the ground truth item, they overlook interest-granularity noise, limiting their ability to perform broader denoising based on user interests. To address these issues, we propose Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation(MGSD-WSS). MGSD-WSS first introduces the Multiple Gaussian Kernel Perceptron module to map the original and enhance sequence into a common representation space and utilizes weakly supervised signals to accurately identify noisy items in the historical interaction sequence. Subsequently, it employs the item-granularity denoising module with noise-weighted contrastive learning to obtain denoised item representations. Then, it extracts target interest representations from the ground truth item and applies noise-weighted contrastive learning to obtain denoised interest representations. Finally, based on the denoised item and interest representations, MGSD-WSS predicts the next item. Extensive experiments on five datasets demonstrate that the proposed method significantly outperforms state-of-the-art sequence recommendation and denoising models. Our code is available at https://github.com/lalunex/MGSD-WSS.

academic

बहु-दानेदारी अनुक्रम विघटन कमजोर पर्यवेक्षित संकेत के साथ अनुक्रमिक सिफारिश के लिए

बुनियादी जानकारी

पेपर ID: 2510.10564
शीर्षक: Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation
लेखक: Liang Li (चोंगकिंग प्रौद्योगिकी विश्वविद्यालय), Zhou Yang (फ़ुज़ौ विश्वविद्यालय), Xiaofei Zhu (चोंगकिंग प्रौद्योगिकी विश्वविद्यालय)
वर्गीकरण: cs.IR (सूचना पुनः प्राप्ति)
प्रकाशन समय: 12 अक्टूबर 2025 (arXiv प्रीप्रिंट)
पेपर लिंक: https://arxiv.org/abs/2510.10564
कोड लिंक: https://github.com/lalunex/MGSD-WSS

सारांश

अनुक्रमिक सिफारिश का उद्देश्य उपयोगकर्ता के ऐतिहासिक इंटरैक्शन अनुक्रम में रुचि के आधार पर अगली वस्तु की भविष्यवाणी करना है। ऐतिहासिक इंटरैक्शन अनुक्रम में आमतौर पर अप्रासंगिक शोर वस्तुएं होती हैं, जो सिफारिश प्रणाली के प्रदर्शन को महत्वपूर्ण रूप से बाधित करती हैं। मौजूदा अनुसंधान वास्तविक वस्तुओं की भविष्यवाणी करके वस्तु-दानेदारी के अप्रासंगिक शोर को अप्रत्यक्ष रूप से पहचानने के लिए अनुपर्यवेक्षित विधियों का उपयोग करता है। चूंकि इन विधियों में स्पष्ट शोर लेबल नहीं हैं, वे उपयोगकर्ता द्वारा रुचि रखने वाली वस्तुओं को गलती से शोर के रूप में पहचान सकते हैं। इसके अलावा, ये विधियां वास्तविक वस्तुओं द्वारा संचालित वस्तु-दानेदारी शोर को हटाने पर ध्यान केंद्रित करती हैं, लेकिन रुचि-दानेदारी शोर को नजरअंदाज करती हैं, जो उपयोगकर्ता की रुचि के आधार पर व्यापक विघटन की क्षमता को सीमित करती हैं। इन समस्याओं को हल करने के लिए, यह पेपर कमजोर पर्यवेक्षित संकेत (MGSD-WSS) के साथ बहु-दानेदारी अनुक्रम विघटन के लिए एक अनुक्रमिक सिफारिश विधि प्रस्तावित करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

अनुक्रमिक सिफारिश प्रणाली का मुख्य समस्या यह है कि ऐतिहासिक इंटरैक्शन अनुक्रम में शोर वस्तुएं मौजूद हैं, जैसे अनपेक्षित क्लिक और दुर्भावनापूर्ण नकली इंटरैक्शन, जो सिफारिश प्रणाली के प्रदर्शन को महत्वपूर्ण रूप से कम करते हैं।

मौजूदा विधियों की सीमाएं

नरम विघटन विधियां: ध्यान तंत्र या फ़िल्टरिंग एल्गोरिदम के माध्यम से शोर वस्तुओं के वजन को समायोजित करते हैं, लेकिन शोर प्रभाव को पूरी तरह से समाप्त नहीं कर सकते
कठोर विघटन विधियां: शोर वस्तुओं को स्पष्ट रूप से हटाने के लिए शोर पहचान संकेत उत्पन्न करते हैं, लेकिन निम्नलिखित समस्याएं हैं:
- वास्तविक शोर लेबल के बजाय वास्तविक वस्तुओं का उपयोग करके मॉडल को शोर पहचानने के लिए निर्देशित करते हैं, सटीकता सीमित है
- केवल वस्तु-दानेदारी विघटन पर ध्यान केंद्रित करते हैं, रुचि-दानेदारी शोर को नजरअंदाज करते हैं

अनुसंधान प्रेरणा

स्पष्ट शोर लेबल की कमी मौजूदा अनुपर्यवेक्षित विधियों को उपयोगकर्ता द्वारा रुचि रखने वाली वस्तुओं को गलती से पहचानने के लिए प्रेरित करती है
उपयोगकर्ता इंटरैक्शन न केवल विशिष्ट वस्तु वरीयताओं को प्रतिबिंबित करते हैं, बल्कि उच्च-स्तरीय रुचियों को भी व्यक्त करते हैं (जैसे "खेल" रुचि में फुटबॉल, खेल जूते, ट्रेडमिल आदि शामिल हैं)
अधिक व्यापक रूप से शोर को हटाने के लिए कई दानेदारी पर स्तरीय विघटन की आवश्यकता है

मुख्य योगदान

पहली बार कमजोर पर्यवेक्षित संकेत का परिचय: शोर पहचान के लिए मॉडल को प्रशिक्षित करने के लिए चिह्नित कमजोर पर्यवेक्षित संकेत का उपयोग करके, पिछली अनुपर्यवेक्षित विधियों की अशुद्धि को दूर करता है
बहु-दानेदारी स्तरीय विघटन: वस्तु-दानेदारी और रुचि-दानेदारी स्तरीय विघटन मॉड्यूल प्रस्तावित करता है, शोर-भारित विपरीत सीखने के साथ
नवीन आर्किटेक्चर डिजाइन:
- Multiple Gaussian Kernel Perceptron (MGP) मॉड्यूल
- Target-aware Sequence Encoding
- शोर-भारित विपरीत सीखने की रूपरेखा
महत्वपूर्ण प्रदर्शन सुधार: पांच डेटासेट पर अत्याधुनिक अनुक्रमिक सिफारिश और विघटन मॉडल से महत्वपूर्ण रूप से बेहतर

विधि विवरण

कार्य परिभाषा

उपयोगकर्ता सेट $\mathcal{U} = \{u_1, u_2, \ldots, u_{|\mathcal{U}|}\}$ और वस्तु सेट $\mathcal{V} = \{v_1, v_2, \ldots, v_{|\mathcal{V}|}\}$ दिया गया है, प्रत्येक उपयोगकर्ता $u \in \mathcal{U}$ एक समय-क्रमबद्ध ऐतिहासिक इंटरैक्शन अनुक्रम $S = [s_1, s_2, \ldots, s_n]$ से जुड़ा है। लक्ष्य इंटरैक्शन अनुक्रम $S$ का उपयोग करके उपयोगकर्ता द्वारा $(n+1)$ चरण पर सबसे संभावित रूप से इंटरैक्ट करने वाली वस्तु की भविष्यवाणी करना है, अर्थात् $p(s_{n+1}|s_{1:n})$ ।

मॉडल आर्किटेक्चर

MGSD-WSS में तीन मुख्य घटक हैं:

1. Target-aware Sequence Encoding

अनुक्रम डेटा वृद्धि:

मूल अनुक्रम में शोर के रूप में $t$ विभिन्न वस्तुओं को यादृच्छिक रूप से चुनें
वृद्धि अनुक्रम $\bar{S} = [\bar{s}_1, \bar{s}_2, \ldots, \bar{s}_{n+t}]$ का निर्माण करें
पर्यवेक्षण संकेत $\bar{Y} = [\bar{y}_1, \bar{y}_2, \ldots, \bar{y}_{n+t}]$ प्राप्त करें जो शोर स्थान को चिह्नित करता है

Multiple Gaussian Kernel Perceptron (MGP):

लक्ष्य वस्तु और अनुक्रम में प्रत्येक वस्तु के बीच कोसाइन समानता की गणना करें: $\bar{\alpha}_i = \cos(\bar{h}_{n+1}, \bar{h}_i)$
$k$ गॉसियन कर्नल का उपयोग करके प्रासंगिकता स्कोर को रूपांतरित करें: $r_{ij} = \exp\left(-\frac{(\bar{\alpha}_i - \mu_j)^2}{2\sigma_j^2}\right)$ $\hat{h}_i = \sum_{j=1}^k r_{ij} \bar{h}_i$
Transformer एन्कोडर के माध्यम से समृद्ध प्रतिनिधित्व प्राप्त करें: $G = \text{Transformer}(\hat{H} + P)$

2. Auxiliary Noise Discrimination

वृद्धि अनुक्रम में शोर वस्तुओं का पता लगाने के लिए साझा वस्तु-स्तरीय शोर विभेदक का उपयोग करें: $\boldsymbol{\beta}_i = \text{Softmax}((\text{ReLU}(\bar{g}_i W_1 + b_1))W_2)$

MSE हानि के माध्यम से शोर पहचान संकेत और पर्यवेक्षण संकेत के बीच अंतर को कम करें: $MSE = \frac{1}{n}\sum_{i=1}^n (\beta_i^0 - \bar{y}_i)^2$

3. Multi-granularity Sequence Denoising

वस्तु-दानेदारी विघटन:

शोर पहचान संकेत को बाइनरी कठोर मान में परिवर्तित करने के लिए Gumbel-softmax का उपयोग करें
विघटन प्रतिनिधित्व मैट्रिक्स का निर्माण करने के लिए शोर वस्तुओं को फ़िल्टर करें
शोर-भारित विपरीत सीखना लागू करें: $ITSCL = -\frac{1}{|G^+|}\sum_{g_i \in G^+} \log \frac{\omega(g_i) \cdot \exp(\text{sim}(e_{se}, g_i)/\tau)}{\sum_{g_j \in G} \omega(g_j) \cdot \exp(\text{sim}(e_{se}, g_j)/\tau)}$

रुचि-दानेदारी विघटन:

सीखने योग्य रुचि प्रतिनिधित्व मैट्रिक्स $Q = [q_1, q_2, \ldots, q_m]$ का परिचय दें
वस्तु और रुचि के बीच प्रासंगिकता स्कोर की गणना करें
रुचि विश्वसनीयता का मूल्यांकन करने के लिए लक्ष्य-जागरूक रुचि ध्यान का उपयोग करें
रुचि-दानेदारी शोर-भारित विपरीत सीखना लागू करें

तकनीकी नवाचार बिंदु

कमजोर पर्यवेक्षित संकेत उत्पादन: डेटा वृद्धि रणनीति के माध्यम से स्पष्ट शोर लेबल उत्पन्न करें, सटीक पर्यवेक्षण संकेत प्रदान करें
बहु-दानेदारी विघटन: वस्तु और रुचि दोनों दानेदारी पर एक साथ विघटन करें, अनुक्रम शोर को अधिक व्यापक रूप से संभालें
शोर-भारित विपरीत सीखना: शोर की डिग्री के अनुसार नमूनों को वजन आवंटित करें, पारंपरिक समान-वजन विपरीत सीखने से बेहतर
गॉसियन कर्नल सेंसर: विभिन्न समानता क्षेत्रों की जानकारी को कैप्चर करें, अनुक्रम प्रतिनिधित्व को बढ़ाएं

प्रायोगिक सेटअप

डेटासेट

पांच सार्वजनिक बेंचमार्क डेटासेट का उपयोग करें:

डेटासेट	अनुक्रम संख्या	उपयोगकर्ता संख्या	वस्तु संख्या	औसत लंबाई	विरलता
ML-100k	99,287	944	1,350	105.29	92.21%
Beauty	198,502	22,364	12,102	8.88	99.93%
Sports	296,337	35,599	18,358	8.32	99.95%
Yelp	316,354	30,432	20,034	10.40	99.95%
ML-1M	999,611	6,041	3,417	165.50	95.16%

मूल्यांकन मेट्रिक्स

Hit Ratio (HR@{5, 10, 20})
Normalized Discounted Cumulative Gain (NDCG@{5, 10, 20})
Mean Reciprocal Rank (MRR@20)

तुलना विधियां

अनुक्रमिक सिफारिश आधारभूत:

GRU4Rec, NARM, STAMP, CASER, SASRec, BERT4Rec

विघटन आधारभूत:

DSAN, FMLP-Rec, HSD+BERT4Rec, AC-BERT4Rec, MSDCCL+BERT4Rec

कार्यान्वयन विवरण

एम्बेडिंग आयाम: 100
बैच आकार: 256
सीखने की दर: 10^-3
गॉसियन कर्नल संख्या: 10
तापमान पैरामीटर: τ = 0.5

प्रायोगिक परिणाम

मुख्य परिणाम

अनुक्रमिक सिफारिश आधारभूत के साथ तुलना: MGSD-WSS विभिन्न मुख्यधारा के अनुक्रमिक सिफारिश मॉडल के साथ संयुक्त होने के बाद, सभी डेटासेट पर महत्वपूर्ण प्रदर्शन सुधार प्राप्त करता है। ML-100k डेटासेट पर, MGSD-WSS+BERT4Rec मूल BERT4Rec की तुलना में HR@20, NDCG@20 और MRR@20 पर क्रमशः 167.43%, 195.87% और 235.67% सुधार करता है।

विघटन आधारभूत के साथ तुलना: अधिकांश मेट्रिक्स पर, MGSD-WSS+BERT4Rec अन्य विघटन आधारभूत से बेहतर है, विशेष रूप से ML-100k और ML-1M डेटासेट पर। ML-1M डेटासेट पर, सबसे मजबूत आधारभूत MSDCCL+BERT4Rec की तुलना में, सभी मेट्रिक्स में सुधार 30.80%-60.94% है।

विघटन प्रयोग

प्रत्येक मॉड्यूल को हटाने के बाद प्रदर्शन में कमी विश्लेषण:

w/o AND (सहायक शोर विभेदक के बिना): सबसे बड़ी प्रदर्शन कमी, कमजोर पर्यवेक्षित संकेत की महत्ता को साबित करता है
w/o InSD (रुचि-दानेदारी विघटन के बिना): Beauty, Sports, ML-1M डेटासेट पर महत्वपूर्ण प्रभाव
w/o ItSD (वस्तु-दानेदारी विघटन के बिना): ML-100k और Yelp डेटासेट पर सबसे बड़ा प्रभाव
w/o MGP (बहु-गॉसियन कर्नल सेंसर के बिना): प्रदर्शन में कमी, इस मॉड्यूल की प्रभावशीलता को सत्यापित करता है

शोर-भारित विपरीत सीखना विश्लेषण

पारंपरिक विपरीत सीखने की तुलना में, शोर-भारित विपरीत सीखना ML-100k डेटासेट पर HR@20, NDCG@20 और MRR@20 को क्रमशः 12.59%, 10.63% और 9.48% सुधारता है, सटीक वजन आवंटन की प्रभावशीलता को साबित करता है।

पैरामीटर संवेदनशीलता विश्लेषण

शोर वस्तु संख्या $t$ :

उपयुक्त शोर वस्तु संख्या मॉडल को वास्तविक वरीयता और शोर को अलग करना सीखने में मदद करती है
अत्यधिक शोर सूचना संकेत को पतला करता है, प्रदर्शन में कमी का कारण बनता है

उपयोगकर्ता रुचि संख्या $m$ :

$m=5$ पर सर्वोत्तम प्रदर्शन प्राप्त करता है
अत्यधिक रुचि अप्रासंगिक जानकारी का परिचय दे सकती है, प्रदर्शन को कम कर सकती है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

कमजोर पर्यवेक्षित संकेत शोर पहचान सटीकता को महत्वपूर्ण रूप से सुधारता है
बहु-दानेदारी विघटन एकल वस्तु-दानेदारी विघटन से अधिक प्रभावी है
शोर-भारित विपरीत सीखना पारंपरिक विपरीत सीखने से बेहतर है
मॉडल विभिन्न अनुक्रम लंबाई के तहत मजबूतता बनाए रखता है

सीमाएं

छोटे अनुक्रम डेटासेट (Beauty, Sports, Yelp) पर कुछ मेट्रिक्स का प्रदर्शन आदर्श नहीं है
शोर का परिचय छोटे अनुक्रम के लिए सूचना प्रदूषण का कारण बन सकता है
उपयोगकर्ता रुचि संख्या जैसे हाइपरपैरामीटर को पहले से सेट करने की आवश्यकता है

भविष्य की दिशा

विभिन्न गॉसियन कर्नल सेटिंग के प्रभाव का अनुसंधान करें
प्रतिकूल या अनुमानी शोर उत्पादन रणनीति का अन्वेषण करें
रुचि कॉन्फ़िगरेशन के लिए सैद्धांतिक या डेटा-संचालित तर्कसंगतता विश्लेषण प्रदान करें

गहन मूल्यांकन

लाभ

मजबूत नवाचार: अनुक्रमिक सिफारिश में कमजोर पर्यवेक्षित विघटन का पहली बार अनुप्रयोग, बहु-दानेदारी विघटन रूपरेखा प्रस्तावित करता है
पूर्ण विधि: शोर पहचान से बहु-दानेदारी विघटन तक संपूर्ण समाधान
पर्याप्त प्रयोग: पांच डेटासेट, कई आधारभूत, विस्तृत विघटन प्रयोग और पैरामीटर विश्लेषण
सैद्धांतिक तर्कसंगतता: शोर-भारित विपरीत सीखना स्पष्ट सैद्धांतिक प्रेरणा है
उत्कृष्ट प्रदर्शन: अधिकांश मेट्रिक्स पर मौजूदा विधियों से महत्वपूर्ण रूप से बेहतर

कमियां

अनुप्रयोग सीमा: छोटे अनुक्रम डेटासेट पर प्रदर्शन पर्याप्त स्थिर नहीं है
कम्प्यूटेशनल जटिलता: बहु-दानेदारी विघटन और विपरीत सीखना कम्प्यूटेशनल ओवरहेड बढ़ाता है
हाइपरपैरामीटर संवेदनशीलता: शोर संख्या, रुचि संख्या आदि पैरामीटर को सावधानीपूर्वक समायोजित करने की आवश्यकता है
शोर उत्पादन रणनीति: यादृच्छिक शोर सम्मिलन पर्याप्त यथार्थवादी नहीं हो सकता है

प्रभाव

शैक्षणिक मूल्य: अनुक्रमिक सिफारिश विघटन के लिए नई अनुसंधान दिशा प्रदान करता है
व्यावहारिक मूल्य: वास्तविक सिफारिश प्रणाली में प्रदर्शन सुधार के लिए लागू किया जा सकता है
पुनरुत्पादनशीलता: विस्तृत कार्यान्वयन विवरण और कोड प्रदान करता है

लागू परिदृश्य

लंबे अनुक्रम उपयोगकर्ता इंटरैक्शन डेटा की सिफारिश प्रणाली
अधिक शोर वाले सिफारिश परिदृश्य (जैसे ई-कॉमर्स, वीडियो प्लेटफॉर्म)
उपयोगकर्ता रुचि के सूक्ष्म मॉडलिंग की आवश्यकता वाले अनुप्रयोग

संदर्भ

पेपर अनुक्रमिक सिफारिश, विघटन विधि, विपरीत सीखना आदि क्षेत्रों के महत्वपूर्ण कार्यों को उद्धृत करता है, जिसमें शामिल हैं:

अनुक्रमिक सिफारिश शास्त्रीय विधि: GRU4Rec, SASRec, BERT4Rec
विघटन संबंधित कार्य: HSD, MSDCCL आदि
विपरीत सीखना विधि: CL4SRec, ICL आदि

यह पेपर अनुक्रमिक सिफारिश में शोर प्रसंस्करण समस्या के लिए एक नवीन समाधान प्रदान करता है, सिद्धांत और व्यवहार दोनों में महत्वपूर्ण मूल्य है।