Sequential recommendation aims to predict the next item based on user interests in historical interaction sequences. Historical interaction sequences often contain irrelevant noisy items, which significantly hinders the performance of recommendation systems. Existing research employs unsupervised methods that indirectly identify item-granularity irrelevant noise by predicting the ground truth item. Since these methods lack explicit noise labels, they are prone to misidentify users' interested items as noise. Additionally, while these methods focus on removing item-granularity noise driven by the ground truth item, they overlook interest-granularity noise, limiting their ability to perform broader denoising based on user interests. To address these issues, we propose Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation(MGSD-WSS). MGSD-WSS first introduces the Multiple Gaussian Kernel Perceptron module to map the original and enhance sequence into a common representation space and utilizes weakly supervised signals to accurately identify noisy items in the historical interaction sequence. Subsequently, it employs the item-granularity denoising module with noise-weighted contrastive learning to obtain denoised item representations. Then, it extracts target interest representations from the ground truth item and applies noise-weighted contrastive learning to obtain denoised interest representations. Finally, based on the denoised item and interest representations, MGSD-WSS predicts the next item. Extensive experiments on five datasets demonstrate that the proposed method significantly outperforms state-of-the-art sequence recommendation and denoising models. Our code is available at https://github.com/lalunex/MGSD-WSS.
- পত্র আইডি: 2510.10564
- শিরোনাম: Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation
- লেখক: লিয়াং লি (চংকিং প্রযুক্তি বিশ্ববিদ্যালয়), ঝাউ ইয়াং (ফুজিয়ান বিশ্ববিদ্যালয়), জিয়াওফেই ঝু (চংকিং প্রযুক্তি বিশ্ববিদ্যালয়)
- শ্রেণীবিভাগ: cs.IR (তথ্য পুনরুদ্ধার)
- প্রকাশনার সময়: ২০২৫ সালের ১২ অক্টোবর (arXiv প্রাক-প্রিন্ট)
- পত্র লিঙ্ক: https://arxiv.org/abs/2510.10564
- কোড লিঙ্ক: https://github.com/lalunex/MGSD-WSS
ক্রমিক সুপারিশ ব্যবহারকারীর ঐতিহাসিক মিথস্ক্রিয়া ক্রমে আগ্রহের উপর ভিত্তি করে পরবর্তী আইটেম পূর্বাভাস দেওয়ার লক্ষ্য রাখে। ঐতিহাসিক মিথস্ক্রিয়া ক্রমে সাধারণত অপ্রাসঙ্গিক শব্দ আইটেম থাকে, যা সুপারিশ ব্যবস্থার কর্মক্ষমতা উল্লেখযোগ্যভাবে বাধা দেয়। বিদ্যমান গবেষণা নিরীক্ষণহীন পদ্ধতি গ্রহণ করে, প্রকৃত আইটেম পূর্বাভাস দিয়ে আইটেম-স্তরের অপ্রাসঙ্গিক শব্দ পরোক্ষভাবে চিহ্নিত করে। যেহেতু এই পদ্ধতিগুলিতে স্পষ্ট শব্দ লেবেল নেই, তারা ব্যবহারকারীর আগ্রহী আইটেমগুলিকে শব্দ হিসাবে ভুলভাবে চিহ্নিত করতে পারে। অতিরিক্তভাবে, এই পদ্ধতিগুলি প্রকৃত আইটেম দ্বারা চালিত আইটেম-স্তরের শব্দ অপসারণে ফোকাস করে, কিন্তু আগ্রহ-স্তরের শব্দ উপেক্ষা করে, ব্যবহারকারীর আগ্রহের উপর ভিত্তি করে বিস্তৃত বিনয়নকরণের ক্ষমতা সীমাবদ্ধ করে। এই সমস্যাগুলি সমাধান করার জন্য, এই পত্রটি বহু-দানাদারিত্ব ক্রম বিনয়নকরণ এবং দুর্বল তত্ত্বাবধানকৃত সংকেত সহ ক্রমিক সুপারিশের পদ্ধতি (MGSD-WSS) প্রস্তাব করে।
ক্রমিক সুপারিশ ব্যবস্থার মূল সমস্যা হল ঐতিহাসিক মিথস্ক্রিয়া ক্রমে শব্দ আইটেমের উপস্থিতি, যেমন অপ্রত্যাশিত ক্লিক এবং দূষিত মিথ্যা মিথস্ক্রিয়া, যা সুপারিশ ব্যবস্থার কর্মক্ষমতা উল্লেখযোগ্যভাবে হ্রাস করে।
- নরম বিনয়নকরণ পদ্ধতি: মনোযোগ প্রক্রিয়া বা ফিল্টার অ্যালগরিদমের মাধ্যমে শব্দ আইটেমের ওজন সামঞ্জস্য করে, কিন্তু শব্দ প্রভাব সম্পূর্ণভাবে দূর করতে পারে না
- কঠোর বিনয়নকরণ পদ্ধতি: শব্দ সনাক্তকরণ সংকেত তৈরি করে শব্দ আইটেম স্পষ্টভাবে অপসারণ করে, কিন্তু নিম্নলিখিত সমস্যা রয়েছে:
- প্রকৃত শব্দ লেবেলের পরিবর্তে প্রকৃত আইটেম ব্যবহার করে মডেলকে শব্দ চিহ্নিত করতে গাইড করে, নির্ভুলতা সীমিত
- শুধুমাত্র আইটেম-স্তরের বিনয়নকরণে ফোকাস করে, আগ্রহ-স্তরের শব্দ উপেক্ষা করে
- স্পষ্ট শব্দ লেবেলের অভাব বিদ্যমান নিরীক্ষণহীন পদ্ধতিকে ব্যবহারকারীর আগ্রহী আইটেম ভুলভাবে চিহ্নিত করতে সহজ করে তোলে
- ব্যবহারকারীর মিথস্ক্রিয়া শুধুমাত্র নির্দিষ্ট আইটেম পছন্দ প্রতিফলিত করে না, বরং উচ্চতর স্তরের আগ্রহও প্রকাশ করে (যেমন "ক্রীড়া" আগ্রহে ফুটবল, ক্রীড়া জুতা, ট্রেডমিল ইত্যাদি অন্তর্ভুক্ত)
- একাধিক দানাদারিত্বে স্তরযুক্ত বিনয়নকরণ প্রয়োজন যাতে আরও সম্পূর্ণভাবে শব্দ অপসারণ করা যায়
- প্রথমবার দুর্বল তত্ত্বাবধানকৃত সংকেত প্রবর্তন: চিহ্নিত দুর্বল তত্ত্বাবধানকৃত সংকেতের মাধ্যমে সরাসরি শব্দ সনাক্তকরণের জন্য মডেল প্রশিক্ষণ, পূর্ববর্তী নিরীক্ষণহীন পদ্ধতির অনির্ভুলতা অতিক্রম করে
- বহু-দানাদারিত্ব স্তরযুক্ত বিনয়নকরণ: আইটেম-স্তর এবং আগ্রহ-স্তরের স্তরযুক্ত বিনয়নকরণ মডিউল প্রস্তাব করে, শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষার সাথে মিলিত
- উদ্ভাবনী স্থাপত্য ডিজাইন:
- একাধিক গাউসিয়ান কার্নেল পারসেপ্ট্রন (MGP) মডিউল
- লক্ষ্য-সচেতন ক্রম এনকোডিং
- শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষা কাঠামো
- উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: পাঁচটি ডেটাসেটে অত্যাধুনিক ক্রমিক সুপারিশ এবং বিনয়নকরণ মডেলের চেয়ে উল্লেখযোগ্যভাবে উন্নত
ব্যবহারকারী সেট U={u1,u2,…,u∣U∣} এবং আইটেম সেট V={v1,v2,…,v∣V∣} দেওয়া, প্রতিটি ব্যবহারকারী u∈U একটি সময়ক্রমে সাজানো ঐতিহাসিক মিথস্ক্রিয়া ক্রম S=[s1,s2,…,sn] এর সাথে যুক্ত। লক্ষ্য হল মিথস্ক্রিয়া ক্রম S ব্যবহার করে ব্যবহারকারী (n+1) ধাপে সবচেয়ে সম্ভবত মিথস্ক্রিয়া করবে এমন আইটেম পূর্বাভাস দেওয়া, অর্থাৎ p(sn+1∣s1:n)।
MGSD-WSS তিনটি মূল উপাদান নিয়ে গঠিত:
ক্রম ডেটা বর্ধন:
- মূল ক্রমে শব্দ হিসাবে t টি ভিন্ন আইটেম এলোমেলোভাবে নির্বাচন করুন
- বর্ধিত ক্রম Sˉ=[sˉ1,sˉ2,…,sˉn+t] তৈরি করুন
- তত্ত্বাবধানকৃত সংকেত Yˉ=[yˉ1,yˉ2,…,yˉn+t] পান যা শব্দ অবস্থান নির্দেশ করে
একাধিক গাউসিয়ান কার্নেল পারসেপ্ট্রন (MGP):
- লক্ষ্য আইটেম এবং ক্রমে প্রতিটি আইটেমের মধ্যে কোসাইন সাদৃশ্য গণনা করুন:
αˉi=cos(hˉn+1,hˉi)
- k টি গাউসিয়ান কার্নেল ব্যবহার করে প্রাসঙ্গিকতা স্কোর রূপান্তরিত করুন:
rij=exp(−2σj2(αˉi−μj)2)h^i=∑j=1krijhˉi
- ট্রান্সফর্মার এনকোডারের মাধ্যমে সমৃদ্ধ প্রতিনিধিত্ব পান:
G=Transformer(H^+P)
বর্ধিত ক্রমে শব্দ আইটেম সনাক্ত করতে ভাগ করা আইটেম-স্তরের শব্দ বৈষম্যকারী ব্যবহার করুন:
βi=Softmax((ReLU(gˉiW1+b1))W2)
MSE ক্ষতির মাধ্যমে শব্দ সনাক্তকরণ সংকেত এবং তত্ত্বাবধানকৃত সংকেতের পার্থক্য ন্যূনতম করুন:
MSE=n1∑i=1n(βi0−yˉi)2
আইটেম-স্তরের বিনয়নকরণ:
- শব্দ সনাক্তকরণ সংকেত দ্বিমুখী কঠোর মানে রূপান্তরিত করতে Gumbel-softmax ব্যবহার করুন
- শব্দ আইটেম ফিল্টার করে বিনয়নকৃত প্রতিনিধিত্ব ম্যাট্রিক্স তৈরি করুন
- শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষা প্রয়োগ করুন:
ITSCL=−∣G+∣1∑gi∈G+log∑gj∈Gω(gj)⋅exp(sim(ese,gj)/τ)ω(gi)⋅exp(sim(ese,gi)/τ)
আগ্রহ-স্তরের বিনয়নকরণ:
- শেখার যোগ্য আগ্রহ প্রতিনিধিত্ব ম্যাট্রিক্স প্রবর্তন করুন Q=[q1,q2,…,qm]
- আইটেম এবং আগ্রহের মধ্যে প্রাসঙ্গিকতা স্কোর গণনা করুন
- লক্ষ্য-সচেতন আগ্রহ মনোযোগ ব্যবহার করে আগ্রহ নির্ভরযোগ্যতা মূল্যায়ন করুন
- আগ্রহ-স্তরের শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষা প্রয়োগ করুন
- দুর্বল তত্ত্বাবধানকৃত সংকেত প্রজন্ম: ডেটা বর্ধন কৌশলের মাধ্যমে স্পষ্ট শব্দ লেবেল তৈরি করুন, নির্ভুল তত্ত্বাবধানকৃত সংকেত প্রদান করুন
- বহু-দানাদারিত্ব বিনয়নকরণ: আইটেম এবং আগ্রহ উভয় দানাদারিত্বে একযোগে বিনয়নকরণ করুন, ক্রম শব্দ আরও সম্পূর্ণভাবে পরিচালনা করুন
- শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষা: শব্দের মাত্রা অনুযায়ী নমুনাগুলিতে ওজন বরাদ্দ করুন, ঐতিহ্যবাহী সমান-ওজন বৈপরীত্য শিক্ষার চেয়ে উন্নত
- গাউসিয়ান কার্নেল সংবেদনশীল: বিভিন্ন সাদৃশ্য অঞ্চলের তথ্য ক্যাপচার করুন, ক্রম প্রতিনিধিত্ব বৃদ্ধি করুন
পাঁচটি জনসাধারণ বেঞ্চমার্ক ডেটাসেট ব্যবহার করুন:
| ডেটাসেট | ক্রম সংখ্যা | ব্যবহারকারী সংখ্যা | আইটেম সংখ্যা | গড় দৈর্ঘ্য | বিরলতা |
|---|
| ML-100k | 99,287 | 944 | 1,350 | 105.29 | 92.21% |
| Beauty | 198,502 | 22,364 | 12,102 | 8.88 | 99.93% |
| Sports | 296,337 | 35,599 | 18,358 | 8.32 | 99.95% |
| Yelp | 316,354 | 30,432 | 20,034 | 10.40 | 99.95% |
| ML-1M | 999,611 | 6,041 | 3,417 | 165.50 | 95.16% |
- হিট রেশিও (HR@{5, 10, 20})
- স্বাভাবিকৃত ছাড়প্রাপ্ত সংগ্রহিত লাভ (NDCG@{5, 10, 20})
- গড় পারস্পরিক র্যাঙ্ক (MRR@20)
ক্রমিক সুপারিশ বেসলাইন:
- GRU4Rec, NARM, STAMP, CASER, SASRec, BERT4Rec
বিনয়নকরণ বেসলাইন:
- DSAN, FMLP-Rec, HSD+BERT4Rec, AC-BERT4Rec, MSDCCL+BERT4Rec
- এমবেডিং মাত্রা: 100
- ব্যাচ আকার: 256
- শেখার হার: 10^-3
- গাউসিয়ান কার্নেল সংখ্যা: 10টি
- তাপমাত্রা প্যারামিটার: τ = 0.5
ক্রমিক সুপারিশ বেসলাইনের সাথে তুলনা:
MGSD-WSS বিভিন্ন প্রধান ক্রমিক সুপারিশ মডেলের সাথে মিলিত হয়ে সমস্ত ডেটাসেটে উল্লেখযোগ্য কর্মক্ষমতা উন্নতি অর্জন করে। ML-100k ডেটাসেটে, MGSD-WSS+BERT4Rec মূল BERT4Rec এর তুলনায় HR@20, NDCG@20 এবং MRR@20 এ যথাক্রমে 167.43%, 195.87% এবং 235.67% উন্নতি করে।
বিনয়নকরণ বেসলাইনের সাথে তুলনা:
বেশিরভাগ মেট্রিক্সে, MGSD-WSS+BERT4Rec অন্যান্য বিনয়নকরণ বেসলাইনের চেয়ে উন্নত, বিশেষত ML-100k এবং ML-1M ডেটাসেটে। ML-1M ডেটাসেটে, সবচেয়ে শক্তিশালী বেসলাইন MSDCCL+BERT4Rec এর তুলনায়, প্রতিটি মেট্রিক্সে উন্নতি 30.80%-60.94%।
প্রতিটি মডিউল অপসারণের পরে কর্মক্ষমতা হ্রাস বিশ্লেষণ:
- w/o AND (সহায়ক শব্দ বৈষম্য ছাড়া): সর্বাধিক কর্মক্ষমতা হ্রাস, দুর্বল তত্ত্বাবধানকৃত সংকেতের গুরুত্ব প্রমাণ করে
- w/o InSD (আগ্রহ-স্তরের বিনয়নকরণ ছাড়া): Beauty, Sports, ML-1M ডেটাসেটে উল্লেখযোগ্য প্রভাব
- w/o ItSD (আইটেম-স্তরের বিনয়নকরণ ছাড়া): ML-100k এবং Yelp ডেটাসেটে সর্বাধিক প্রভাব
- w/o MGP (একাধিক গাউসিয়ান কার্নেল পারসেপ্ট্রন ছাড়া): কর্মক্ষমতা হ্রাস, এই মডিউলের কার্যকারিতা যাচাই করে
ঐতিহ্যবাহী বৈপরীত্য শিক্ষার তুলনায়, শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষা ML-100k ডেটাসেটে HR@20, NDCG@20 এবং MRR@20 যথাক্রমে 12.59%, 10.63% এবং 9.48% বৃদ্ধি করে, নির্ভুল ওজন বরাদ্দের কার্যকারিতা প্রমাণ করে।
শব্দ আইটেম সংখ্যা t:
- উপযুক্ত শব্দ আইটেম সংখ্যা মডেলকে প্রকৃত পছন্দ এবং শব্দ পার্থক্য করতে সাহায্য করে
- অত্যধিক শব্দ তথ্য সংকেত পাতলা করে, কর্মক্ষমতা হ্রাস করে
ব্যবহারকারী আগ্রহ সংখ্যা m:
- m=5 এ সর্বোত্তম কর্মক্ষমতা অর্জন করে
- অত্যধিক আগ্রহ অপ্রাসঙ্গিক তথ্য প্রবর্তন করতে পারে, কর্মক্ষমতা হ্রাস করে
প্রাথমিক মার্কভ চেইন পদ্ধতি থেকে গভীর শিক্ষা পদ্ধতিতে বিকশিত, RNN, LSTM, CNN, মনোযোগ প্রক্রিয়া, গ্রাফ নিউরাল নেটওয়ার্ক ইত্যাদি অন্তর্ভুক্ত। সাম্প্রতিক গবেষণা বাহ্যিক জ্ঞান গ্রাফ, ক্রস-ডোমেইন তথ্য এবং বহু-মোডাল শিক্ষা কাঠামো একীভূত করে।
নরম বিনয়নকরণ (ওজন সামঞ্জস্য) এবং কঠোর বিনয়নকরণ (সরাসরি অপসারণ) দুটি শ্রেণীতে বিভক্ত। বিদ্যমান কঠোর বিনয়নকরণ পদ্ধতি প্রধানত প্রকৃত আইটেম নির্দেশনার উপর নির্ভর করে, প্রকৃত শব্দ লেবেল নেই, এবং শুধুমাত্র আইটেম-স্তরে ফোকাস করে।
সুপারিশ ব্যবস্থায় উচ্চ-মানের প্রতিনিধিত্ব নিষ্কাশনের জন্য ব্যবহৃত, কিন্তু বিদ্যমান পদ্ধতি সমস্ত নমুনা সমানভাবে বিবেচনা করে, নমুনা গুরুত্ব পার্থক্য উপেক্ষা করে।
- দুর্বল তত্ত্বাবধানকৃত সংকেত শব্দ সনাক্তকরণ নির্ভুলতা উল্লেখযোগ্যভাবে উন্নত করে
- বহু-দানাদারিত্ব বিনয়নকরণ একক আইটেম-স্তরের বিনয়নকরণের চেয়ে আরও কার্যকর
- শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষা ঐতিহ্যবাহী বৈপরীত্য শিক্ষার চেয়ে উন্নত
- মডেল বিভিন্ন ক্রম দৈর্ঘ্যে শক্তিশালী থাকে
- সংক্ষিপ্ত ক্রম ডেটাসেটে (Beauty, Sports, Yelp) কিছু মেট্রিক্সে কর্মক্ষমতা আদর্শ নয়
- শব্দ প্রবর্তন সংক্ষিপ্ত ক্রমে তথ্য দূষণ ঘটাতে পারে
- ব্যবহারকারী আগ্রহ সংখ্যা ইত্যাদি হাইপারপ্যারামিটার পূর্বনির্ধারণ প্রয়োজন
- বিভিন্ন গাউসিয়ান কার্নেল সেটিংসের প্রভাব গবেষণা করুন
- প্রতিদ্বন্দ্বী বা হিউরিস্টিক শব্দ প্রজন্ম কৌশল অন্বেষণ করুন
- আগ্রহ কনফিগারেশনের জন্য তাত্ত্বিক বা ডেটা-চালিত যুক্তিসঙ্গততা বিশ্লেষণ প্রদান করুন
- শক্তিশালী উদ্ভাবনী: ক্রমিক সুপারিশে প্রথমবার দুর্বল তত্ত্বাবধানকৃত বিনয়নকরণ প্রয়োগ, বহু-দানাদারিত্ব বিনয়নকরণ কাঠামো প্রস্তাব করে
- সম্পূর্ণ পদ্ধতি: শব্দ সনাক্তকরণ থেকে বহু-দানাদারিত্ব বিনয়নকরণ পর্যন্ত সম্পূর্ণ সমাধান
- পর্যাপ্ত পরীক্ষা: পাঁচটি ডেটাসেট, একাধিক বেসলাইন, বিস্তারিত বিলোপ পরীক্ষা এবং প্যারামিটার বিশ্লেষণ
- যুক্তিসঙ্গত তত্ত্ব: শব্দ-ওজনযুক্ত বৈপরীত্য শিক্ষার স্পষ্ট তাত্ত্বিক প্রেরণা রয়েছে
- উৎকৃষ্ট কর্মক্ষমতা: বেশিরভাগ মেট্রিক্সে বিদ্যমান পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে উন্নত
- প্রয়োগযোগ্যতা সীমাবদ্ধতা: সংক্ষিপ্ত ক্রম ডেটাসেটে অস্থির কর্মক্ষমতা
- গণনামূলক জটিলতা: বহু-দানাদারিত্ব বিনয়নকরণ এবং বৈপরীত্য শিক্ষা গণনামূলক ওভারহেড বৃদ্ধি করে
- হাইপারপ্যারামিটার সংবেদনশীলতা: শব্দ সংখ্যা, আগ্রহ সংখ্যা ইত্যাদি সাবধানে সামঞ্জস্য করা প্রয়োজন
- শব্দ প্রজন্ম কৌশল: এলোমেলো শব্দ প্রবর্তন যথেষ্ট বাস্তবসম্মত নাও হতে পারে
- একাডেমিক মূল্য: ক্রমিক সুপারিশ বিনয়নকরণের জন্য নতুন গবেষণা দিকনির্দেশনা প্রদান করে
- ব্যবহারিক মূল্য: প্রকৃত সুপারিশ ব্যবস্থায় প্রয়োগ করা যায় কর্মক্ষমতা উন্নত করতে
- পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং কোড প্রদান করে
- দীর্ঘ ক্রম ব্যবহারকারী মিথস্ক্রিয়া ডেটার সুপারিশ ব্যবস্থা
- শব্দ বেশি সুপারিশ পরিস্থিতি (যেমন ই-কমার্স, ভিডিও প্ল্যাটফর্ম)
- ব্যবহারকারী আগ্রহের সূক্ষ্ম মডেলিং প্রয়োজন এমন অ্যাপ্লিকেশন
পত্রটি ক্রমিক সুপারিশ, বিনয়নকরণ পদ্ধতি, বৈপরীত্য শিক্ষা ইত্যাদি ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
- ক্রমিক সুপারিশ ক্লাসিক পদ্ধতি: GRU4Rec, SASRec, BERT4Rec
- বিনয়নকরণ সম্পর্কিত কাজ: HSD, MSDCCL ইত্যাদি
- বৈপরীত্য শিক্ষা পদ্ধতি: CL4SRec, ICL ইত্যাদি
এই পত্রটি ক্রমিক সুপারিশে শব্দ প্রক্রিয়াকরণ সমস্যার জন্য একটি উদ্ভাবনী সমাধান প্রদান করে, তাত্ত্বিক এবং ব্যবহারিক উভয় ক্ষেত্রে গুরুত্বপূর্ণ মূল্য রয়েছে।