2025-11-23T00:10:15.831186

Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation

Li, Yang, Zhu

Sequential recommendation aims to predict the next item based on user interests in historical interaction sequences. Historical interaction sequences often contain irrelevant noisy items, which significantly hinders the performance of recommendation systems. Existing research employs unsupervised methods that indirectly identify item-granularity irrelevant noise by predicting the ground truth item. Since these methods lack explicit noise labels, they are prone to misidentify users' interested items as noise. Additionally, while these methods focus on removing item-granularity noise driven by the ground truth item, they overlook interest-granularity noise, limiting their ability to perform broader denoising based on user interests. To address these issues, we propose Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation(MGSD-WSS). MGSD-WSS first introduces the Multiple Gaussian Kernel Perceptron module to map the original and enhance sequence into a common representation space and utilizes weakly supervised signals to accurately identify noisy items in the historical interaction sequence. Subsequently, it employs the item-granularity denoising module with noise-weighted contrastive learning to obtain denoised item representations. Then, it extracts target interest representations from the ground truth item and applies noise-weighted contrastive learning to obtain denoised interest representations. Finally, based on the denoised item and interest representations, MGSD-WSS predicts the next item. Extensive experiments on five datasets demonstrate that the proposed method significantly outperforms state-of-the-art sequence recommendation and denoising models. Our code is available at https://github.com/lalunex/MGSD-WSS.

academic

순차 추천을 위한 약한 감독 신호를 이용한 다중 입도 시퀀스 노이즈 제거

기본 정보

논문 ID: 2510.10564
제목: Multi-Granularity Sequence Denoising with Weakly Supervised Signal for Sequential Recommendation
저자: Liang Li (충칭이공대학교), Zhou Yang (푸저우대학교), Xiaofei Zhu (충칭이공대학교)
분류: cs.IR (정보 검색)
발표 시간: 2025년 10월 12일 (arXiv 사전인쇄본)
논문 링크: https://arxiv.org/abs/2510.10564
코드 링크: https://github.com/lalunex/MGSD-WSS

초록

순차 추천은 사용자의 과거 상호작용 시퀀스에서의 관심사를 기반으로 다음 아이템을 예측하는 것을 목표로 한다. 과거 상호작용 시퀀스는 일반적으로 무관한 노이즈 아이템을 포함하고 있으며, 이는 추천 시스템의 성능을 크게 저해한다. 기존 연구는 실제 아이템을 예측하여 간접적으로 아이템 입도의 무관한 노이즈를 식별하는 비감독 방법을 채택한다. 이러한 방법들은 명시적인 노이즈 레이블이 부족하여 사용자가 관심 있는 아이템을 노이즈로 오인식하기 쉽다. 또한 이러한 방법들은 실제 아이템에 의해 주도되는 아이템 입도 노이즈 제거에 중점을 두지만, 관심사 입도 노이즈를 간과하여 사용자 관심사를 기반으로 한 보다 광범위한 노이즈 제거 능력을 제한한다. 이러한 문제들을 해결하기 위해 본 논문은 약한 감독 신호를 이용한 다중 입도 시퀀스 노이즈 제거 순차 추천 방법(MGSD-WSS)을 제안한다.

연구 배경 및 동기

문제 정의

순차 추천 시스템이 직면한 핵심 문제는 과거 상호작용 시퀀스에 의도하지 않은 클릭 및 악의적 허위 상호작용과 같은 노이즈 아이템이 존재하여 추천 시스템의 성능을 크게 저하시킨다는 것이다.

기존 방법의 한계

소프트 노이즈 제거 방법: 주의 메커니즘 또는 필터링 알고리즘을 통해 노이즈 아이템의 가중치를 조정하지만, 노이즈 영향을 완전히 제거할 수 없다.
하드 노이즈 제거 방법: 노이즈 검출 신호를 생성하여 노이즈 아이템을 명시적으로 제거하지만 다음과 같은 문제가 있다:
- 실제 노이즈 레이블이 아닌 실제 아이템을 사용하여 모델이 노이즈를 식별하도록 지도하므로 정확성이 제한적이다.
- 아이템 입도 노이즈 제거에만 집중하고 관심사 입도의 노이즈를 간과한다.

연구 동기

명시적인 노이즈 레이블의 부재로 인해 기존 비감독 방법이 사용자가 관심 있는 아이템을 오인식하기 쉽다.
사용자 상호작용은 특정 아이템 선호도뿐만 아니라 더 높은 수준의 관심사(예: "스포츠" 관심사는 축구, 운동화, 러닝머신 등을 포함)를 반영한다.
노이즈를 보다 포괄적으로 제거하기 위해 여러 입도에서 계층적 노이즈 제거가 필요하다.

핵심 기여

약한 감독 신호의 최초 도입: 표시된 약한 감독 신호를 통해 모델을 직접 훈련하여 노이즈 식별을 수행하며, 기존 비감독 방법의 부정확성을 극복한다.
다중 입도 계층적 노이즈 제거: 아이템 입도 및 관심사 입도의 계층적 노이즈 제거 모듈을 제안하며, 노이즈 가중 대조 학습과 함께 제공한다.
혁신적인 아키텍처 설계:
- Multiple Gaussian Kernel Perceptron (MGP) 모듈
- Target-aware Sequence Encoding
- 노이즈 가중 대조 학습 프레임워크
현저한 성능 향상: 5개 데이터셋에서 최첨단 순차 추천 및 노이즈 제거 모델을 크게 능가한다.

방법 상세 설명

작업 정의

사용자 집합 $\mathcal{U} = \{u_1, u_2, \ldots, u_{|\mathcal{U}|}\}$ 와 아이템 집합 $\mathcal{V} = \{v_1, v_2, \ldots, v_{|\mathcal{V}|}\}$ 가 주어졌을 때, 각 사용자 $u \in \mathcal{U}$ 는 시간 순서로 정렬된 과거 상호작용 시퀀스 $S = [s_1, s_2, \ldots, s_n]$ 과 연관된다. 목표는 상호작용 시퀀스 $S$ 를 활용하여 사용자가 $(n+1)$ 단계에서 가장 가능성 높게 상호작용할 아이템을 예측하는 것이다. 즉, $p(s_{n+1}|s_{1:n})$ 을 예측한다.

모델 아키텍처

MGSD-WSS는 세 가지 핵심 구성 요소로 이루어진다:

1. Target-aware Sequence Encoding

시퀀스 데이터 증강:

원본 시퀀스에 삽입할 $t$ 개의 서로 다른 아이템을 무작위로 선택한다.
증강 시퀀스 $\bar{S} = [\bar{s}_1, \bar{s}_2, \ldots, \bar{s}_{n+t}]$ 를 구성한다.
노이즈 위치를 표시하는 감독 신호 $\bar{Y} = [\bar{y}_1, \bar{y}_2, \ldots, \bar{y}_{n+t}]$ 를 획득한다.

Multiple Gaussian Kernel Perceptron (MGP):

목표 아이템과 시퀀스의 각 아이템 간 코사인 유사도를 계산한다: $\bar{\alpha}_i = \cos(\bar{h}_{n+1}, \bar{h}_i)$
$k$ 개의 가우시안 커널을 사용하여 관련성 점수를 변환한다: $r_{ij} = \exp\left(-\frac{(\bar{\alpha}_i - \mu_j)^2}{2\sigma_j^2}\right)$ $\hat{h}_i = \sum_{j=1}^k r_{ij} \bar{h}_i$
Transformer 인코더를 통해 풍부한 표현을 획득한다: $G = \text{Transformer}(\hat{H} + P)$

2. Auxiliary Noise Discrimination

공유된 아이템 수준 노이즈 판별기를 사용하여 증강 시퀀스의 노이즈 아이템을 검출한다: $\boldsymbol{\beta}_i = \text{Softmax}((\text{ReLU}(\bar{g}_i W_1 + b_1))W_2)$

MSE 손실을 통해 노이즈 검출 신호와 감독 신호 간의 차이를 최소화한다: $MSE = \frac{1}{n}\sum_{i=1}^n (\beta_i^0 - \bar{y}_i)^2$

3. Multi-granularity Sequence Denoising

아이템 입도 노이즈 제거:

Gumbel-softmax를 사용하여 노이즈 검출 신호를 이진 하드 값으로 변환한다.
노이즈 아이템을 필터링하여 노이즈 제거 표현 행렬을 구성한다.
노이즈 가중 대조 학습을 적용한다: $ITSCL = -\frac{1}{|G^+|}\sum_{g_i \in G^+} \log \frac{\omega(g_i) \cdot \exp(\text{sim}(e_{se}, g_i)/\tau)}{\sum_{g_j \in G} \omega(g_j) \cdot \exp(\text{sim}(e_{se}, g_j)/\tau)}$

관심사 입도 노이즈 제거:

학습 가능한 관심사 표현 행렬 $Q = [q_1, q_2, \ldots, q_m]$ 을 도입한다.
아이템과 관심사 간의 관련성 점수를 계산한다.
목표 인식 관심사 주의를 사용하여 관심사 신뢰성을 평가한다.
관심사 입도 노이즈 가중 대조 학습을 적용한다.

기술 혁신점

약한 감독 신호 생성: 데이터 증강 전략을 통해 명시적인 노이즈 레이블을 생성하여 정확한 감독 신호를 제공한다.
다중 입도 노이즈 제거: 아이템 및 관심사 두 입도에서 동시에 노이즈 제거를 수행하여 시퀀스 노이즈를 보다 포괄적으로 처리한다.
노이즈 가중 대조 학습: 노이즈 정도에 따라 샘플에 가중치를 할당하여 기존의 동일 가중치 대조 학습을 능가한다.
가우시안 커널 인식기: 다양한 유사성 영역의 정보를 포착하여 시퀀스 표현을 강화한다.

실험 설정

데이터셋

5개의 공개 벤치마크 데이터셋을 사용한다:

데이터셋	시퀀스 수	사용자 수	아이템 수	평균 길이	희소성
ML-100k	99,287	944	1,350	105.29	92.21%
Beauty	198,502	22,364	12,102	8.88	99.93%
Sports	296,337	35,599	18,358	8.32	99.95%
Yelp	316,354	30,432	20,034	10.40	99.95%
ML-1M	999,611	6,041	3,417	165.50	95.16%

평가 지표

Hit Ratio (HR@{5, 10, 20})
Normalized Discounted Cumulative Gain (NDCG@{5, 10, 20})
Mean Reciprocal Rank (MRR@20)

비교 방법

순차 추천 기준선:

GRU4Rec, NARM, STAMP, CASER, SASRec, BERT4Rec

노이즈 제거 기준선:

DSAN, FMLP-Rec, HSD+BERT4Rec, AC-BERT4Rec, MSDCCL+BERT4Rec

구현 세부사항

임베딩 차원: 100
배치 크기: 256
학습률: 10^-3
가우시안 커널 수: 10개
온도 매개변수: τ = 0.5

실험 결과

주요 결과

순차 추천 기준선과의 비교: MGSD-WSS를 다양한 주류 순차 추천 모델과 결합한 후, 모든 데이터셋에서 현저한 성능 향상을 달성했다. ML-100k 데이터셋에서 MGSD-WSS+BERT4Rec은 원본 BERT4Rec 대비 HR@20, NDCG@20, MRR@20에서 각각 167.43%, 195.87%, 235.67% 향상되었다.

노이즈 제거 기준선과의 비교: 대부분의 지표에서 MGSD-WSS+BERT4Rec이 다른 노이즈 제거 기준선을 능가하며, 특히 ML-100k 및 ML-1M 데이터셋에서 뛰어난 성능을 보인다. ML-1M 데이터셋에서 최강 기준선인 MSDCCL+BERT4Rec 대비 각 지표의 향상 폭은 30.80%-60.94%이다.