2025-11-15T18:28:11.606243

S-Diff: An Anisotropic Diffusion Model for Collaborative Filtering in Spectral Domain

Xia, Cheng, Tang et al.
Recovering user preferences from user-item interaction matrices is a key challenge in recommender systems. While diffusion models can sample and reconstruct preferences from latent distributions, they often fail to capture similar users' collective preferences effectively. Additionally, latent variables degrade into pure Gaussian noise during the forward process, lowering the signal-to-noise ratio, which in turn degrades performance. To address this, we propose S-Diff, inspired by graph-based collaborative filtering, better to utilize low-frequency components in the graph spectral domain. S-Diff maps user interaction vectors into the spectral domain and parameterizes diffusion noise to align with graph frequency. This anisotropic diffusion retains significant low-frequency components, preserving a high signal-to-noise ratio. S-Diff further employs a conditional denoising network to encode user interactions, recovering true preferences from noisy data. This method achieves strong results across multiple datasets.
academic

S-Diff: 협업 필터링을 위한 이방성 확산 모델의 스펙트럼 영역 적용

기본 정보

  • 논문 ID: 2501.00384
  • 제목: S-Diff: An Anisotropic Diffusion Model for Collaborative Filtering in Spectral Domain
  • 저자: Rui Xia, Yanhua Cheng, Yongxiang Tang, Xiaocheng Liu, Xialong Liu, Lisong Wang, Peng Jiang
  • 분류: cs.IR (정보 검색)
  • 발표 학회: WSDM '25 (제18회 ACM 국제 웹 검색 및 데이터 마이닝 학회)
  • 논문 링크: https://arxiv.org/abs/2501.00384

초록

추천 시스템에서 사용자-물품 상호작용 행렬로부터 사용자 선호도를 복원하는 것은 핵심 과제입니다. 확산 모델은 잠재 분포에서 샘플링하고 선호도를 재구성할 수 있지만, 유사 사용자의 집단 선호도를 효과적으로 포착하지 못하는 경향이 있습니다. 또한 전방 과정에서 잠재 변수가 순수 가우시안 노이즈로 퇴화되어 신호 대 잡음비(SNR)가 감소하고 성능에 영향을 미칩니다. 이러한 문제를 해결하기 위해 본 논문은 그래프 기반 협업 필터링에서 영감을 받아 스펙트럼 영역의 저주파 성분을 더 잘 활용하는 S-Diff를 제안합니다. S-Diff는 사용자 상호작용 벡터를 스펙트럼 영역으로 매핑하고 확산 노이즈를 그래프 주파수와 정렬하도록 매개변수화합니다. 이러한 이방성 확산은 중요한 저주파 성분을 보존하고 높은 신호 대 잡음비를 유지합니다. S-Diff는 조건부 제거 노이즈 네트워크를 채택하여 사용자 상호작용을 인코딩하고 노이즈 데이터에서 실제 선호도를 복원합니다. 본 방법은 여러 데이터셋에서 강력한 결과를 달성했습니다.

연구 배경 및 동기

문제 정의

추천 시스템의 핵심 과제는 희소한 사용자-물품 상호작용 행렬에서 사용자의 실제 선호도를 복원하는 것으로, 본질적으로 역문제입니다. 전통적인 협업 필터링 방법은 사용자 간의 유사성을 발굴하여 이 문제를 해결합니다.

기존 방법의 한계

  1. 전통적 확산 모델의 부족:
    • 주로 개별 사용자 상호작용 벡터를 조건 입력으로 의존하며, 협업 필터링에서 사용자 간 공유 선호도 정보를 충분히 활용하지 못함
    • 고차원 이력 상호작용 벡터에 대량의 가우시안 노이즈를 주입하여 제거 노이즈 디코더의 복원 과정을 복잡하게 함
  2. 인코딩-디코딩 불일치:
    • 일부 모델은 디코딩 네트워크에서 협업 정보를 명시적으로 조건 지도로 사용하지만, 전방 과정은 협업 신호를 반영하지 않음
    • 인코딩과 디코딩 과정 간의 불일치 초래
  3. 신호 대 잡음비 퇴화 문제:
    • 잠재 변수가 전방 과정에서 순수 가우시안 노이즈로 퇴화됨
    • 모델의 전체 성능에 영향을 미침

연구 동기

그래프 기반 협업 필터링과 그래프 신호 처리의 성공에서 영감을 받아, 저자들은 그래프 합성곱의 "과도한 평활화" 과정이 확산 과정의 신호 평활화와 유사함을 관찰했습니다. 이 통찰력을 바탕으로 그래프 스펙트럼 영역에서 이방성 확산을 수행하여 저주파 정보(전역 선호도를 나타냄)를 더 잘 보존하는 방법을 제안합니다.

핵심 기여

  1. 스펙트럼 영역 전방 확산 과정 제안: 그래프 스펙트럼 영역에서 정의된 전방 확산 과정을 도입하여 사용자의 전역 선호도 정보를 효과적으로 융합
  2. 이방성 노이즈 매개변수화 방법: 서로 다른 주파수 성분의 노이즈 규모를 조절하는 매개변수화 방법을 제안하며, 이론적 분석과 실험 결과는 신호 대 잡음비 측면에서의 이점을 입증
  3. 요소 수준 융합 제거 노이즈 모듈: 역과정에서 요소 수준 융합 기반의 제거 노이즈 모듈을 설계하며, 광범위한 실험이 제안 방법의 효과성을 검증
  4. 이론적 보증: 스펙트럼 영역 확산 과정의 유계성 분석을 제공하여 방법의 이론적 타당성을 입증

방법 상세 설명

작업 정의

사용자 집합 U와 물품 집합 I가 주어졌을 때, 사용자-물품 상호작용 행렬 X ∈ {0,1}^{|U|×|I|}에서 x_{u,i} = 1은 사용자 u와 물품 i의 상호작용을 나타냅니다. 목표는 지정된 사용자에 대해 모든 물품의 잠재 선호도 점수 벡터 x̂ ∈ ℝ^{|I|}를 예측하는 것입니다.

모델 아키텍처

1. 그래프 구성 및 스펙트럼 분해

  • 물품 유사성 그래프: 정규화된 유사성 인접 행렬 A = X̃^TX̃ 정의, 여기서 X̃ = D_U^{-1/2}X****D_I^{-1/2}
  • 라플라시안 연산자: L = I - A
  • 고유 분해: L = UΛU^T, 여기서 Λ는 고유값, U는 고유벡터 포함

2. 그래프 유도 전방 확산

전통적 확산 과정: x_t = α_tx_0 + σ_tε_t

개선된 그래프 유도 확산: x_t = C_tx_0 + σ_tε_t

여기서 C_t = e^{-Lt}는 라플라시안 행렬로 정의된 시간 감쇠 연산자입니다.

3. 스펙트럼 영역 확산 프레임워크

스펙트럼 변환 v_t = U^Tx_t를 통해 확산 과정을 스펙트럼 영역으로 변환:

v_t = λ_t ⊙ v_0 + σtv{ε,t}

여기서:

  • v_0 = U^Tx_0은 x_0의 주파수 응답
  • λ_t = e^{-t·d_1}, e^{-t·d_2}, ..., e^{-t·d_{|I|}}는 고유값 벡터
  • ⊙는 요소별 곱셈

4. 이방성 노이즈 스케줄

분산 보존 확산 모델 채택:

  • α_t = λ_t
  • σ_t^2 = 1 - λ_t^2

경계 매개변수 제어 도입:

  • αt = (1 - α) · λt + α
  • σ_t = Min(√(1 - λt^2), σ)

5. 조건부 역방향 제거 노이즈

신경망 φ_θ를 사용한 제거 노이즈, 최적화 목표:

L_t = E_{(v_0,v_t)~q_0(v_0)q_t(v_t|v_0)}||φ_θ(v_t, U^Tc, t) - v_0||^2

기술 혁신점

  1. 스펙트럼 영역 매핑: 전통적 공간 영역 확산을 그래프 스펙트럼 영역으로 변환하여 그래프의 주파수 특성 활용
  2. 이방성 노이즈: 고유값에 따라 서로 다른 주파수 성분의 노이즈 수준을 조절하여 저주파 정보 보존
  3. 유계성 특성: 라플라시안 행렬 고유값의 유계성으로 인해 신호 대 잡음비의 하한 보장
  4. FiLM 융합: 특성별 선형 조절(Feature-wise Linear Modulation)을 사용한 요소 수준 조건 융합

실험 설정

데이터셋

세 개의 공개 데이터셋 사용:

  • MovieLens-1M: 5,949명 사용자, 2,810개 물품, 571,531개 상호작용, 희소도 96.6%
  • Yelp: 54,574명 사용자, 34,395개 물품, 1,402,736개 상호작용, 희소도 99.93%
  • Amazon-Book: 108,822명 사용자, 94,949개 물품, 3,146,256개 상호작용, 희소도 99.97%

데이터는 7:1:2 비율로 훈련, 검증, 테스트 세트로 분할됩니다.

평가 지표

  • Recall@K: 상위 K개 추천 목록에서 관련 물품의 비율 측정
  • NDCG@K: 순위 민감 지표로, 더 높은 위치의 관련 물품에 더 높은 점수 부여

비교 방법

전통적 협업 필터링 방법, 그래프 신경망 방법 및 확산 모델 포함:

  • MF, LightGCN, CDAE, MultiDAE/MultiVAE
  • CODIGEM, DiffRec (확산 모델)
  • LinkProp, BSPM, Giff (그래프 신호 처리 방법)

구현 세부사항

  • 배치 크기: 100
  • 학습률: 1e-4
  • 최대 훈련 에포크: 1,000
  • 확산 단계: T=5
  • 스펙트럼 분해 차원: 200차원

실험 결과

주요 결과

모든 데이터셋과 평가 지표에서 S-Diff는 모든 비교 방법을 크게 능가합니다:

Amazon-Book 데이터셋:

  • Recall@10: 0.1155 (vs. 최고 기준선 Giff: 0.1109)
  • NDCG@10: 0.0746 (vs. 최고 기준선 Giff: 0.0733)

Yelp 데이터셋:

  • Recall@10: 0.0635 (vs. 최고 기준선 Giff: 0.0639)
  • NDCG@20: 0.0561 (vs. 최고 기준선 Giff: 0.0520)

MovieLens-1M 데이터셋:

  • Recall@10: 0.1277 (vs. 최고 기준선 Giff: 0.1108)
  • NDCG@10: 0.0970 (vs. 최고 기준선 Giff: 0.0952)

소거 실험

1. 주파수 관련 노이즈 매개변수의 영향

서로 다른 노이즈 스케줄 전략 비교:

  • DDPM in Spectral: 스펙트럼 영역에서 전통적 가우시안 노이즈 사용
  • S-Diff-VE: 분산 폭발 확산
  • S-Diff-VP: 분산 보존 확산(본 논문 방법)

결과는 S-Diff-VP가 신호 대 잡음비와 성능 모두에서 최적임을 보여줍니다.

2. 제거 노이즈 네트워크 구성 요소 분석

FiLM 계층 제거 후 성능이 크게 감소하여 요소 수준 융합의 중요성을 검증합니다.

신호 대 잡음비 분석

이론적 분석과 실험은 스펙트럼 영역 이방성 확산이 전통적 확산 모델에 비해 더 나은 신호 대 잡음비 하한을 가짐을 입증합니다:

SNR(t) = α_t^2/σ_t^2 ≥ (e^{-2τ})^2/(1-(e^{-2τ})^2)

실험은 1000단계 확산 후에도 S-Diff가 식별 가능한 신호 대 잡음비를 유지함을 보여줍니다.

매개변수 민감도 분석

  • 스펙트럼 분해 차원 K: K=200일 때 최고 성능 달성
  • 경계 매개변수: α_ ∈ 0, 0.1, σ_ ∈ 0.4, 0.5일 때 최적 효과

관련 연구

추천에서의 확산 모델 적용

  • CODIGEM: 협업 필터링에 DDPM을 처음 적용
  • DiffRec: 잠재 공간 매핑 및 시간 단계 유도를 통해 확산 모델 개선
  • CF-Diff: 다중 홉 이웃 정보를 조건으로 사전 계산
  • Giff: 그래프 전파를 사용한 신호 평활화 및 복원

그래프 필터링 방법

  • LightGCN: 다층 선형 이웃 정보 집계
  • Poly-CF: 자적응 스펙트럼 그래프 필터링
  • SGFCF: 협업 필터링을 자적응 필터 설계 문제로 변환

결론 및 논의

주요 결론

  1. S-Diff는 그래프 스펙트럼 이론과 확산 모델을 성공적으로 결합하여 스펙트럼 영역에서 이방성 확산 수행
  2. 저주파 성분 보존과 높은 신호 대 잡음비 유지를 통해 추천 성능을 크게 향상
  3. 방법은 견고한 이론적 기초와 실험적 검증을 갖춤

한계

  1. 계산 복잡도: 스펙트럼 분해 필요, 시간 복잡도 O(K|I|m)
  2. 매개변수 조정: 경계 매개변수 α_과 σ_의 신중한 조정 필요
  3. 확장성: 초대규모 데이터셋에 대한 적용 가능성 검증 필요

향후 방향

  1. 계산 효율 최적화: 더 효율적인 스펙트럼 분해 및 확산 과정 연구
  2. 자적응 매개변수: 노이즈 매개변수를 자동으로 조절하는 방법 개발
  3. 다중 모달 확장: 다중 모달 추천 시나리오로 방법 확장

심층 평가

장점

  1. 이론적 혁신: 그래프 신호 처리와 확산 모델을 교묘하게 결합하여 새로운 이론적 관점 제공
  2. 기술 선진성: 이방성 노이즈 스케줄과 스펙트럼 영역 확산은 중요한 기술 기여
  3. 충분한 실험: 여러 데이터셋에서 포괄적인 비교 및 소거 실험 수행
  4. 우수한 성능: 모든 평가 지표에서 최고 성능 달성

부족한 점

  1. 높은 복잡도: 스펙트럼 분해로 인한 계산 오버헤드가 대규모 데이터에서의 적용을 제한할 수 있음
  2. 매개변수 민감성: 방법이 여러 초매개변수를 포함하며 신중한 조정 필요
  3. 불충분한 이론 분석: 이방성 확산이 더 효과적인 이유에 대한 더 깊은 이론적 설명 부족

영향력

  1. 학술적 가치: 추천 시스템에서 확산 모델 적용을 위한 새로운 사고방식 제공
  2. 실용적 가치: 방법은 우수한 성능 향상을 보이며 실제 적용 가능성 있음
  3. 재현성: 논문은 상세한 구현 세부사항과 알고리즘 설명 제공

적용 시나리오

  • 중규모 추천 시스템
  • 추천 품질이 높은 요구사항인 시나리오
  • 명확한 협업 필터링 특성을 가진 데이터셋
  • 계산 자원이 상대적으로 충분한 환경

참고문헌

논문은 52개의 관련 문헌을 인용하며, 확산 모델, 협업 필터링, 그래프 신경망 등 여러 분야의 중요한 연구를 포함하여 본 연구에 견고한 이론적 기초를 제공합니다.

종합 평가: 이것은 이론적 혁신과 실험적 검증 모두에서 우수한 성능을 보이는 고품질 연구 논문입니다. 그래프 스펙트럼 이론과 확산 모델의 결합은 가치 있는 기여이며 추천 시스템 분야에 새로운 연구 방향을 제공합니다. 일부 한계가 있지만 전체적으로 주목할 가치가 있는 연구입니다.