동적 그래프를 위한 이벤트 인식 프롬프트 학습

기본 정보

• 논문 ID: 2510.11339
• 제목: Event-Aware Prompt Learning for Dynamic Graphs
• 저자: Xingtong Yu¹, Ruijuan Liang², Xinming Zhang², Yuan Fang¹
• 소속 기관: ¹싱가포르경영대학교, ²중국과학기술대학교
• 분류: cs.LG cs.AI
• 발표 시간: 2025년 10월 13일 (arXiv 사전인쇄본)
• 논문 링크: https://arxiv.org/abs/2510.11339

초록

실제 세계의 그래프는 일반적으로 일련의 이벤트를 통해 진화하며, 다양한 영역에서 객체 간의 동적 상호작용을 모델링합니다. 동적 그래프 학습에서 동적 그래프 신경망(DGNNs)이 주요 해결책이 되었습니다. 최근에는 동적 그래프에 대한 프롬프트 학습 방법이 탐색되고 있습니다. 그러나 기존 방법들은 주로 노드와 시간의 관계 포착에 초점을 맞추고 있으며, 과거 이벤트의 영향을 간과하고 있습니다. 본 논문은 EVP를 제안합니다. 이는 기존 방법이 과거 이벤트 지식을 활용하는 능력을 향상시키는 플러그인으로 작동할 수 있는 이벤트 인식 동적 그래프 프롬프트 학습 프레임워크입니다. 먼저 각 노드에 대해 일련의 과거 이벤트를 추출하고, 이러한 이벤트의 세밀한 특징을 다운스트림 작업과 정렬하기 위한 이벤트 적응 메커니즘을 도입합니다. 둘째, 과거 지식을 노드 표현에 효과적으로 통합하기 위한 이벤트 집계 메커니즘을 제안합니다. 마지막으로 네 개의 공개 데이터셋에서 광범위한 실험을 수행하여 EVP를 평가하고 분석합니다.

연구 배경 및 동기

문제 정의

본 연구가 해결하고자 하는 핵심 문제는 다음과 같습니다: 동적 그래프 학습에서 과거 이벤트 지식을 효과적으로 활용하여 다운스트림 작업 성능을 향상시키는 방법입니다. 구체적으로는:

1. 사전학습과 다운스트림 작업 목표의 불일치: 전통적인 DGNNs는 일반적으로 링크 예측 작업에서 학습되지만, 다운스트림 작업은 노드 분류일 수 있어 목표 차이 발생
2. 과거 이벤트 영향 간과: 기존 동적 그래프 프롬프트 학습 방법은 주로 노드-시간 관계에 초점을 맞추고, 그래프 진화 과정에서의 과거 이벤트 지식을 무시

중요성

1. 현실적 의의: 실제 세계의 그래프 구조는 이벤트 시퀀스를 통해 진화합니다. 예를 들어 사용자가 Reddit에 게시물을 올리거나 Wikipedia에서 페이지를 생성하는 경우
2. 성능 향상: 과거 이벤트는 미래 이벤트를 예측하고 노드 시계열 표현 학습을 강화할 수 있는 가치 있는 지식을 포함
3. 매개변수 효율성: 프롬프트 학습은 경량 프롬프트만 조정하면 되므로, 저자원 시나리오에서 특히 효과적

기존 방법의 한계

1. 전통적 DGNNs: 사전학습과 다운스트림 작업 목표 불일치 문제 존재
2. 동적 그래프 사전학습 방법: 목표 불일치로 인한 지식 이전의 어려움 직면
3. 기존 동적 그래프 프롬프트 학습: DyGPrompt, TIGPrompt 등은 노드-시간 상호작용만 고려하고, 그래프 구조 진화 정보인 과거 이벤트를 무시

핵심 기여

1. EVP 프레임워크 제안: 첫 번째 이벤트 인식 동적 그래프 프롬프트 학습 프레임워크로, 기존 동적 그래프 학습 방법을 플러그인으로 향상시킬 수 있음
2. 이벤트 적응 메커니즘: 과거 이벤트의 세밀한 특징을 포착하고 다운스트림 작업 요구사항에 적응하도록 설계된 이벤트 프롬프트
3. 이벤트 집계 메커니즘: 동적 프롬프트와 시간 감쇠 함수를 결합하여 과거 이벤트 지식을 효과적으로 통합
4. 광범위한 실험 검증: 네 개의 벤치마크 데이터셋에서 EVP의 효과성과 플러그인으로서의 범용성 검증

방법 상세 설명

작업 정의

• 입력: 동적 그래프 G = (V, E, T), 여기서 V는 노드 집합, E는 간선 집합, T는 시간축
• 이벤트 정의: 각 간선 (vi, vj, t) ∈ E는 시간 t에서 노드 vi에서 vj로의 상호작용 이벤트를 나타냄
• 목표: 과거 이벤트 지식을 활용하여 시계열 링크 예측 및 노드 분류 작업 성능 향상

모델 아키텍처

1. 이벤트 추출 (Event Extraction)

시간 t에서 노드 v에 대해 K개의 과거 이벤트 추출:

Ev,t = {E¹v,t, E²v,t, ..., EᴷV,t}

각 이벤트는 다음과 같이 표현됨:

Eᵏv,t = (v, uᵏv,t, zᵏv,t)

여기서 zᵏv,t는 k번째 이벤트가 발생한 시간이고, uᵏv,t는 상호작용한 대상 노드입니다.

2. 이벤트 적응 메커니즘 (Event Adaptation)

먼저 이벤트 임베딩 계산:

eᵏv,t = FUSE(hv, huᵏv,t)

그 다음 이벤트 프롬프트를 통한 적응:

êᵏv,t = pe ⊙ eᵏv,t

여기서 pe는 학습 가능한 이벤트 프롬프트 벡터이고, ⊙는 요소별 곱셈을 나타냅니다.

3. 이벤트 집계 메커니즘 (Event Aggregation)

시간 감쇠 함수와 동적 프롬프트 결합:

ẽv,t = Σᵏ₌₁ᴷ pᵏdy · êᵏv,t

여기서 pdy ∈ Rᴷ는 동적 프롬프트이고, pᵏdy는 그 k번째 차원입니다.

동시에 시간 감쇠 고려:

êv,t = Σᵏ₌₁ᴷ exp(t - zᵏv,t) · êᵏv,t

4. 프롬프트 튜닝 (Prompt Tuning)

과거 이벤트 임베딩을 노드 임베딩과 통합:

ĥv,t = hv,t + ẽv,t

기술 혁신점

1. 처음으로 이벤트 인식 도입: 기존 방법과 달리 EVP는 과거 이벤트가 현재 행동에 미치는 영향을 명시적으로 모델링
2. 이중 계층 집계 전략: 시간 근접성을 반영하는 시간 감쇠와 패턴 유사성을 포착하는 동적 프롬프트 결합
3. 즉시 플러그인 설계: DGNNs, 사전학습 방법 및 프롬프트 학습 방법에 무결하게 통합 가능
4. 세밀한 이벤트 모델링: 이벤트 프롬프트를 통해 다양한 이벤트 특징을 특정 다운스트림 작업에 적응

실험 설정

데이터셋

네 개의 벤치마크 데이터셋 사용:

평가 지표

• 링크 예측: AUC-ROC
• 노드 분류: AUC-ROC
• 귀납식 및 변환식 두 가지 설정 지원

비교 방법

네 가지 기본선 방법 범주 포함:

1. 전통적 DGNNs: ROLAND, TGAT, TGN, TREND, GraphMixer
2. 동적 그래프 사전학습: DDGCL, CPDG
3. 정적 그래프 프롬프트 학습: GraphPrompt, ProG
4. 동적 그래프 프롬프트 학습: TIGPrompt, DyGPrompt

구현 세부사항

• 데이터 분할: 80% 사전학습, 20% 다운스트림 작업 (1%/1%/18% 훈련/검증/테스트)
• 저자원 설정: 다운스트림 튜닝에 30개 이벤트만 사용
• 100회 샘플링으로 다양한 작업 구성, 각 작업 5회 실행 후 평균 계산

실험 결과

주요 결과

모든 작업에서 EVP가 최고 성능 달성:

시계열 링크 예측 (변환식):

• Wikipedia: 98.47±0.80% (vs DyGPrompt 94.33±0.12%)
• Reddit: 99.85±0.14% (vs DyGPrompt 96.82±0.06%)
• MOOC: 98.16±0.54% (vs DyGPrompt 70.17±0.75%)
• Genre: 99.90±0.02% (vs DyGPrompt 87.02±1.63%)

노드 분류:

• Wikipedia: 87.18±3.21% (vs DyGPrompt 82.09±6.43%)
• Reddit: 76.77±7.93% (vs DyGPrompt 74.00±3.10%)
• MOOC: 78.78±4.04% (vs DyGPrompt 77.78±5.08%)

플러그인 효과 검증

EVP는 플러그인으로서 7가지 다양한 방법의 성능을 크게 향상시킬 수 있음:

TGAT를 예로 들면:

• 변환식 링크 예측: 55.78%에서 76.50%로 향상 (Wikipedia)
• 귀납식 링크 예측: 48.21%에서 76.65%로 향상 (Wikipedia)
• 노드 분류: 67.00%에서 79.03%로 향상 (Wikipedia)

제거 실험

EVP의 세 가지 변형 비교:

• EVP-EP: 이벤트 프롬프트만 사용, 직접 합산 집계
• EVP-DP: 동적 프롬프트만 사용, 시간 감쇠 없음
• EVP-TD: 시간 감쇠만 사용, 동적 프롬프트 없음

결과는 완전한 EVP가 모든 설정에서 변형보다 우수함을 보여주며, 각 구성 요소의 필요성을 증명합니다.

하이퍼파라미터 민감도 분석

과거 이벤트 수량 K에 대한 분석 결과:

• 링크 예측: K=9일 때 최고 성능 달성
• 노드 분류: K=3일 때 최고 성능 달성
• 과도한 과거 이벤트는 노이즈를 유입시켜 성능 저하 가능

관련 연구

동적 그래프 학습

1. DGNNs: 시간 요소를 통해 동적으로 이웃 정보를 집계하여 노드 임베딩 업데이트
2. 동적 그래프 사전학습: "사전학습-미세조정" 패러다임 채택, 그러나 목표 불일치 문제 존재
3. 시계열 표현 학습: 그래프 구조 변화를 포착하기 위한 다양한 전략 설계

동적 그래프 프롬프트 학습

DyGPrompt, TIGPrompt 등 기존 방법은 시간 인식 및 노드 인식 프롬프트를 설계하지만, 과거 이벤트의 영향을 무시합니다. EVP는 이 공백을 채웁니다.

결론 및 논의

주요 결론

1. 과거 이벤트 지식의 중요성: EVP는 과거 이벤트를 활용하여 동적 그래프 학습 성능을 크게 향상시킴
2. 강한 범용성: 플러그인으로서 다양한 기존 방법을 향상시킬 수 있음
3. 합리적 설계: 이벤트 적응 및 집계 메커니즘 모두 성능 향상에 중요한 기여

한계

1. 계산 복잡도: 각 노드에 대해 K개의 과거 이벤트를 추출하고 처리해야 함
2. 하이퍼파라미터 민감성: K값은 다양한 작업에 따라 조정 필요
3. 이벤트 정의의 한계: 현재는 노드 간 상호작용 이벤트만 고려
4. 해석 가능성 부족: 학습된 이벤트 패턴에 대한 심층 분석 부재

향후 방향

1. 더 복잡한 이벤트 모델링: 이벤트 유형, 강도 등의 속성 고려
2. 자적응 이벤트 선택: 각 노드의 최적 과거 이벤트 수량을 동적으로 결정
3. 이론적 분석: EVP 효과성에 대한 이론적 보증 제공
4. 대규모 응용: 더 큰 규모의 실제 동적 그래프에서 검증

심층 평가

장점

1. 높은 혁신성: 동적 그래프 프롬프트 학습에서 처음으로 이벤트 인식을 도입하여 중요한 공백 채움
2. 정교한 설계: 이벤트 적응 및 집계 메커니즘이 합리적으로 설계되어 시간성과 패턴성을 모두 고려
3. 충분한 실험: 다양한 데이터셋과 작업에서 검증, 상세한 제거 실험 및 플러그인 효과 분석 포함
4. 높은 실용 가치: 즉시 플러그인 설계로 기존 방법에 쉽게 적용 가능
5. 현저한 성능 향상: 모든 테스트 시나리오에서 현저한 성능 향상 달성

부족한 점

1. 약한 이론적 기초: 과거 이벤트가 효과적인 이유에 대한 이론적 분석 부재
2. 계산 오버헤드 분석 부족: 추가되는 계산 및 저장 오버헤드에 대한 상세 분석 미흡
3. 단순화된 이벤트 모델링: 이벤트를 노드 쌍 상호작용으로 단순 모델링하여 중요 정보 손실 가능
4. 데이터셋 한계: 주로 상대적으로 작은 데이터셋에서 검증, 대규모 검증 부족
5. 해석 가능성 부족: 학습된 과거 이벤트 패턴에 대한 분석 및 시각화 미제공

영향력

1. 학술 기여: 동적 그래프 학습 분야에 새로운 연구 방향과 아이디어 제공
2. 실용 가치: 즉시 플러그인 특성으로 커뮤니티에서 쉽게 채택 가능
3. 영감 제공: 그래프 진화 과정에서의 이벤트 모델링에 관한 더 많은 연구 영감 가능
4. 재현성: 상세한 구현 세부사항 및 하이퍼파라미터 설정 제공

적용 시나리오

1. 소셜 네트워크 분석: 사용자 행동 예측, 커뮤니티 진화 분석
2. 추천 시스템: 과거 상호작용 기반 동적 추천
3. 지식 그래프: 엔티티 관계의 시계열 진화 모델링
4. 생물정보학: 단백질 상호작용 네트워크의 동적 분석
5. 금융 위험 관리: 거래 네트워크에서의 이상 탐지

참고문헌

논문은 동적 그래프 학습, 그래프 신경망, 프롬프트 학습 등 관련 분야의 중요한 연구를 인용하여 독자에게 포괄적인 배경 지식을 제공합니다. 주요 참고문헌에는 TGN, TGAT 등 고전적 동적 그래프 방법과 GraphPrompt, DyGPrompt 등 프롬프트 학습 방법이 포함됩니다.

종합 평가: 이는 동적 그래프 프롬프트 학습 분야에서 중요한 기여를 한 고품질 연구 논문입니다. EVP 프레임워크는 합리적으로 설계되었고, 실험 검증이 충분하며, 높은 실용 가치와 학술적 의미를 가집니다. 일부 이론 및 실험 측면의 부족함이 있지만, 전체적으로 해당 분야의 중요한 진전입니다.