2025-11-19T06:52:13.983675

Graph Transformer with Disease Subgraph Positional Encoding for Improved Comorbidity Prediction

Qin, Liao

Comorbidity, the co-occurrence of multiple medical conditions in a single patient, profoundly impacts disease management and outcomes. Understanding these complex interconnections is crucial, especially in contexts where comorbidities exacerbate outcomes. Leveraging insights from the human interactome (HI) and advancements in graph-based methodologies, this study introduces Transformer with Subgraph Positional Encoding (TSPE) for disease comorbidity prediction. Inspired by Biologically Supervised Embedding (BSE), TSPE employs Transformer's attention mechanisms and Subgraph Positional Encoding (SPE) to capture interactions between nodes and disease associations. Our proposed SPE proves more effective than LPE, as used in Dwivedi et al.'s Graph Transformer, underscoring the importance of integrating clustering and disease-specific information for improved predictive accuracy. Evaluated on real clinical benchmark datasets (RR0 and RR1), TSPE demonstrates substantial performance enhancements over the state-of-the-art method, achieving up to 28.24% higher ROC AUC and 4.93% higher accuracy. This method shows promise for adaptation to other complex graph-based tasks and applications. The source code is available in the GitHub repository at: https://github.com/xihan-qin/TSPE-GraphTransformer.

academic

질병 부분그래프 위치 인코딩을 이용한 그래프 Transformer의 개선된 동반질환 예측

기본 정보

논문 ID: 2503.03046
제목: Graph Transformer with Disease Subgraph Positional Encoding for Improved Comorbidity Prediction
저자: Xihan Qin, Li Liao (University of Delaware)
분류: cs.LG (기계학습)
논문 링크: https://arxiv.org/abs/2503.03046
코드 링크: https://github.com/xihan-qin/TSPE-GraphTransformer

초록

본 연구는 동반질환(comorbidity) 예측 문제를 해결하기 위해 부분그래프 위치 인코딩 기반의 그래프 Transformer 방법(TSPE)을 제안한다. 본 방법은 인간 상호작용 조직(Human Interactome, HI) 데이터를 활용하여 Transformer의 주의 메커니즘과 새로운 부분그래프 위치 인코딩(SPE)을 통해 노드 간 상호작용과 질병 연관성을 포착한다. 임상 벤치마크 데이터셋 RR0 및 RR1에 대한 실험 결과, TSPE는 기존 최고 성능 방법 대비 ROC AUC에서 최대 28.24% 향상, 정확도에서 4.93% 향상을 달성했다.

연구 배경 및 동기

문제 정의

핵심 문제: 동반질환 예측, 즉 동일 환자에서 여러 질병이 동시에 발생할 가능성 예측
중요성: 동반질환은 질병 관리, 치료 전략 및 예후 결과에 상당한 영향을 미치며, 특히 COVID-19 같은 대유행 상황에서 특정 동반질환은 더 심각한 결과를 초래한다
기존 방법의 한계:
- 측지선 임베딩(GE) 같은 전통적 방법의 성능 제한
- 기존 최고 성능 방법인 BSE는 감독 선택 메커니즘을 도입했으나 여전히 전통적 SVM 분류기 사용
- Dwivedi 등의 그래프 Transformer가 사용하는 라플라시안 위치 인코딩(LPE)은 질병 특이적 정보 부족

연구 동기

BSE 연구에서 강조한 노드 연결성과 질병 연관성의 중요성을 바탕으로, 본 논문은 Transformer 모델의 주의 메커니즘과 전문적으로 설계된 부분그래프 위치 인코딩을 활용하여 동반질환 예측 성능을 개선하는 방법을 탐색한다.

핵심 기여

TSPE 프레임워크 제안: Transformer 아키텍처를 동반질환 예측 작업에 처음 적용하고, 그래프 데이터에 적합한 인코더-디코더 구조 설계
혁신적인 부분그래프 위치 인코딩(SPE): 라플라시안 위치 인코딩(LPE)의 클러스터링 정보와 그래프 인코더 임베딩 위치 인코딩(GPE)의 질병 레이블 정보 결합
현저한 성능 향상: 두 벤치마크 데이터셋에서 기존 최고 성능 방법을 대폭 초과
포괄적인 제거 실험: 다양한 위치 인코딩 방법의 효과성 검증

방법 상세 설명

작업 정의

입력: 인간 상호작용 조직 그래프의 두 질병 부분그래프(단백질 노드 집합)
출력: 이진 분류 결과, 두 질병의 동반질환 여부 판단
제약: 임상 상대 위험도(RR) 값을 기반으로 양성/음성 샘플 정의

모델 아키텍처

전체 프레임워크

TSPE는 인코더-디코더 아키텍처를 채택한다:

인코더: 질병 A의 노드 임베딩 처리
디코더: 질병 B의 노드 임베딩 처리, 교차 주의를 통해 질병 간 관계 학습
분류층: 디코더 출력을 이진 분류 결과로 변환

핵심 기술 구성요소

1. 노드 임베딩 생성 Node2Vec을 사용하여 노드 임베딩 생성, 매개변수 설정: p=1, q=1(균형잡힌 무작위 보행), 윈도우 크기 2

2. 부분그래프 위치 인코딩(SPE) SPE = (M + LPE), GPE, 여기서:

M: 노드 임베딩 행렬
LPE: 라플라시안 위치 인코딩, 그래프의 클러스터링 정보 포착
GPE: 그래프 인코더 임베딩 위치 인코딩, 질병 레이블 정보 포착

3. GPE 계산 과정

Z = AW                    # (11) GEE 임베딩 계산
Z = UΣV^T                 # (12) 특이값 분해
GPE = U_d                 # (13) 상위 d개 좌측 특이 벡터 선택

4. 분류 메커니즘

s = softmax(||X||²₂,axis=1)     # (6) 점수 벡터 계산
y_cand = Σ(X·diag(s))_j         # (8) 가중 합산
y_pred = σ(Wy_cand + b)         # (9) 최종 예측

기술 혁신점

통합된 주의 메커니즘: 마스킹되지 않은 다중 헤드 주의를 사용하여 모델이 부분그래프 내 모든 노드에 집중 가능
질병 특이적 위치 인코딩: GPE는 질병 레이블 정보를 직접 활용하여 전통적 LPE보다 더 표적화됨
다층 정보 융합: SPE는 그래프의 위상 구조(LPE)와 생물학적 의미(GPE)를 동시에 포착

실험 설정

데이터셋

출처: Menche 등의 인간 상호작용 조직 데이터셋
규모: 13,460개 단백질 노드, 153개 질병 부분그래프, 10,743개 질병 쌍
데이터셋 분할:
- RR0: RR > 0을 양성 샘플로 정의(82.6% 양성 샘플)
- RR1: RR > 1을 양성 샘플로 정의(58.4% 양성 샘플)

평가 지표

주요 지표: ROC AUC(불균형 데이터셋에 적합)
보조 지표: 정확도(Accuracy)

비교 방법

Node2Vec + SVM
BSE + Node2Vec + SVM(기존 최고 성능 방법)

구현 세부사항

매개변수	값
층 수	3
학습률	1e-04
배치 크기	20
Dropout	0.2
노드 임베딩 차원	64
주의 헤드 수	8
GPE 차원	8
LPE 차원	64

실험 결과

주요 결과

RR0 데이터셋:

방법	ROC AUC	정확도
SVM	0.5309 ± 0.0105	0.8357 ± 0.0039
BSE_SVM	0.6665 ± 0.0301	0.8765 ± 0.0117
TSPE	0.9489 ± 0.0501	0.9069 ± 0.0683

RR1 데이터셋:

방법	ROC AUC	정확도
SVM	0.5497 ± 0.0079	0.6150 ± 0.0078
BSE_SVM	0.6469 ± 0.0183	0.6801 ± 0.0166
TSPE	0.8009 ± 0.0152	0.7294 ± 0.0138

제거 실험

RR1 데이터셋에서 다양한 위치 인코딩 방법 테스트:

위치 인코딩	ROC AUC	정확도
NoPE	0.7971 ± 0.0146	0.7214 ± 0.0202
LPE	0.8007 ± 0.0179	0.7234 ± 0.0202
SPE	0.8009 ± 0.0152	0.7294 ± 0.0138

실험 발견

현저한 성능 향상: TSPE는 BSE_SVM 대비 RR0에서 ROC AUC 28.24% 향상, RR1에서 15.40% 향상
위치 인코딩의 중요성: SPE가 LPE보다 우수한 성능을 보여 질병 레이블 정보의 가치 입증
주의 메커니즘의 효과성: Transformer 아키텍처가 전통적 SVM 분류기를 크게 능가

결론 및 토론

주요 결론

TSPE는 Transformer 아키텍처를 동반질환 예측 작업에 성공적으로 적응
부분그래프 위치 인코딩 SPE는 위상 및 생물학적 정보를 효과적으로 결합
주의 메커니즘은 단백질 노드 간의 복잡한 관계를 효과적으로 포착

한계

데이터 의존성: SPE 사용을 위해 질병 레이블 정보 필요
계산 복잡도: Transformer 아키텍처는 전통적 방법 대비 계산 오버헤드 증가
해석 가능성: 주의 가중치의 생물학적 의미에 대한 추가 연구 필요

향후 방향

다른 부분그래프 관계 예측 작업으로 적응
더 많은 유형의 위치 인코딩 방법 탐색
모델의 해석 가능성 향상

심층 평가

장점

방법의 혁신성 강함: Transformer를 동반질환 예측에 처음 성공적으로 적용
기술 기여 명확: SPE 위치 인코딩 설계가 합리적이고 다양한 정보를 효과적으로 융합
실험 설계 완성도: 충분한 비교 실험 및 제거 연구 포함
성능 향상 현저: 두 벤치마크 데이터셋에서 모두 대폭 개선

부족한 점

이론적 분석 부족: Transformer가 이 작업에서 효과적인 이유에 대한 심층 이론적 분석 부재
계산 효율성 미논의: 훈련 시간 및 추론 효율성 비교 미보고
생물학적 검증 제한: 예측 결과의 생물학적 의미에 대한 검증 부족

영향력

학술적 가치: 그래프 Transformer의 생의학 분야 응용에 새로운 사고 제공
실용적 가치: 임상 의사결정 지원 시스템에 직접 적용 가능
재현성: 완전한 코드 구현 제공

적용 시나리오

질병 위험 평가 및 개인화 의료
약물 재창출 및 부작용 예측
기타 그래프 기반 생의학 예측 작업

참고문헌

Menche et al. "Uncovering disease-disease relationships through the incomplete interactome." Science (2015)
Dwivedi & Bresson. "A generalization of transformer networks to graphs." AAAI Workshop (2021)
Grover & Leskovec. "node2vec: Scalable feature learning for networks." KDD (2016)

종합 평가: 이는 Transformer 아키텍처를 동반질환 예측 분야에 성공적으로 도입한 고품질 연구 논문이다. 제안된 SPE 위치 인코딩 방법은 명확한 생물학적 동기와 기술적 혁신성을 갖추고 있다. 인상적인 실험 결과는 관련 분야 연구에 귀중한 참고 자료를 제공한다.