2025-11-22T20:07:15.604385

Semantic-Condition Tuning: Fusing Graph Context with Large Language Models for Knowledge Graph Completion

Liu, Wen, Sun et al.

Fusing Knowledge Graphs with Large Language Models is crucial for knowledge-intensive tasks like knowledge graph completion. The prevailing paradigm, prefix-tuning, simply concatenates knowledge embeddings with text inputs. However, this shallow fusion overlooks the rich relational semantics within KGs and imposes a significant implicit reasoning burden on the LLM to correlate the prefix with the text. To address these, we propose Semantic-condition Tuning (SCT), a new knowledge injection paradigm comprising two key modules. First, a Semantic Graph Module employs a Graph Neural Network to extract a context-aware semantic condition from the local graph neighborhood, guided by knowledge-enhanced relations. Subsequently, this condition is passed to a Condition-Adaptive Fusion Module, which, in turn, adaptively modulates the textual embedding via two parameterized projectors, enabling a deep, feature-wise, and knowledge-aware interaction. The resulting pre-fused embedding is then fed into the LLM for fine-tuning. Extensive experiments on knowledge graph benchmarks demonstrate that SCT significantly outperforms prefix-tuning and other strong baselines. Our analysis confirms that by modulating the input representation with semantic graph context before LLM inference, SCT provides a more direct and potent signal, enabling more accurate and robust knowledge reasoning.

academic

의미론적 조건 튜닝: 지식 그래프 완성을 위한 그래프 컨텍스트와 대규모 언어 모델의 융합

기본 정보

논문 ID: 2510.08966
제목: Semantic-Condition Tuning: Fusing Graph Context with Large Language Models for Knowledge Graph Completion
저자: Ruitong Liu, Yan Wen, Te Sun, Yunjia Wu, Pingyang Huang, Zihang Yu, Siyuan Li
분류: cs.AI cs.CL
발표 시간/학회: The ACM Web Conference, 2026년 4월 13-17일, 두바이, UAE
논문 링크: https://arxiv.org/abs/2510.08966

초록

본 논문은 지식 그래프 완성 작업에서 지식 그래프와 대규모 언어 모델(LLM) 융합 문제를 해결하기 위한 새로운 지식 주입 패러다임인 의미론적 조건 튜닝(Semantic-Condition Tuning, SCT)을 제안합니다. 기존의 접두사 튜닝 방법은 지식 임베딩과 텍스트 입력을 단순히 연결하는데, 이러한 얕은 수준의 융합은 지식 그래프의 풍부한 관계 의미론을 무시하고 LLM에 무거운 암묵적 추론 부담을 줍니다. SCT는 두 가지 핵심 모듈을 포함합니다: 의미론적 그래프 모듈은 그래프 신경망을 사용하여 국소 그래프 이웃에서 컨텍스트 인식 의미론적 조건을 추출하고, 조건 적응형 융합 모듈은 두 개의 매개변수화된 프로젝터를 통해 텍스트 임베딩을 적응적으로 조절하여 깊은 수준의 특성 기반 지식 인식 상호작용을 실현합니다.

연구 배경 및 동기

핵심 문제

지식 그래프의 불완전성: 현실의 지식 그래프는 본질적으로 불완전하여 하위 응용 프로그램에서의 유용성을 제한합니다
얕은 수준 융합의 한계: 기존의 접두사 튜닝 방법은 단순한 연결 작업만 수행하여 지식 그래프의 구조 정보를 충분히 활용할 수 없습니다
관계 의미론의 동적성: 관계의 의미는 주변의 의미론적 컨텍스트에 따라 동적으로 변합니다. 그림 1에 표시된 "treats" 관계는 서로 다른 컨텍스트에서 다양한 치료 메커니즘을 나타냅니다

연구의 중요성

지식 그래프 완성은 추천 시스템, 정보 추출, 질의응답 시스템 등의 응용에 매우 중요합니다
LLM은 깊이 있고 정확한 사실 지식이 부족하여 환각 문제가 발생하기 쉽습니다
지식 그래프의 명시적 구조화된 지식과 LLM의 암묵적 매개변수화된 지식을 효과적으로 융합할 필요가 있습니다

기존 방법의 한계

접두사 튜닝의 얕은 특성: 단순한 연결 작업으로는 깊은 수준의 통합을 실현할 수 없습니다
관계 의미론 무시: 지식 그래프의 풍부한 관계 의미론을 포착하지 못합니다
추론 부담: LLM에 접두사와 텍스트를 연관시키기 위한 무거운 암묵적 추론 부담을 줍니다

핵심 기여

SCT 프레임워크 제안: 컨텍스트 인식과 적응형 임베딩 융합을 통합한 최초의 의미론적 조건 튜닝 프레임워크로, 기존의 단순한 접두사 튜닝 연결의 한계를 극복합니다
의미론적 그래프 모듈: 지식 강화 관계 설명의 명시적 의미론적 유사도 점수로 이웃 선택이 안내되는 새로운 관계 중심 메시지 전달 메커니즘을 제안합니다
조건 적응형 융합 모듈: 의미론적 조건을 사용하여 입력 텍스트 임베딩의 직접 특성 수준 아핀 변환을 학습하는 융합 메커니즘을 도입하여 그래프 컨텍스트의 깊은 협력적 통합을 실현합니다
성능 검증: 여러 벤치마크에서 SCT의 최첨단 성능과 높은 매개변수 효율성을 입증합니다

방법론 상세 설명

작업 정의

지식 그래프 G는 삼중항 집합 T = {(h, r, t) | h, t ∈ E, r ∈ R}으로 정의되며, 여기서 E와 R은 각각 실체와 관계 집합을 나타냅니다. 지식 그래프 완성 작업은 주어진 삼중항에서 누락된 요소를 추론하는 것입니다. 예를 들어 쿼리(h, r, ?)에서 꼬리 실체 t를 예측합니다. LLM 기반 KGC에서 이 작업은 텍스트 생성 문제로 형식화됩니다.

모델 아키텍처

1. 의미론적 그래프 모듈 (Semantic Graph Module)

지식 강화:

강력한 LLM(GPT-4O)을 사용하여 각 관계 유형에 대한 규범적 텍스트 설명 생성
사전 학습된 문장 임베딩 모델(Sentence-BERT)을 사용하여 설명을 의미론적 벡터로 인코딩

관계 중심 메시지 전달:

KG의 관계 구조를 주요 계산 그래프로 사용
간선(관계)은 인접 간선의 정보를 집계하여 상태를 업데이트
Top-K 선택 메커니즘을 사용하여 의미론적으로 가장 관련성 높은 이웃을 필터링:

Score(ec, en) = (sc · sn) / (||sc||2 ||sn||2)

Transformer 계층 업데이트:

s^(l+1)_c = TransformerLayer(s^l_c, s̄_N_K(ec))

의미론적 조건 생성:

cS = MeanPool({s^L_h,i}_i ∪ {s^L_t,j}_j)

2. 조건 적응형 융합 모듈 (Condition-Adaptive Fusion Module)

특성별 선형 조절(Feature-wise Linear Modulation, FiLM) 메커니즘 사용:

X' = X ⊙ γ + β
γ = σ(MLP1(cS))
β = MLP2(cS)

여기서 γ는 스케일 벡터, β는 오프셋 벡터이며, 텍스트 임베딩의 특성 수준 아핀 변환을 실현합니다.

기술 혁신점

깊은 수준 융합 vs 얕은 수준 연결: 단순한 접두사 연결과 달리 SCT는 특성 수준의 깊은 상호작용을 실현합니다
의미론 기반 이웃 선택: 작업 특정 학습 표현이 아닌 LLM 강화 관계 설명을 사용한 의미론적 유사도 계산
관계 중심 그래프 처리: 실체가 아닌 관계에 초점을 맞춰 더 효율적이고 의미론적으로 지시적입니다

실험 설정

데이터셋

링크 예측:

WN18RR: 40,943개 실체, 11개 관계, 86,835개 학습 삼중항
FB15k-237: 14,541개 실체, 237개 관계, 272,115개 학습 삼중항

삼중항 분류:

UMLS: 135개 실체, 46개 관계
CoDeX-S: 2,034개 실체, 42개 관계
FB15k-237N: 13,104개 실체, 93개 관계

평가 지표

링크 예측: 평균 역순위(Mean Reciprocal Rank, MRR)와 Hits@N
삼중항 분류: 정확도(Accuracy, Acc), 정밀도(Precision, P), 재현율(Recall, R), F1-점수

비교 방법

임베딩 방법: TransE, CompGCN, AdaProp, MA-GNN 등 LLM 방법: KICGPT, KG-FIT, MKGL, SSQR-LLaMA2, KoPA 등

구현 세부사항

Alpaca-7B 기반 구현
의미론적 그래프 모듈: 2계층 Transformer, Top-K=10
LoRA(rank=64)를 사용한 LLM 미세 조정
AdamW 최적화기, 배치 크기 12
2단계 학습 전략

실험 결과

주요 결과

링크 예측 성능:

WN18RR 데이터셋: 최강 기준선 SSQR-LLaMA2 대비 MRR 2.2% 향상, Hits@1 2.4% 향상, Hits@3 2.6% 향상
FB15k-237 데이터셋: MRR 4.9% 대폭 향상, Hits@1 1.6% 향상, Hits@10 4.4% 향상

삼중항 분류 성능:

UMLS 데이터셋: 정확도 93.15%, F1 점수 93.18%, 최고 성능 달성
FB15k-237N 데이터셋: 정확도 78.02%, 정밀도 71.10%, F1 점수 80.93%, 모두 최고 성능
CoDeX-S 데이터셋: 정밀도 78.52% 최고, 기타 지표는 강력한 기준선과 동등

소거 실험

구성 요소 유효성 검증:

의미론 제거 (w/o Semantics): 의미론적 그래프 모듈을 제거하고 기존 KGE로 대체
- FB15k-237에서 MRR이 0.471에서 0.433으로 감소, Hits@1이 0.380에서 0.327로 감소
융합 제거 (w/o Fusion): 조건 적응형 융합 모듈을 제거하고 접두사 튜닝으로 변경
- 성능 저하가 가장 심각하며, MRR과 Hits@1이 각각 0.062와 0.081 감소

점수 함수 비교:

RotatE 스타일 함수가 최고 성능 달성, MRR 0.471
단순한 DistMult와 MLP는 성능 명백히 저하

사례 분석

의미론 강화 효과: 쿼리(Barack Obama, /government/politician/government_positions_held..., ?)의 예:

지식 강화 없음: 어휘 중복을 기반으로 Gov Position (Title) 등이 상위 순위
지식 강화 있음: Person (Nationality) 등 의미론적으로 관련된 개념의 순위 향상, 얕은 텍스트 매칭에서 진정한 의미론적 관련성으로의 전환 체현

하이퍼파라미터 민감도: Top-K 매개변수는 K=10일 때 최고 성능 달성(MRR=0.471, Hit@1=0.380), 너무 작음(K=4)은 정보 부족, 너무 큼(K=32)은 노이즈 도입.

결론 및 논의

주요 결론

SCT는 깊은 수준의 특성 기반 융합을 통해 얕은 수준의 접두사 튜닝 방법을 크게 능가합니다
의미론적 그래프 모듈은 컨텍스트 인식 관계 의미론을 효과적으로 포착할 수 있습니다
조건 적응형 융합 모듈은 지식과 텍스트의 깊은 수준 협력적 통합을 실현합니다
여러 벤치마크에서 최첨단 또는 높은 경쟁력 있는 성능을 달성합니다

한계

제한된 추론 깊이: 현재 프레임워크의 추론 깊이는 여전히 제한적입니다
동적 지식 그래프 적응성 부족: 동적으로 변하는 지식 그래프에 대한 적응성 개선 필요
계산 복잡도: 2단계 학습 및 복잡한 융합 메커니즘이 계산 비용을 증가시킵니다

향후 방향

계층적 의미론적 조건 생성: 계층적 메커니즘을 도입하여 추론 깊이 강화
시간 인식: 동적 지식을 처리하기 위한 시간 인식 능력 통합
응용 범위 확장: 시간 지식 그래프 등 더 복잡한 시나리오에서의 응용 탐색

심층 평가

장점

방법의 높은 혁신성: 특성 수준 깊은 융합 패러다임을 최초로 제안하여 기존 접두사 튜닝의 한계 돌파
합리적인 기술 설계: 관계 중심 메시지 전달과 의미론 기반 이웃 선택 설계가 정교합니다
충분하고 포괄적인 실험: 링크 예측과 삼중항 분류 두 가지 작업 유형, 여러 데이터셋 검증
상세한 소거 실험: 각 구성 요소의 기여도를 체계적으로 검증
심층적 사례 분석: 구체적인 예시를 통해 의미론 강화 효과 입증

부족한 점

계산 복잡도 분석 부족: 2단계 학습의 계산 오버헤드에 대한 상세 분석 없음
확장성 논의 제한적: 초대규모 지식 그래프에 대한 적용 가능성 분석 부족
오류 분석 결여: 실패 사례에 대한 심층 분석 부재
기준선 선택: 일부 기준선 방법이 최신 최강 방법이 아닐 수 있음

영향력

이론적 기여: 지식 그래프와 LLM 융합을 위한 새로운 패러다임 제공
실용적 가치: 여러 벤치마크에서의 우수한 성능이 실용성 입증
재현성: 상세한 구현 세부사항 제공으로 재현 용이
영감: 특성 수준 융합 아이디어가 관련 연구에 영감 제공 가능

적용 시나리오

지식 집약적 작업: 구조화된 지식이 필요한 추론 작업에 특히 적합
중등 규모 지식 그래프: 현재 실험 규모는 중등 규모 KG 응용에 적합함을 시사
높은 정확도 요구 시나리오: 정확도가 효율성보다 중요한 응용에서 우수한 성능 발휘
다중 홉 추론 필요: 복잡한 쿼리의 다중 홉 추론을 효과적으로 처리 가능

참고문헌

본 논문은 80편의 관련 문헌을 인용하였으며, 지식 그래프 임베딩, 그래프 신경망, 대규모 언어 모델 등 여러 분야의 중요한 연구를 포함하여 연구에 견고한 이론적 기초를 제공합니다. 주요 참고 문헌에는 TransE, RotatE 등 고전적 KG 임베딩 방법과 KG-BERT, KoPA 등 LLM-KG 융합의 대표적 연구가 포함됩니다.