지식 그래프를 활용한 효율적인 지원 티켓 해결

기본 정보

• 논문 ID: 2501.00461
• 제목: Efficient support ticket resolution using Knowledge Graphs
• 저자: Sherwin Varghese (SAP Labs India), James Tian (SAP Labs US)
• 분류: cs.AI cs.LG cs.MA
• 발표 기관: SAP Labs
• 논문 링크: https://arxiv.org/abs/2501.00461

초록

16만 개 이상의 고객 사례 분석을 기반으로 한 연구에서 제품 지원팀이 약 90%의 시간을 약 10%의 복잡한 티켓 해결에 소비하고 있으며, 이러한 티켓들은 명백한 해결책이 없는 경우가 많다는 것을 보여줍니다. 많은 어려운 사례는 여러 엔지니어로 구성된 "군집(swarm)"의 협력이 필요하며, 일부는 개발팀의 지원이 버그 처리로 필요합니다. 본 논문은 이 문제를 학습 순위 지정(LTR) 작업으로 모델링하여, 주어진 사건과 현재 할당된 엔지니어 집합에 대해 해당 사건을 해결하기에 가장 적합한 엔지니어의 순위 목록을 생성합니다. 본 논문은 군집 정보를 포함한 다중 데이터 소스 기반 지식 그래프 임베딩을 통한 새로운 방법을 제안하며, 실험 결과는 TF-IDF와 같은 전통적인 기계학습 방법 대비 현저한 개선을 입증합니다.

연구 배경 및 동기

문제 정의

1. 핵심 문제: 고객 지원 티켓 할당 효율성 저하, 약 90%의 시간이 10%의 복잡한 티켓 해결에 소비됨
2. 업무 영향: 높은 처리 시간이 고객 만족도 및 업무 성과에 영향
3. 기술적 과제: 특정 기술 문제를 해결할 이상적인 엔지니어 또는 엔지니어 팀 식별

기존 방법의 한계

1. 전통적 ML 방법: TF-IDF, 랜덤 포레스트 등의 방법은 상대적으로 단순하지만 모델 복잡도가 낮음
2. 관계 모델링 부족: 엔지니어 간 협력 관계 및 팀 문제 해결 패턴 포착 불가
3. 문맥 결여: 엔지니어의 과거 해결 사례에 대한 포괄적인 문맥 이해 부족
4. 프로덕션 시스템 제한: 기존 전문가 매칭 시스템은 사전 정의된 가중치 사용으로 학습 능력 부족

연구 동기

SAP 내부 16만 개 이상의 고객 사례 기반 실제 업무 요구사항을 바탕으로 기계학습 및 지식 그래프 기술을 활용하여 엔지니어-티켓 매칭을 최적화하고, 고객 대기 시간을 단축하며 문제 해결 효율성을 향상시킵니다.

핵심 기여

1. 새로운 지식 그래프 모델링 방법: 다중 데이터 소스 기반 지식 그래프 임베딩 방법 제안으로 군집 협력 정보 통합
2. 학습 순위 지정 프레임워크: 전문가 매칭 문제를 LTR 작업으로 모델링하여 순위 지정 목표 직접 최적화
3. 다중 모달 데이터 융합: 구조화된 데이터(엔지니어 정보, 컴포넌트)와 비구조화된 데이터(사건 설명, KBA 텍스트) 결합
4. 현저한 성능 향상: 여러 평가 지표에서 전통적 방법 대비 대폭 개선
5. 실제 업무 응용: 실제 SAP 고객 지원 데이터 기반 엔드-투-엔드 솔루션

방법론 상세 설명

작업 정의

입력:

• 사건 설명(고객 제공)
• 영향받는 컴포넌트
• 현재 할당된 엔지니어 집합(비어있을 수 있음)
• 엔지니어 전문성 등급
• 과거 군집 데이터

출력: 해당 사건 해결에 가장 적합한 엔지니어의 순위 목록

제약 조건: 엔지니어 가용성, 전문성 일치도, 과거 협력 관계 등 고려

모델 아키텍처

1. 지식 그래프 구축

노드 유형:

• 엔지니어(Engineers)
• 지식 기반 문서(KBAs)
• 사건(Incidents)
• 컴포넌트(Components)

엣지 관계:

• 엔지니어-사건: 해결 관계
• 엔지니어-KBA: 작성 관계
• 엔지니어-엔지니어: 군집 협력 관계
• 사건-컴포넌트: 영향 관계

2. 데이터 처리 파이프라인

데이터 추출 → 정제 전처리 → NLU 임베딩 생성 → 그래프 구조 변환 → GNN 훈련

3. 핵심 기술 컴포넌트

자연어 이해(NLU):

• BERT 등 트랜스포머 모델을 사용한 텍스트 데이터 처리
• 사건 설명 및 KBA 텍스트의 문맥 임베딩 생성
• 계산 복잡도 제어를 위한 경량 NLP 모델 전처리

그래프 신경망(GNN):

• PinSage 알고리즘 구현 채택
• 엔지니어 노드 임베딩 동적 생성
• 그래프 구조를 고려한 손실 함수 정규화

순위 지정 모듈:

• 삼중항 손실 함수(Triplet Loss) 사용
• 사건 벡터와 엔지니어 벡터 간 유사도 계산
• 최종 순위 목록 생성

4. 알고리즘 흐름

def generateGNN():
    # 1. 데이터 ETL 처리
    ETL_process(KBA, Communication, Component, User, Swarm)
    
    # 2. NLU 변환
    embeddings = NLU_transform(KBA, Communication, Components)
    
    # 3. 벡터 정규화
    vectors = normalize_embeddings(embeddings)
    
    # 4. 지식 그래프 구축
    KG = build_networkx_graph(vectors)
    
    # 5. PinSage 순위 지정
    rankings = PinSage_ranking(incident_vector, KG)
    
    # 6. 삼중항 손실 기반 순위 지정
    return rank_engineers(rankings, triplet_loss)

기술 혁신 포인트

1. 다중 소스 이질 데이터 융합: 사건 설명, KBA, 군집 협력, 컴포넌트 정보를 처음으로 통합 모델링
2. 엔드-투-엔드 학습: 사전 정의된 규칙에 의존하지 않고 전문가 매칭 작업 직접 최적화
3. 동적 임베딩 생성: 그래프 구조 및 학습 가중치 기반 문맥 관련 엔지니어 표현 생성
4. 군집 관계 모델링: 엔지니어 협력 관계 명시적 모델링으로 팀 문제 해결 패턴 포착

실험 설정

데이터셋

데이터 소스: SAP 내부 시스템

• Infodocs: 사건 설명, 엔지니어 응답, 처리 기록
• 엔지니어 컴포넌트 전문성: 엔지니어 ID 및 컴포넌트 전문성 등급
• KBA 데이터: 지식 기반 문서 전문, 저자, 컴포넌트 분류
• 군집 데이터: 과거 협력 기록, 군집 요청/응답 관계

데이터 규모:

• 2019년: 781,083개 기록(상위 5k 사용자 포함 678,047개)
• 2020년: 1,396,463개 기록(상위 5k 사용자 포함 1,061,330개)
• 테스트셋: 10K 및 100K 샘플 두 가지 규모

평가 지표

Top-k 적중률: 올바른 엔지니어가 상위 k개 추천에 나타나는지 여부

• Top-50 적중률
• Top-100 적중률
• Top-200 적중률

비교 방법

기준 모델:

1. TF-IDF + 코사인 유사도: 텍스트 유사도 기반 전통적 방법
2. 랜덤 포레스트: 전통적 기계학습 방법
3. XGBoost: 그래디언트 부스팅 트리 방법

구현 세부사항

• 그래프 모델링: NetworkX를 사용한 지식 그래프 구축
• NLU 모델: 텍스트 임베딩용 트랜스포머 아키텍처
• GNN 구현: PinSage 알고리즘 기반
• 훈련 전략: 음성 샘플링을 통한 엔드-투-엔드 훈련
• 시간 범위: 2019-2020년 데이터 제한(군집 기록 완전 기간)

실험 결과

주요 결과

10K 샘플 결과:

100K 샘플 결과:

주요 발견

1. 현저한 성능 향상: 제안된 방법이 모든 지표에서 기준 방법을 크게 능가
2. TF-IDF 강력한 기준: 전통적 ML 방법(RF/XGBoost)의 성능이 TF-IDF보다 훨씬 낮음
3. 규모 효과: 100K 샘플에서 Top-50 성능이 추가로 향상됨(0.64→0.70)
4. 일관된 개선: 서로 다른 데이터 규모 및 평가 지표에서 우위 유지

성능 분석

상대적 개선 폭:

• TF-IDF 대비: Top-50 33% 개선(10K) 및 100% 개선(100K)
• 전통적 ML 대비: 10배 이상 개선
• 훈련 비용: GPU 자원 요구가 기준 방법보다 현저히 높지만 성능 수익이 명확

관련 연구

NLP 분야

• 트랜스포머 모델: BERT, RoBERTa, ALBERT, GPT-3 등 VLLM
• 응용 과제: 모델 규모 크고 엔드-투-엔드 미세 조정 계산 비용 높음
• 최적화 전략: 텍스트 전처리, 중요 구간 추출 등

그래프 신경망

• 전통적 방법: Jaccard 유사도, PageRank, 삼중 폐쇄 등 정적 측도
• 현대적 방법: GraphSage, PinSage, 신경 구조 학습(NSL)
• 장점: 동적 임베딩, 작업 기반 최적화, 깊은 CNN 대 전통적 특성 공학 유사

전문가 추천 시스템

• 기존 프로덕션 시스템: 사전 정의된 가중치 기반, 해결 사건 수, KBA 작성 수 등 고려
• 한계: 학습 기반 아님, 그래프 구조 및 풍부한 NLP 특성 부족

결론 및 논의

주요 결론

1. 방법 유효성: 지식 그래프 임베딩 방법이 전문가 추천 정확도를 현저히 향상
2. 다중 소스 데이터 가치: 군집 정보, 과거 협력 등 문맥 데이터 통합이 실질적 수익 제공
3. 엔드-투-엔드 학습 장점: 전통적 특성 공학보다 추천 작업 직접 최적화가 더 효과적
4. 실제 응용 잠재력: 실제 업무 데이터 기반 검증으로 프로덕션 배포 가치 보유

한계

1. 계산 자원 요구: GPU 훈련 비용이 전통적 방법보다 현저히 높음
2. 데이터 의존성: 풍부한 과거 협력 및 문서 데이터 필요
3. 시간 범위 제한: 평가가 2019-2020년 완전한 군집 데이터로만 제한
4. 콜드 스타트 문제: 신규 엔지니어 또는 신규 유형 문제 처리 능력 미검증

향후 방향

1. 실시간 요소: 엔지니어 시간대, 달력 가용성 정보 통합
2. 동적 업데이트: 신규 KBA, 사건, 사용자 정보 기반 모델 서비스화 배포
3. 데이터 증강: 내부 네트워크 크롤러로 KBA 간 링크 구축, 그래프 구조 풍부화
4. 응용 확대: 다른 고객 지원 및 전문가 추천 시나리오로 확대

심층 평가

장점

1. 실제 문제 주도: 실제 업무 문제점 기반으로 명확한 응용 가치 보유
2. 기술 혁신성: 지식 그래프, 군집 협력, 다중 모달 데이터를 처음으로 통합 모델링
3. 실험 충분성: 다중 기준 비교, 서로 다른 데이터 규모 검증
4. 결과 설득력: 일관되고 현저한 성능 향상으로 통계적 의미 명확
5. 공학적 완성도: 데이터 처리에서 모델 배포까지 엔드-투-엔드 솔루션

부족한 점

1. 이론 분석 부족: 방법 유효성에 대한 이론적 설명 부족
2. 소거 실험 부족: 각 컴포넌트(NLU, GNN, 군집 정보)의 독립적 기여도 분석 미흡
3. 일반화 검증: SAP 데이터에서만 검증으로 교차 영역 일반화 능력 미지
4. 사용자 경험 분석: 실제 배포 후 사용자 만족도 평가 부족
5. 공정성 고려: 추천 알고리즘의 잠재적 편견 문제 미논의

영향력

1. 학술 기여: 전문가 추천 분야에 새로운 모델링 패러다임 제공
2. 산업 가치: 기업 고객 지원 효율성 문제 직접 해결
3. 재현성: 알고리즘 설명이 상대적으로 명확하나 오픈소스 구현 부족
4. 확산 잠재력: 방법이 전문가 매칭이 필요한 다른 시나리오로 확장 가능

적용 시나리오

1. 기업 고객 지원: 기술 지원, 사후 서비스 등 시나리오
2. 지식 관리 시스템: 전문가 발견, 지식 추천 등 응용
3. 협력 플랫폼: 팀 구성, 프로젝트 할당 등 시나리오
4. 교육 훈련: 멘토 매칭, 학습 자료 추천 등 분야

참고 문헌

논문은 다음의 주요 문헌을 인용합니다:

• BERT, RoBERTa, ALBERT 등 트랜스포머 모델
• GraphSage, PinSage 등 그래프 신경망 방법
• GLUE, Super-GLUE 등 NLP 평가 기준
• 신경 구조 학습 프레임워크

종합 평가: 이는 최첨단 AI 기술을 실제 업무 문제에 적용한 우수한 연구로, 기술 방안이 합리적이고 실험 결과가 설득력 있으며 중요한 학술 및 산업 가치를 보유합니다. 이론 분석 및 일반화 검증 측면에서 개선 여지가 있지만, 혁신적인 모델링 방법과 현저한 성능 향상이 전문가 추천 분야의 중요한 기여를 이루고 있습니다.