Risoluzione efficiente dei ticket di supporto utilizzando Knowledge Graphs

Informazioni Fondamentali

• ID Articolo: 2501.00461
• Titolo: Efficient support ticket resolution using Knowledge Graphs
• Autori: Sherwin Varghese (SAP Labs India), James Tian (SAP Labs US)
• Classificazione: cs.AI cs.LG cs.MA
• Istituzione di Pubblicazione: SAP Labs
• Link Articolo: https://arxiv.org/abs/2501.00461

Riassunto

L'analisi di oltre 160.000 casi clienti rivela che i team di supporto prodotto dedicano circa il 90% del tempo alla risoluzione di circa il 10% dei ticket complessi, che spesso non hanno soluzioni evidenti. Molti casi impegnativi richiedono la collaborazione di più ingegneri organizzati in "sciami" (swarm), e alcuni richiedono persino il supporto del team di sviluppo come correzione di bug. Questo articolo modella il problema come un compito di Learning to Rank (LTR), generando un elenco ordinato di ingegneri più idonei a risolvere un determinato incidente, dato l'evento e l'insieme di ingegneri attualmente assegnati. L'articolo propone un approccio innovativo attraverso la modellazione di embedding di knowledge graph da più fonti di dati, includendo informazioni sugli sciami, e i risultati sperimentali dimostrano miglioramenti significativi rispetto ai metodi tradizionali di machine learning come TF-IDF.

Contesto di Ricerca e Motivazione

Definizione del Problema

1. Problema Centrale: Inefficienza nell'assegnazione dei ticket di supporto clienti, con circa il 90% del tempo dedicato al 10% dei ticket complessi
2. Impatto Aziendale: Tempi di risoluzione elevati influenzano la soddisfazione dei clienti e i risultati aziendali
3. Sfide Tecniche: Identificazione dell'ingegnere o del team di ingegneri ideale per risolvere specifici problemi tecnici

Limitazioni dei Metodi Esistenti

1. Metodi ML Tradizionali: Approcci come TF-IDF e Random Forest sono relativamente semplici ma con bassa complessità del modello
2. Modellazione Relazionale Insufficiente: Incapacità di catturare le relazioni di collaborazione tra ingegneri e i modelli di risoluzione dei problemi in team
3. Mancanza di Contesto: Assenza di comprensione contestuale completa della storia di risoluzione dei casi degli ingegneri
4. Limitazioni dei Sistemi in Produzione: I sistemi di matching degli esperti esistenti utilizzano pesi predefiniti e mancano di capacità di apprendimento

Motivazione della Ricerca

Basata su esigenze aziendali reali derivanti da oltre 160.000 casi clienti interni di SAP, l'utilizzo di tecniche di machine learning e knowledge graph per ottimizzare l'abbinamento ingegnere-ticket, ridurre i tempi di attesa dei clienti e migliorare l'efficienza della risoluzione dei problemi.

Contributi Principali

1. Metodo Innovativo di Modellazione Knowledge Graph: Propone un metodo di embedding di knowledge graph basato su più fonti di dati, integrando informazioni di collaborazione in sciami
2. Framework di Learning to Rank: Modella il problema di matching degli esperti come compito LTR, ottimizzando direttamente l'obiettivo di ranking
3. Fusione di Dati Multimodali: Combina dati strutturati (informazioni ingegneri, componenti) e non strutturati (descrizioni incidenti, testo KBA)
4. Miglioramento Significativo delle Prestazioni: Raggiunge miglioramenti sostanziali rispetto ai metodi tradizionali su più metriche di valutazione
5. Applicazione Aziendale Pratica: Soluzione end-to-end basata su dati reali di supporto clienti SAP

Spiegazione Dettagliata del Metodo

Definizione del Compito

Input:

• Descrizione dell'incidente (fornita dal cliente)
• Componenti interessati
• Insieme di ingegneri attualmente assegnati (potrebbe essere vuoto)
• Valutazioni di competenza professionale degli ingegneri
• Dati storici degli sciami

Output: Elenco ordinato di ingegneri più idonei a risolvere l'incidente

Vincoli: Considerazione della disponibilità degli ingegneri, corrispondenza professionale, relazioni di collaborazione storica, ecc.

Architettura del Modello

1. Costruzione del Knowledge Graph

Tipi di Nodi:

• Ingegneri (Engineers)
• Articoli della Knowledge Base (KBAs)
• Incidenti (Incidents)
• Componenti (Components)

Relazioni di Bordo:

• Ingegnere-Incidente: relazione di risoluzione
• Ingegnere-KBA: relazione di creazione
• Ingegnere-Ingegnere: relazione di collaborazione in sciami
• Incidente-Componente: relazione di impatto

2. Pipeline di Elaborazione Dati

Estrazione Dati → Pulizia e Preprocessing → Generazione Embedding NLU → Trasformazione Struttura Grafo → Addestramento GNN

3. Componenti Tecnologici Principali

Comprensione del Linguaggio Naturale (NLU):

• Utilizzo di modelli Transformer come BERT per l'elaborazione dei dati testuali
• Generazione di embedding contestuali per descrizioni di incidenti e testo KBA
• Modelli NLP leggeri per il preprocessing al fine di controllare la complessità computazionale

Reti Neurali Grafiche (GNN):

• Implementazione dell'algoritmo PinSage
• Generazione dinamica di embedding dei nodi ingegneri
• Considerazione della struttura del grafo per la regolarizzazione della funzione di perdita

Modulo di Ranking:

• Utilizzo della funzione di perdita Triplet Loss
• Calcolo della similarità tra il vettore dell'incidente e i vettori degli ingegneri
• Generazione dell'elenco di ranking finale

4. Flusso Algoritmico

def generateGNN():
    # 1. Elaborazione ETL dati
    ETL_process(KBA, Communication, Component, User, Swarm)
    
    # 2. Trasformazione NLU
    embeddings = NLU_transform(KBA, Communication, Components)
    
    # 3. Normalizzazione vettori
    vectors = normalize_embeddings(embeddings)
    
    # 4. Costruzione knowledge graph
    KG = build_networkx_graph(vectors)
    
    # 5. Ranking PinSage
    rankings = PinSage_ranking(incident_vector, KG)
    
    # 6. Ranking basato su triplet loss
    return rank_engineers(rankings, triplet_loss)

Punti di Innovazione Tecnica

1. Fusione di Dati Eterogenei da Più Fonti: Prima volta che descrizioni di incidenti, KBA, collaborazioni in sciami e informazioni su componenti vengono modellate unitamente
2. Apprendimento End-to-End: Ottimizzazione diretta del compito di matching degli esperti, piuttosto che dipendenza da regole predefinite
3. Generazione Dinamica di Embedding: Generazione di rappresentazioni degli ingegneri contestualmente rilevanti basate sulla struttura del grafo e sui pesi appresi
4. Modellazione delle Relazioni di Sciame: Modellazione esplicita delle relazioni di collaborazione tra ingegneri, catturando i modelli di risoluzione dei problemi in team

Configurazione Sperimentale

Dataset

Fonte Dati: Sistema interno SAP

• Infodocs: Descrizioni incidenti, risposte ingegneri, record di elaborazione
• Competenza Ingegneri-Componenti: ID ingegneri e valutazioni di competenza per componenti
• Dati KBA: Testo completo articoli knowledge base, autori, classificazione componenti
• Dati Sciami: Record di collaborazione storica, relazioni di richiesta/risposta degli sciami

Scala Dati:

• 2019: 781.083 record (678.047 contenenti i top 5k utenti)
• 2020: 1.396.463 record (1.061.330 contenenti i top 5k utenti)
• Set di Test: Due scale di 10K e 100K campioni

Metriche di Valutazione

Hit Rate Top-k: Se l'ingegnere corretto appare nei primi k consigli

• Hit Rate Top-50
• Hit Rate Top-100
• Hit Rate Top-200

Metodi di Confronto

Modelli di Base:

1. TF-IDF + Similarità del Coseno: Metodo tradizionale basato sulla similarità testuale
2. Random Forest: Metodo tradizionale di machine learning
3. XGBoost: Metodo di gradient boosting

Dettagli di Implementazione

• Modellazione Grafo: Utilizzo di NetworkX per la costruzione del knowledge graph
• Modello NLU: Architettura Transformer per l'embedding testuale
• Implementazione GNN: Basata sull'algoritmo PinSage
• Strategia di Addestramento: Metodo di negative sampling per l'addestramento end-to-end
• Intervallo Temporale: Limitazione ai dati 2019-2020 (periodo con record di sciami completi)

Risultati Sperimentali

Risultati Principali

Risultati su 10K Campioni:

Risultati su 100K Campioni:

Scoperte Chiave

1. Miglioramento Significativo delle Prestazioni: Il metodo proposto supera significativamente i metodi di base su tutte le metriche
2. TF-IDF come Base Forte: I metodi tradizionali di ML (RF/XGBoost) mostrano prestazioni molto inferiori a TF-IDF
3. Effetto di Scala: Le prestazioni Top-50 su 100K campioni migliorano ulteriormente (0.64→0.70)
4. Miglioramento Coerente: Mantiene vantaggi su diverse scale di dati e metriche di valutazione

Analisi delle Prestazioni

Entità dei Miglioramenti Relativi:

• Rispetto a TF-IDF: Miglioramento Top-50 del 33% (10K) e 100% (100K)
• Rispetto a ML tradizionale: Miglioramento superiore a 10 volte
• Costo di Addestramento: Requisiti di risorse GPU significativamente superiori ai metodi di base, ma con benefici di prestazioni evidenti

Lavori Correlati

Campo NLP

• Modelli Transformer: BERT, RoBERTa, ALBERT, GPT-3 e altri VLLM
• Sfide Applicative: Dimensione del modello grande, costo computazionale elevato per il fine-tuning end-to-end
• Strategie di Ottimizzazione: Preprocessing testuale, estrazione di frammenti importanti, ecc.

Reti Neurali Grafiche

• Metodi Tradizionali: Similarità Jaccard, PageRank, chiusura triangolare e altre misure statiche
• Metodi Moderni: GraphSage, PinSage, Neural Structured Learning (NSL)
• Vantaggi: Embedding dinamici, ottimizzazione basata su compiti, analogia tra CNN profonde e ingegneria delle caratteristiche tradizionale

Sistemi di Raccomandazione degli Esperti

• Sistemi in Produzione Esistenti: Basati su pesi predefiniti, considerando numero di incidenti risolti, numero di articoli KBA creati, ecc.
• Limitazioni: Non basati su apprendimento, mancanza di struttura grafo e caratteristiche NLP ricche

Conclusioni e Discussione

Conclusioni Principali

1. Efficacia del Metodo: Il metodo di embedding del knowledge graph migliora significativamente l'accuratezza della raccomandazione degli esperti
2. Valore dei Dati Multisorgente: L'integrazione di informazioni su sciami, collaborazioni storiche e altri dati contestuali porta benefici sostanziali
3. Vantaggi dell'Apprendimento End-to-End: L'ottimizzazione diretta del compito di raccomandazione è più efficace dell'ingegneria delle caratteristiche tradizionale
4. Potenziale di Applicazione Pratica: Validato su dati aziendali reali, possiede valore per la distribuzione in produzione

Limitazioni

1. Requisiti di Risorse Computazionali: Il costo di addestramento su GPU è significativamente superiore ai metodi tradizionali
2. Dipendenza dai Dati: Richiede dati storici ricchi di collaborazione e documentazione
3. Limitazione dell'Intervallo Temporale: La valutazione è limitata ai dati completi degli sciami 2019-2020
4. Problema del Cold Start: La capacità di gestione di ingegneri nuovi o nuovi tipi di problemi non è stata sufficientemente verificata

Direzioni Future

1. Fattori in Tempo Reale: Integrazione di informazioni su fusi orari degli ingegneri e disponibilità del calendario
2. Aggiornamento Dinamico: Distribuzione del servizio del modello basata su nuovi KBA, incidenti e informazioni utente
3. Aumento dei Dati: Utilizzo di web crawler interni per stabilire collegamenti tra articoli KBA, arricchendo la struttura del grafo
4. Estensione dell'Applicazione: Promozione ad altri scenari di supporto clienti e raccomandazione di esperti

Valutazione Approfondita

Punti di Forza

1. Guidato da Problemi Pratici: Basato su esigenze aziendali reali, con valore di applicazione chiaro
2. Innovazione Tecnica: Prima volta che knowledge graph, collaborazione in sciami e dati multimodali vengono modellati unitamente
3. Completezza Sperimentale: Confronti con più baseline, validazione su diverse scale di dati
4. Convincenza dei Risultati: Miglioramenti coerenti e significativi, significato statistico chiaro
5. Completezza Ingegneristica: Soluzione end-to-end dall'elaborazione dei dati alla distribuzione del modello

Insufficienze

1. Mancanza di Analisi Teorica: Assenza di spiegazioni teoriche sull'efficacia del metodo
2. Esperimenti di Ablazione Insufficienti: Analisi incompleta del contributo indipendente di ciascun componente (NLU, GNN, informazioni su sciami)
3. Verifica della Generalizzabilità: Validazione solo su dati SAP, capacità di generalizzazione cross-domain sconosciuta
4. Analisi dell'Esperienza Utente: Mancanza di valutazione della soddisfazione dell'utente dopo la distribuzione effettiva
5. Considerazioni di Equità: Mancanza di discussione su possibili pregiudizi dell'algoritmo di raccomandazione

Impatto

1. Contributo Accademico: Fornisce un nuovo paradigma di modellazione per il campo della raccomandazione di esperti
2. Valore Industriale: Risolve direttamente il problema di efficienza del supporto clienti aziendale
3. Riproducibilità: La descrizione dell'algoritmo è relativamente chiara, ma manca l'implementazione open source
4. Potenziale di Diffusione: Il metodo è estendibile ad altri scenari che richiedono matching di esperti

Scenari Applicabili

1. Supporto Clienti Aziendale: Supporto tecnico, servizi post-vendita e altri scenari
2. Sistemi di Gestione della Conoscenza: Scoperta di esperti, raccomandazione di risorse conoscitive e altre applicazioni
3. Piattaforme di Collaborazione: Composizione di team, assegnazione di progetti e altri scenari
4. Istruzione e Formazione: Matching di mentori, raccomandazione di risorse di apprendimento e altri campi

Bibliografia

L'articolo cita i seguenti riferimenti chiave:

• Modelli Transformer come BERT, RoBERTa, ALBERT
• Metodi di reti neurali grafiche come GraphSage, PinSage
• Benchmark di valutazione NLP come GLUE, Super-GLUE
• Framework Neural Structured Learning

Valutazione Complessiva: Questo è un lavoro eccellente che applica tecnologie AI all'avanguardia a problemi aziendali reali, con una soluzione tecnica ragionevole e risultati sperimentali convincenti, possedendo importante valore accademico e industriale. Sebbene vi sia spazio per miglioramenti nell'analisi teorica e nella verifica della generalizzabilità, il metodo di modellazione innovativo e i miglioramenti significativi delle prestazioni lo rendono un contributo importante nel campo della raccomandazione di esperti.