Resolución eficiente de tickets de soporte utilizando Gráficos de Conocimiento

Información Básica

• ID del Artículo: 2501.00461
• Título: Efficient support ticket resolution using Knowledge Graphs
• Autores: Sherwin Varghese (SAP Labs India), James Tian (SAP Labs US)
• Clasificación: cs.AI cs.LG cs.MA
• Institución de Publicación: SAP Labs
• Enlace del Artículo: https://arxiv.org/abs/2501.00461

Resumen

El análisis basado en más de 160,000 casos de clientes demuestra que los equipos de soporte de productos dedican aproximadamente el 90% de su tiempo a resolver aproximadamente el 10% de los tickets complejos, que a menudo carecen de soluciones evidentes. Muchos casos desafiantes requieren la colaboración de múltiples ingenieros formando un "enjambre" (swarm), y algunos incluso requieren apoyo del equipo de desarrollo como tratamiento de errores. Este artículo modela este problema como una tarea de aprendizaje de clasificación (LTR), generando una lista ordenada de ingenieros más adecuados para resolver un incidente, dado el evento y el conjunto de ingenieros actualmente asignados. El artículo propone un método novedoso mediante la modelización de incrustaciones de gráficos de conocimiento de múltiples fuentes de datos, incluyendo información de enjambres, y los resultados experimentales demuestran mejoras significativas en comparación con métodos tradicionales de aprendizaje automático como TF-IDF.

Antecedentes y Motivación de la Investigación

Definición del Problema

1. Problema Central: Ineficiencia en la asignación de tickets de soporte al cliente, con aproximadamente el 90% del tiempo dedicado a resolver el 10% de los tickets complejos
2. Impacto Empresarial: Los tiempos de respuesta prolongados afectan la satisfacción del cliente y los resultados comerciales
3. Desafío Técnico: Identificar el ingeniero o equipo de ingenieros ideal para resolver problemas técnicos específicos

Limitaciones de los Métodos Existentes

1. Métodos ML Tradicionales: TF-IDF, bosques aleatorios y otros métodos son relativamente simples pero con baja complejidad de modelo
2. Modelización Insuficiente de Relaciones: Incapacidad para capturar relaciones de colaboración entre ingenieros y patrones de resolución de problemas en equipo
3. Falta de Contexto: Carencia de comprensión contextual integral del historial de casos resueltos por ingenieros
4. Limitaciones del Sistema de Producción: Los sistemas de coincidencia de expertos existentes utilizan pesos predefinidos, careciendo de capacidad de aprendizaje

Motivación de la Investigación

Basándose en necesidades comerciales reales de más de 160,000 casos de clientes internos de SAP, se utilizan técnicas de aprendizaje automático y gráficos de conocimiento para optimizar la coincidencia ingeniero-ticket, reducir tiempos de espera del cliente y mejorar la eficiencia de resolución de problemas.

Contribuciones Principales

1. Método Novedoso de Modelización de Gráficos de Conocimiento: Propone un método de incrustación de gráficos de conocimiento basado en múltiples fuentes de datos, integrando información de colaboración de enjambres
2. Marco de Aprendizaje de Clasificación: Modela el problema de coincidencia de expertos como una tarea LTR, optimizando directamente el objetivo de clasificación
3. Fusión de Datos Multimodales: Combina datos estructurados (información de ingenieros, componentes) y datos no estructurados (descripciones de incidentes, texto de KBA)
4. Mejora Significativa del Rendimiento: Logra mejoras sustanciales en múltiples métricas de evaluación en comparación con métodos tradicionales
5. Aplicación Empresarial Práctica: Solución integral basada en datos reales de soporte al cliente de SAP

Explicación Detallada del Método

Definición de la Tarea

Entrada:

• Descripción del incidente (proporcionada por el cliente)
• Componentes afectados
• Conjunto de ingenieros actualmente asignados (posiblemente vacío)
• Calificaciones de especialidad de ingenieros
• Datos históricos de enjambres

Salida: Lista ordenada de ingenieros más adecuados para resolver el incidente

Restricciones: Considerar disponibilidad de ingenieros, coincidencia de especialidad, relaciones de colaboración histórica, etc.

Arquitectura del Modelo

1. Construcción del Gráfico de Conocimiento

Tipos de Nodos:

• Ingenieros (Engineers)
• Artículos de Base de Conocimiento (KBAs)
• Incidentes (Incidents)
• Componentes (Components)

Relaciones de Aristas:

• Ingeniero-Incidente: relación de resolución
• Ingeniero-KBA: relación de autoría
• Ingeniero-Ingeniero: relación de colaboración en enjambre
• Incidente-Componente: relación de impacto

2. Tubería de Procesamiento de Datos

Extracción de Datos → Limpieza y Preprocesamiento → Generación de Incrustaciones NLU → 
Transformación de Estructura de Gráfico → Entrenamiento de GNN

3. Componentes Técnicos Principales

Comprensión del Lenguaje Natural (NLU):

• Utiliza modelos transformadores como BERT para procesar datos de texto
• Genera incrustaciones contextuales de descripciones de incidentes y texto de KBA
• Modelos NLP ligeros para preprocesamiento para controlar la complejidad computacional

Red Neuronal de Gráficos (GNN):

• Implementa el algoritmo PinSage
• Genera dinámicamente incrustaciones de nodos de ingenieros
• Considera la estructura del gráfico para regularización de función de pérdida

Módulo de Clasificación:

• Utiliza función de pérdida de tripletes (Triplet Loss)
• Calcula similitud entre vector de incidente y vector de ingeniero
• Genera lista de clasificación final

4. Flujo de Algoritmo

def generateGNN():
    # 1. Procesamiento ETL de datos
    ETL_process(KBA, Communication, Component, User, Swarm)
    
    # 2. Transformación NLU
    embeddings = NLU_transform(KBA, Communication, Components)
    
    # 3. Normalización de vectores
    vectors = normalize_embeddings(embeddings)
    
    # 4. Construcción de gráfico de conocimiento
    KG = build_networkx_graph(vectors)
    
    # 5. Clasificación PinSage
    rankings = PinSage_ranking(incident_vector, KG)
    
    # 6. Clasificación basada en pérdida de tripletes
    return rank_engineers(rankings, triplet_loss)

Puntos de Innovación Técnica

1. Fusión de Datos Heterogéneos de Múltiples Fuentes: Primera vez que se modelan unificadamente descripciones de incidentes, KBA, colaboración de enjambres e información de componentes
2. Aprendizaje Integral: Optimiza directamente la tarea de coincidencia de expertos, en lugar de depender de reglas predefinidas
3. Generación de Incrustaciones Dinámicas: Genera representaciones de ingenieros contextuales basadas en estructura de gráfico y pesos aprendidos
4. Modelización de Relaciones de Enjambre: Modela explícitamente relaciones de colaboración de ingenieros, capturando patrones de resolución de problemas en equipo

Configuración Experimental

Conjunto de Datos

Fuente de Datos: Sistema interno de SAP

• Infodocs: Descripciones de incidentes, respuestas de ingenieros, registros de procesamiento
• Especialidad de Componentes de Ingenieros: ID de ingeniero y calificaciones de especialidad de componentes
• Datos de KBA: Texto completo de artículos de base de conocimiento, autores, clasificación de componentes
• Datos de Enjambre: Registros de colaboración histórica, relaciones de solicitud/respuesta de enjambre

Escala de Datos:

• 2019: 781,083 registros (678,047 con los 5k usuarios principales)
• 2020: 1,396,463 registros (1,061,330 con los 5k usuarios principales)
• Conjunto de Prueba: Dos escalas de 10K y 100K muestras

Métricas de Evaluación

Tasa de Acierto Top-k: Si el ingeniero correcto aparece en los k primeros recomendados

• Tasa de Acierto Top-50
• Tasa de Acierto Top-100
• Tasa de Acierto Top-200

Métodos de Comparación

Modelos de Referencia:

1. TF-IDF + Similitud de Coseno: Método tradicional basado en similitud de texto
2. Bosque Aleatorio: Método de aprendizaje automático tradicional
3. XGBoost: Método de árbol de impulso de gradiente

Detalles de Implementación

• Modelización de Gráficos: Utiliza NetworkX para construir gráficos de conocimiento
• Modelo NLU: Arquitectura transformadora para incrustaciones de texto
• Implementación de GNN: Basada en algoritmo PinSage
• Estrategia de Entrenamiento: Método de muestreo negativo para entrenamiento integral
• Rango de Tiempo: Datos limitados a 2019-2020 (período con registros de enjambre completos)

Resultados Experimentales

Resultados Principales

Resultados de 10K Muestras:

Resultados de 100K Muestras:

Hallazgos Clave

1. Mejora Significativa del Rendimiento: El método propuesto supera significativamente los métodos de referencia en todas las métricas
2. TF-IDF como Referencia Fuerte: Los métodos ML tradicionales (RF/XGBoost) tienen un rendimiento muy inferior a TF-IDF
3. Efecto de Escala: El rendimiento de Top-50 mejora aún más en 100K muestras (0.64→0.70)
4. Mejora Consistente: Mantiene ventaja en diferentes escalas de datos y métricas de evaluación

Análisis de Rendimiento

Magnitud de Mejora Relativa:

• Comparado con TF-IDF: Mejora de 33% (10K) y 100% (100K) en Top-50
• Comparado con ML tradicional: Mejora superior a 10 veces
• Costo de Entrenamiento: Requisitos de recursos GPU significativamente superiores a métodos de referencia, pero con beneficios de rendimiento evidentes

Trabajo Relacionado

Campo de PNL

• Modelos Transformadores: BERT, RoBERTa, ALBERT, GPT-3 y otros VLLM
• Desafíos de Aplicación: Tamaño de modelo grande, alto costo computacional de ajuste fino integral
• Estrategias de Optimización: Preprocesamiento de texto, extracción de fragmentos importantes, etc.

Redes Neuronales de Gráficos

• Métodos Tradicionales: Similitud de Jaccard, PageRank, cierre de tripletes y otras métricas estáticas
• Métodos Modernos: GraphSage, PinSage, Aprendizaje de Estructura Neural (NSL)
• Ventajas: Incrustaciones dinámicas, optimización basada en tareas, analogía de CNN profundo vs ingeniería de características tradicional

Sistemas de Recomendación de Expertos

• Sistemas de Producción Existentes: Basados en pesos predefinidos, considerando número de incidentes resueltos, número de KBA creados, etc.
• Limitaciones: No basados en aprendizaje, carecen de estructura de gráfico y características NLP enriquecidas

Conclusiones y Discusión

Conclusiones Principales

1. Efectividad del Método: El método de incrustación de gráficos de conocimiento mejora significativamente la precisión de recomendación de expertos
2. Valor de Datos Multifuente: La integración de información de enjambres, colaboración histórica y otros datos contextuales proporciona beneficios sustanciales
3. Ventajas del Aprendizaje Integral: La optimización directa de la tarea de recomendación es más efectiva que la ingeniería de características tradicional
4. Potencial de Aplicación Práctica: Validado con datos comerciales reales, tiene valor para despliegue en producción

Limitaciones

1. Requisitos de Recursos Computacionales: El costo de entrenamiento en GPU es significativamente superior al de métodos tradicionales
2. Dependencia de Datos: Requiere datos históricos ricos de colaboración y documentación
3. Restricción de Rango de Tiempo: La evaluación se limita a datos de enjambre completos de 2019-2020
4. Problema de Arranque en Frío: La capacidad de manejo de ingenieros nuevos o tipos de problemas nuevos no ha sido suficientemente verificada

Direcciones Futuras

1. Factores en Tiempo Real: Integrar información de zona horaria de ingeniero, disponibilidad de calendario
2. Actualización Dinámica: Despliegue de servicio de modelo basado en nuevos KBA, incidentes, información de usuario
3. Aumento de Datos: Rastreador de intranet para establecer enlaces entre KBA, enriqueciendo estructura de gráfico
4. Extensión de Aplicaciones: Promoción a otros escenarios de soporte al cliente y recomendación de expertos

Evaluación Profunda

Fortalezas

1. Impulsado por Problemas Prácticos: Basado en puntos débiles comerciales reales, con valor de aplicación claro
2. Innovación Técnica: Primera vez que se modelan unificadamente gráficos de conocimiento, colaboración de enjambres, datos multimodales
3. Suficiencia Experimental: Múltiples comparaciones de referencia, validación en diferentes escalas de datos
4. Poder Persuasivo de Resultados: Mejoras consistentes y significativas, significancia estadística clara
5. Integridad de Ingeniería: Solución integral desde procesamiento de datos hasta despliegue de modelo

Deficiencias

1. Falta de Análisis Teórico: Carencia de explicación teórica sobre la efectividad del método
2. Experimentos de Ablación Insuficientes: No analiza suficientemente la contribución independiente de cada componente (NLU, GNN, información de enjambre)
3. Verificación de Generalización: Validación solo en datos de SAP, capacidad de generalización entre dominios desconocida
4. Falta de Análisis de Experiencia del Usuario: Carencia de evaluación de satisfacción del usuario después del despliegue real
5. Consideraciones de Equidad: No discute posibles sesgos en algoritmos de recomendación

Impacto

1. Contribución Académica: Proporciona nuevo paradigma de modelización para campo de recomendación de expertos
2. Valor Industrial: Resuelve directamente problemas de eficiencia de soporte al cliente empresarial
3. Reproducibilidad: Descripción de algoritmo relativamente clara, pero carece de implementación de código abierto
4. Potencial de Promoción: El método es extensible a otros escenarios que requieren coincidencia de expertos

Escenarios Aplicables

1. Soporte al Cliente Empresarial: Soporte técnico, servicio posventa y otros escenarios
2. Sistemas de Gestión del Conocimiento: Descubrimiento de expertos, recomendación de recursos de conocimiento y otras aplicaciones
3. Plataformas de Colaboración: Formación de equipos, asignación de proyectos y otros escenarios
4. Educación y Capacitación: Coincidencia de mentores, recomendación de recursos de aprendizaje y otros campos

Referencias

El artículo cita las siguientes referencias clave:

• Modelos transformadores BERT, RoBERTa, ALBERT
• Métodos de redes neuronales de gráficos GraphSage, PinSage
• Puntos de referencia de evaluación de PNL GLUE, Super-GLUE
• Marco de Aprendizaje de Estructura Neural

Evaluación General: Este es un trabajo excelente que aplica tecnología de IA de vanguardia a problemas comerciales reales, con solución técnica razonable, resultados experimentales convincentes y valor académico e industrial significativo. Aunque hay espacio para mejora en análisis teórico y verificación de generalización, su método de modelización innovador y mejora de rendimiento significativa lo convierten en una contribución importante en el campo de recomendación de expertos.