Эффективное разрешение заявок поддержки с использованием графов знаний

Основная информация

• ID статьи: 2501.00461
• Название: Efficient support ticket resolution using Knowledge Graphs
• Авторы: Sherwin Varghese (SAP Labs India), James Tian (SAP Labs US)
• Классификация: cs.AI cs.LG cs.MA
• Организация-издатель: SAP Labs
• Ссылка на статью: https://arxiv.org/abs/2501.00461

Аннотация

Анализ более 160 тысяч клиентских случаев показывает, что команды поддержки продукта тратят примерно 90% времени на разрешение около 10% сложных заявок, которые часто не имеют очевидного решения. Многие сложные случаи требуют сотрудничества нескольких инженеров в составе "роя" (swarm), а некоторые требуют поддержки команды разработки как обработки ошибок. В статье эта проблема моделируется как задача обучения ранжированию (LTR). Учитывая инцидент и текущий набор назначенных инженеров, требуется создать упорядоченный список инженеров, наиболее подходящих для разрешения инцидента. Авторы предлагают новый подход, основанный на моделировании вложений графа знаний из нескольких источников данных, включающих информацию о роях. Экспериментальные результаты демонстрируют значительное улучшение по сравнению с традиционными методами машинного обучения, такими как TF-IDF.

Исследовательский контекст и мотивация

Определение проблемы

1. Основная проблема: Неэффективное распределение заявок поддержки клиентов; примерно 90% времени затрачивается на разрешение 10% сложных заявок
2. Влияние на бизнес: Высокое время обработки влияет на удовлетворенность клиентов и результаты бизнеса
3. Технические вызовы: Определение идеальных инженеров или команд инженеров для решения конкретных технических проблем

Ограничения существующих методов

1. Традиционные методы МО: Методы TF-IDF, случайный лес и другие относительно просты, но имеют низкую сложность модели
2. Недостаточное моделирование отношений: Невозможность захватить отношения сотрудничества между инженерами и закономерности решения проблем командой
3. Отсутствие контекста: Недостаток полного контекстного понимания истории решенных случаев инженеров
4. Ограничения производственных систем: Существующие системы сопоставления экспертов используют предопределенные веса, лишены способности к обучению

Исследовательская мотивация

Основываясь на реальных потребностях бизнеса, основанных на более чем 160 тысячах клиентских случаев внутри SAP, использование методов машинного обучения и технологии графов знаний для оптимизации сопоставления инженер-заявка, сокращения времени ожидания клиентов и повышения эффективности разрешения проблем.

Основные вклады

1. Новый метод моделирования графа знаний: Предложен метод вложения графа знаний на основе нескольких источников данных, интегрирующий информацию о сотрудничестве в роях
2. Структура обучения ранжированию: Моделирование задачи сопоставления экспертов как задачи LTR, прямая оптимизация целей ранжирования
3. Слияние многомодальных данных: Объединение структурированных данных (информация об инженерах, компоненты) и неструктурированных данных (описания инцидентов, текст KBA)
4. Значительное повышение производительности: Достижение значительного улучшения по нескольким метрикам оценки по сравнению с традиционными методами
5. Практическое применение в бизнесе: Комплексное решение на основе реальных данных поддержки клиентов SAP

Подробное описание методологии

Определение задачи

Входные данные:

• Описание инцидента (предоставленное клиентом)
• Затронутые компоненты
• Текущий набор назначенных инженеров (может быть пустым)
• Рейтинги профессиональной квалификации инженеров
• Исторические данные о роях

Выходные данные: Упорядоченный список инженеров, наиболее подходящих для разрешения инцидента

Ограничения: Учет доступности инженеров, соответствия компетенций, исторических отношений сотрудничества и т.д.

Архитектура модели

1. Построение графа знаний

Типы узлов:

• Инженеры (Engineers)
• Статьи базы знаний (KBAs)
• Инциденты (Incidents)
• Компоненты (Components)

Отношения ребер:

• Инженер-инцидент: отношение разрешения
• Инженер-KBA: отношение авторства
• Инженер-инженер: отношение сотрудничества в рое
• Инцидент-компонент: отношение влияния

2. Конвейер обработки данных

Извлечение данных → Очистка и предварительная обработка → Генерация вложений NLU → 
Преобразование структуры графа → Обучение GNN

3. Основные технические компоненты

Понимание естественного языка (NLU):

• Использование моделей трансформеров, таких как BERT, для обработки текстовых данных
• Генерация контекстных вложений описаний инцидентов и текста KBA
• Легковесные модели NLP для предварительной обработки с целью контроля вычислительной сложности

Графовые нейронные сети (GNN):

• Реализация алгоритма PinSage
• Динамическое генерирование вложений узлов инженеров
• Учет структуры графа при регуляризации функции потерь

Модуль ранжирования:

• Использование функции потерь триплета (Triplet Loss)
• Вычисление сходства между вектором инцидента и векторами инженеров
• Генерирование окончательного упорядоченного списка

4. Поток алгоритма

def generateGNN():
    # 1. Обработка ETL данных
    ETL_process(KBA, Communication, Component, User, Swarm)
    
    # 2. Преобразование NLU
    embeddings = NLU_transform(KBA, Communication, Components)
    
    # 3. Нормализация векторов
    vectors = normalize_embeddings(embeddings)
    
    # 4. Построение графа знаний
    KG = build_networkx_graph(vectors)
    
    # 5. Ранжирование PinSage
    rankings = PinSage_ranking(incident_vector, KG)
    
    # 6. Ранжирование на основе потерь триплета
    return rank_engineers(rankings, triplet_loss)

Технические инновации

1. Слияние разнородных данных из нескольких источников: Впервые единое моделирование описаний инцидентов, KBA, сотрудничества в роях и информации о компонентах
2. Сквозное обучение: Прямая оптимизация задачи сопоставления экспертов, а не зависимость от предопределенных правил
3. Динамическое генерирование вложений: Генерирование контекстно-релевантных представлений инженеров на основе структуры графа и изученных весов
4. Моделирование отношений в роях: Явное моделирование отношений сотрудничества инженеров, захват закономерностей командного решения проблем

Экспериментальная установка

Набор данных

Источник данных: Внутренние системы SAP

• Infodocs: Описания инцидентов, ответы инженеров, записи обработки
• Компетентность инженеров в компонентах: ID инженеров и рейтинги компетентности в компонентах
• Данные KBA: Полный текст статей базы знаний, авторы, классификация компонентов
• Данные о роях: Исторические записи сотрудничества, отношения запросов/ответов роев

Масштаб данных:

• 2019 год: 781 083 записи (678 047 с участием топ-5k пользователей)
• 2020 год: 1 396 463 записи (1 061 330 с участием топ-5k пользователей)
• Тестовые наборы: два масштаба - 10K и 100K образцов

Метрики оценки

Показатель попадания в топ-k: Появляется ли правильный инженер в первых k рекомендациях

• Показатель попадания в топ-50
• Показатель попадания в топ-100
• Показатель попадания в топ-200

Методы сравнения

Базовые модели:

1. TF-IDF + косинусное сходство: Традиционный метод, основанный на текстовом сходстве
2. Случайный лес: Традиционный метод машинного обучения
3. XGBoost: Метод градиентного бустинга

Детали реализации

• Моделирование графа: Использование NetworkX для построения графа знаний
• Модель NLU: Архитектура трансформера для текстовых вложений
• Реализация GNN: На основе алгоритма PinSage
• Стратегия обучения: Метод отрицательной выборки для сквозного обучения
• Временной диапазон: Ограничение данными 2019-2020 годов (период полных записей о роях)

Результаты экспериментов

Основные результаты

Результаты на 10K образцах:

Результаты на 100K образцах:

Ключевые находки

1. Значительное повышение производительности: Предложенный метод значительно превосходит базовые методы по всем метрикам
2. Сильный базовый уровень TF-IDF: Традиционные методы МО (RF/XGBoost) показывают результаты намного ниже TF-IDF
3. Эффект масштаба: На 100K образцах производительность топ-50 дополнительно улучшается (0.64→0.70)
4. Последовательное улучшение: Преимущество сохраняется при различных масштабах данных и метриках оценки

Анализ производительности

Величина относительного улучшения:

• По сравнению с TF-IDF: улучшение топ-50 на 33% (10K) и 100% (100K)
• По сравнению с традиционным МО: улучшение более чем в 10 раз
• Стоимость обучения: требования к ресурсам GPU значительно выше, чем у базовых методов, но выигрыш в производительности явно выражен

Связанные работы

Область NLP

• Модели трансформеров: BERT, RoBERTa, ALBERT, GPT-3 и другие VLLM
• Вызовы применения: Большой размер модели, высокие вычислительные затраты на сквозную тонкую настройку
• Стратегии оптимизации: Предварительная обработка текста, извлечение важных фрагментов и т.д.

Графовые нейронные сети

• Традиционные методы: Сходство Жаккара, PageRank, замыкание триад и другие статические метрики
• Современные методы: GraphSage, PinSage, обучение нейронной структуре (NSL)
• Преимущества: Динамические вложения, оптимизация на основе задач, аналогия глубокой CNN в сравнении с традиционной инженерией признаков

Системы рекомендации экспертов

• Существующие производственные системы: Основаны на предопределенных весах, учитывают количество решенных инцидентов, количество созданных KBA и т.д.
• Ограничения: Не основаны на обучении, отсутствуют структура графа и богатые признаки NLP

Выводы и обсуждение

Основные выводы

1. Эффективность метода: Метод вложения графа знаний значительно повышает точность рекомендации экспертов
2. Ценность многоисточниковых данных: Интеграция информации о роях, исторических отношениях сотрудничества и других контекстных данных приносит существенные выгоды
3. Преимущества сквозного обучения: Прямая оптимизация задачи рекомендации более эффективна, чем традиционная инженерия признаков
4. Потенциал практического применения: Верификация на реальных бизнес-данных демонстрирует ценность для развертывания в производстве

Ограничения

1. Требования к вычислительным ресурсам: Стоимость обучения на GPU значительно выше, чем у традиционных методов
2. Зависимость от данных: Требуется наличие богатых исторических данных о сотрудничестве и документации
3. Ограничение временного диапазона: Оценка ограничена данными 2019-2020 годов с полными записями о роях
4. Проблема холодного старта: Способность обработки новых инженеров или новых типов проблем не полностью верифицирована

Направления будущих исследований

1. Факторы реального времени: Интеграция информации о часовых поясах инженеров, доступности в календаре
2. Динамическое обновление: Развертывание модели как сервиса на основе новых KBA, инцидентов и информации о пользователях
3. Расширение данных: Использование внутренних веб-краулеров для установления связей между KBA, обогащение структуры графа
4. Расширение приложений: Распространение на другие сценарии поддержки клиентов и рекомендации экспертов

Глубокая оценка

Преимущества

1. Ориентация на практические проблемы: Основано на реальных болевых точках бизнеса с четкой прикладной ценностью
2. Технологическая инновативность: Впервые единое моделирование графов знаний, сотрудничества в роях и многомодальных данных
3. Полнота экспериментов: Множественные сравнения с базовыми методами, верификация на различных масштабах данных
4. Убедительность результатов: Последовательное и значительное повышение производительности с четкой статистической значимостью
5. Полнота инженерной реализации: Комплексное решение от обработки данных до развертывания модели

Недостатки

1. Отсутствие теоретического анализа: Недостаток теоретического объяснения эффективности метода
2. Недостаточные абляционные исследования: Неполный анализ независимого вклада каждого компонента (NLU, GNN, информация о роях)
3. Верификация обобщаемости: Верификация только на данных SAP, неизвестна способность обобщения на другие области
4. Отсутствие анализа пользовательского опыта: Недостаток оценки удовлетворенности пользователей после фактического развертывания
5. Отсутствие рассмотрения справедливости: Не обсуждаются возможные смещения в алгоритме рекомендации

Влияние

1. Академический вклад: Предоставляет новую парадигму моделирования для области рекомендации экспертов
2. Промышленная ценность: Прямое решение проблемы эффективности поддержки клиентов в предприятиях
3. Воспроизводимость: Описание алгоритма относительно четко, но отсутствует открытая реализация
4. Потенциал распространения: Метод может быть расширен на другие сценарии, требующие сопоставления экспертов

Применимые сценарии

1. Корпоративная поддержка клиентов: Техническая поддержка, послепродажное обслуживание и другие сценарии
2. Системы управления знаниями: Обнаружение экспертов, рекомендация знаний и другие приложения
3. Платформы сотрудничества: Формирование команд, распределение проектов и другие сценарии
4. Образование и обучение: Сопоставление наставников, рекомендация учебных ресурсов и другие области

Библиография

Статья ссылается на следующие ключевые работы:

• Модели трансформеров: BERT, RoBERTa, ALBERT и другие
• Методы графовых нейронных сетей: GraphSage, PinSage и другие
• Бенчмарки оценки NLP: GLUE, Super-GLUE и другие
• Фреймворк Neural Structured Learning

Общая оценка: Это отличная работа, применяющая передовые технологии искусственного интеллекта к решению практических бизнес-проблем. Технологическое решение обоснованно, результаты экспериментов убедительны, работа имеет важную академическую и промышленную ценность. Хотя в области теоретического анализа и верификации обобщаемости есть место для улучшения, инновационный метод моделирования и значительное повышение производительности делают эту работу важным вкладом в область рекомендации экспертов.