Обзор многоповеденческой последовательной рекомендации

Основная информация

• ID статьи: 2308.15701
• Название: A Survey on Multi-Behavior Sequential Recommendation
• Авторы: Xiaoqing Chen, Zhitao Li, Weike Pan, Zhong Ming
• Категория: cs.IR (Information Retrieval)
• Дата публикации: 30 августа 2023 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2308.15701
• Журнал: IEEE Transactions on Knowledge and Data Engineering

Аннотация

Системы рекомендации направлены на решение проблемы информационной перегрузки в традиционных системах поиска информации, сосредоточиваясь на рекомендации пользователям наиболее интересующего их контента из огромного объема информации. Поведение пользователей при взаимодействии с системой обычно имеет последовательный и гетерогенный характер, что привело к появлению многоповеденческой последовательной рекомендации (MBSR). MBSR — это относительно новое и перспективное направление исследований, которое при надлежащем моделировании может достичь передовых результатов рекомендации. Данный обзор направлен на уточнение проблемы MBSR, подробное описание определения проблемы, сценариев применения и стоящих перед ней задач, а также классификацию методов MBSR, включая методы на основе соседства, методы матричной факторизации и методы глубокого обучения.

Исследовательский контекст и мотивация

Проблемный контекст

1. Проблема информационной перегрузки: С взрывным ростом информации в интернете пользователи сталкиваются с проблемой быстрого получения необходимого контента из огромного объема информации
2. Ограничения традиционных систем рекомендации:
   • Рекомендация с одним поведением (SBR) учитывает только один тип обратной связи пользователя, что легко приводит к проблемам разреженности данных и холодного старта
   • Статические методы рекомендации игнорируют временную последовательность и динамические изменения поведения пользователя

Исследовательская мотивация

1. Гетерогенность поведения: В реальных сценариях между пользователями и товарами существуют различные типы взаимодействия (просмотр, добавление в корзину, покупка и т.д.)
2. Зависимость последовательности: Поведение пользователя имеет естественные временные характеристики, отражающие динамические изменения краткосрочных и долгосрочных предпочтений
3. Потребности практического применения: Области электронной коммерции, видеорекомендации, новостных рекомендаций срочно нуждаются в алгоритмах рекомендации, более соответствующих реальному поведению пользователей

Основной вклад

1. Систематический обзор: Первый комплексный и систематический обзор области MBSR, заполняющий пробел в отсутствии соответствующих обзоров в этой новой области
2. Многомерная система классификации: Предложена система классификации методов MBSR по трем измерениям: технология, данные и моделирование
3. Глубокий технический анализ: Детальный анализ преимуществ и недостатков каждого класса методов, предоставляющий исследователям четкую техническую дорожную карту
4. Руководство по будущим направлениям: Предложены пять перспективных направлений будущих исследований, обеспечивающих руководство развитием этой области

Описание методов

Определение задачи

Проблема MBSR в основном сосредоточена на рекомендации следующего товара в последовательности гетерогенной обратной связи. Дано:

• Множество пользователей U
• Множество товаров I
• Множество поведений F

Входные данные представляют собой пары (пользователь, последовательность гетерогенного поведения): $(u, S_u)$, где: $S_u = \{(i_u^1, f_u^1), ..., (i_u^t, f_u^t), ..., (i_u^{|S_u|}, f_u^{|S_u|})\}$

Цель — предсказать предпочтение пользователя u к кандидату товара j в момент времени (t+1) $\hat{r}_{u,t+1,j}$ и сгенерировать список рекомендаций Top-K.

Система классификации

1. Методы на основе соседства

• Основная идея: Использование сходства между пользователями или товарами для рекомендации
• Представительные работы: BIS (Bidirectional Item Similarity)
• Преимущества: Легко поддерживать, высокая интерпретируемость
• Недостатки: Отсутствие транзитивности, сложность в захвате сложных предпочтений пользователя

2. Методы на основе матричной факторизации

• Основная идея: Разложение матрицы взаимодействия пользователь-товар на внутреннее произведение низкоранговых матриц
• Представительные работы: TransRec++
• Инновационные моменты: Введение векторов переходов поведения для захвата последовательных отношений и динамики поведения
• Ограничения: Сложность модели резко возрастает с увеличением типов поведения

3. Методы на основе глубокого обучения (основное содержание)

Архитектура RNN

• RLBL: Комбинирование RNN и log-bilinear модели с использованием матриц переходов, специфичных для поведения
• RIB: Использование GRU и механизма внимания для моделирования микроповедения
• BINN: Проектирование CLSTM и Bi-CLSTM для обработки информации о многоповедении
• Преимущества: Подходит для моделирования последовательности, способен сохранять краткосрочную память
• Недостатки: Проблемы исчезающего/взрывающегося градиента, низкая вычислительная эффективность

Архитектура GNN

• MGNN-SPred: Построение глобального графа для захвата отношений переходов поведения
• DMBGN: Разработана для задачи прогнозирования коэффициента использования купонов
• GPG4HSR: Одновременное рассмотрение глобального и персонализированного графов
• BGNN: Различие между гомогенными и гетерогенными моделями переходов поведения
• Преимущества: Способность моделировать сложные отношения, высокая устойчивость к разреженности данных
• Недостатки: Сложность построения графа возрастает с увеличением типов поведения

Архитектура Transformer

• DMT: Использование MMoE для многозадачного обучения
• DFN: Обработка шума неявной обратной связи через сеть внимания
• NextIP: Моделирование проблемы как двойной задачи прогнозирования товара и покупки
• MB-STR: Разработка новой функции позиционного кодирования
• FLAG: Одновременное моделирование локальных предпочтений, глобальных предпочтений и локальных намерений
• Преимущества: Сильная способность параллельных вычислений, отличное моделирование долгосрочных зависимостей
• Недостатки: Относительно слабый захват локальной информации

Гибридная архитектура

• MKM-SR: Комбинирование GNN и GRU для отдельного моделирования последовательности товаров и последовательности поведения
• KHGT: Интеграция Transformer и GNN с учетом информации об отношениях товаров
• Преимущества: Синтез преимуществ нескольких технологий, значительное улучшение производительности
• Недостатки: Высокая сложность модели, сложность настройки параметров

Экспериментальная установка

Сценарии применения

1. Рекомендация электронной коммерции: Прогнозирование поведения покупки пользователя с учетом вспомогательного поведения, такого как просмотр, добавление в корзину, сохранение
2. Видеорекомендация: Использование поделиться как целевого поведения, просмотр как вспомогательного поведения
3. Новостная рекомендация: Комбинирование явной обратной связи (не нравится) и неявной обратной связи (просмотр)

Метрики оценки

• Метрики точности: Hit Rate, NDCG, Recall, Precision
• Метрики разнообразия: Coverage, Diversity
• Метрики эффективности: время обучения, время вывода, потребление памяти

Классификация с точки зрения данных

1. Последовательность пар (товар, поведение): Наиболее распространенный формат входных данных
2. Подпоследовательности, специфичные для поведения: Последовательности товаров, разделенные по типам поведения
3. Последовательности товаров, независимые от поведения: Последовательности товаров, игнорирующие типы поведения
4. Последовательности поведения: Чистые последовательности типов поведения

Результаты экспериментов

Основные выводы

1. Доминирование методов глубокого обучения: Из-за сложности проблемы MBSR большинство работ используют методы глубокого обучения
2. Отличная производительность Transformer: Демонстрирует превосходную производительность по сравнению с RNN и GNN в нескольких задачах
3. Огромный потенциал гибридных методов: Гибридные архитектуры, сочетающие несколько технологий, могут достичь лучших результатов рекомендации
4. Важность механизма внимания: Почти все выдающиеся методы используют ту или иную форму механизма внимания

Технологические тренды

1. От одиночного к гибридному: Технологическое развитие эволюционирует от одиночной архитектуры к гибридной архитектуре
2. От локального к глобальному: Перспектива моделирования расширяется от локальной последовательности к глобальной структуре графа
3. От простого к сложному: Моделирование поведения развивается от простого встраивания к сложным отношениям переходов

Связанные работы

Смежные области исследований

1. Последовательная рекомендация (Sequential Recommendation): Основа MBSR, но учитывает только одно поведение
2. Многоповеденческая рекомендация (Multi-behavior Recommendation): Учитывает гетерогенное поведение, но игнорирует последовательность
3. Рекомендация на основе сеанса (Session-based Recommendation): Рекомендация краткосрочных интерактивных последовательностей
4. Федеративная рекомендация (Federated Recommendation): Рекомендация с защитой конфиденциальности

Путь технологической эволюции

Традиционная совместная фильтрация → Матричная факторизация → Глубокое обучение → Графовые нейронные сети → Transformer → Гибридная архитектура

Заключение и обсуждение

Основные задачи

1. Моделирование последовательности гетерогенного поведения: Как эффективно моделировать последовательные отношения различных типов поведения
2. Моделирование отношений между поведениями: Захват зависимостей и отношений переходов между поведениями
3. Интеграция долгосрочных и краткосрочных предпочтений: Одновременное моделирование долгосрочных стабильных предпочтений пользователя и краткосрочных динамических потребностей
4. Обработка шума и смещения: Обработка шума в неявной обратной связи и проблем выбора смещения

Будущие направления

1. Уровень данных: Решение проблем разреженности, дисбаланса, периодичности и шума данных
2. Технологический уровень: Повышение вычислительной эффективности, улучшение способности обобщения модели, интеграция нескольких дополняющих технологий
3. Цели оптимизации: Переход от одноцелевой оптимизации к многоцелевой совместной оптимизации
4. Большие языковые модели: Изучение потенциала применения LLM в MBSR
5. Надежность: Повышение интерпретируемости модели, защита конфиденциальности и безопасности пользователей

Глубокая оценка

Преимущества

1. Полнота: Первый систематический обзор области MBSR с широким охватом
2. Четкая структура: Многомерная система классификации логична и понятна, облегчает понимание и применение
3. Глубокий анализ: Тщательный анализ преимуществ и недостатков каждого класса методов
4. Перспективность: Предложенные будущие направления имеют сильную ценность руководства
5. Практичность: Предоставляет исследователям и инженерам практическую техническую дорожную карту

Недостатки

1. Отсутствие экспериментального сравнения: Как обзорная статья, в ней отсутствуют сравнительные эксперименты методов на единой базе
2. Недостаточный анализ наборов данных: Недостаточный анализ характеристик и ограничений существующих наборов данных
3. Ограниченное обсуждение промышленного применения: Недостаточное обсуждение опыта практического развертывания в промышленности
4. Слабый теоретический анализ: Отсутствие теоретического анализа сложности проблемы MBSR и способности к обучению

Влияние

1. Академический вклад: Установление систематической системы знаний для новой области MBSR
2. Практическая ценность: Предоставление важного справочника для проектирования систем многоповеденческой рекомендации в промышленности
3. Руководство исследованиям: Уточнение технологической эволюции и будущих направлений в этой области
4. Установление стандартов: Содействие установлению стандартов оценки и эталонов для области MBSR

Применимые сценарии

1. Введение в исследования: Предоставление начинающим полный обзор знаний в области
2. Выбор технологии: Руководство инженерам в выборе подходящих методов MBSR
3. Академические исследования: Предоставление исследователям справочной информации для определения направлений и точек инноваций
4. Промышленное применение: Предоставление предприятиям технологической дорожной карты для построения систем многоповеденческой рекомендации

Библиография

Данная статья ссылается на 107 соответствующих работ, охватывающих важные работы в нескольких областях, включая системы рекомендации, глубокое обучение и графовые нейронные сети, обеспечивая прочную теоретическую основу и техническую поддержку для исследований MBSR.

Резюме: Это высококачественная обзорная статья, систематически обобщающая текущее состояние исследований в новой области многоповеденческой последовательной рекомендации, закладывающая важную основу для развития этой области. Статья имеет четкую структуру и глубокий анализ, обладая важной ценностью для продвижения как теоретического развития, так и практического применения области MBSR.