Перекрёстное внимание скрытно выполняет ортогональное выравнивание в моделях рекомендаций

Основная информация

• ID статьи: 2510.09435
• Название: Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models
• Авторы: Hyunin Lee, Yong Zhang, Hoang Vu Nguyen, Xiaoyi Liu, Namyong Park, Christopher Jung, Rong Jin, Yang Wang, Zhigang Wang, Somayeh Sojoudi, Xue Feng
• Учреждения: Meta, UC Berkeley
• Классификация: cs.LG cs.IR
• Дата публикации: 13 октября 2025
• Ссылка на статью: https://arxiv.org/abs/2510.09435

Аннотация

Кросс-доменная рекомендация последовательностей (CDSR) направлена на выравнивание гетерогенных последовательностей поведения пользователей из различных доменов. Хотя механизмы перекрёстного внимания широко используются для улучшения выравнивания и повышения производительности рекомендаций, их внутренние механизмы остаются недостаточно изученными. Большинство исследователей интерпретируют перекрёстное внимание как остаточное выравнивание (residual alignment), то есть удаление избыточной информации и сохранение неизбыточной информации путём ссылки на данные другого домена (в качестве ключей и значений). В данной работе мы выходим за рамки этого преобладающего взгляда и вводим явление ортогонального выравнивания (Orthogonal Alignment), при котором перекрёстное внимание обнаруживает новую информацию, отсутствующую во входных запросах, и утверждаем, что эти два контрастирующих механизма выравнивания могут сосуществовать в моделях рекомендаций. На основе более 300 экспериментов мы обнаруживаем, что производительность модели улучшается, когда входные и выходные данные перекрёстного внимания ортогональны. Примечательно, что ортогональное выравнивание возникает естественным образом без каких-либо явных ограничений ортогональности. Ключевое понимание заключается в том, что естественное возникновение ортогонального выравнивания объясняется улучшением законов масштабирования, позволяя модели достичь оптимального соотношения точность-параметры.

Предпосылки и мотивация исследования

Определение проблемы

Основная задача, стоящая перед современными системами искусственного интеллекта, заключается в эффективном объединении гетерогенных последовательностей поведения пользователей из нескольких платформ (таких как Facebook, Instagram, Amazon). Следы взаимодействия пользователей в различных доменах являются взаимодополняющими, однако простое объединение сигналов часто приводит к снижению производительности из-за шума, избыточности или конфликтов информации между доменами.

Мотивация исследования

1. Недостаточное теоретическое понимание: Несмотря на широкое применение перекрёстного внимания в кросс-доменной рекомендации последовательностей, его внутренние механизмы работы остаются недостаточно изученными
2. Ограничения преобладающего взгляда: Текущие исследования рассматривают перекрёстное внимание главным образом как механизм остаточного выравнивания, то есть подавление шума и избыточности для обеспечения передачи только неизбыточной информации
3. Потребность в эффективности параметров: С ростом размера модели требуются более эффективные стратегии использования параметров

Ограничения существующих методов

• Традиционные методы интерпретируют перекрёстное внимание как фильтр для удаления шума и фильтрации релевантности
• Строгое остаточное выравнивание может ограничить обучение избыточным компонентам, общим для кросс-модальных данных, игнорируя уникальную или синергетическую информацию, специфичную для модальности
• Отсутствует механистическое понимание того, как перекрёстное внимание извлекает дополнительную информацию

Основные вклады

1. Обнаружение явления ортогонального выравнивания: Впервые выявлено и определено явление ортогонального выравнивания в перекрёстном внимании, при котором входной запрос X и выход X' стремятся быть ортогональными
2. Установление связи производительность-ортогональность: Доказано на основе 300+ экспериментов отрицательную корреляцию между степенью ортогональности и производительностью рекомендаций
3. Предложение объяснения эффективности параметров: Доказано, что естественное возникновение ортогонального выравнивания объясняется обеспечением параметрически эффективной стратегии масштабирования модели
4. Разработка модуля управляемого перекрёстного внимания: Предложен модуль GCA (Gated Cross-Attention), способный естественным образом индуцировать ортогональное выравнивание
5. Кросс-модельная верификация: Верификация универсальности обнаруженных явлений на трёх базовых алгоритмах CDSR и четырёх комбинациях многодоменных наборов данных

Подробное описание методологии

Определение задачи

Задача кросс-доменной рекомендации последовательностей определяется следующим образом: даны последовательности взаимодействий пользователя в доменах A и B: $X_A \in \mathbb{R}^{B \times l_A \times d}$ и $X_B \in \mathbb{R}^{B \times l_B \times d}$, предсказать следующий элемент взаимодействия пользователя в целевом домене.

Модуль управляемого перекрёстного внимания (GCA)

Основная архитектура

Математическое выражение модуля GCA:

GCA(X_A, X_B) = LayerNorm(X_A + FFN([X_A; X_B]) ⊙ X'_A)

где:

• $X'_A = CA(X_A, X_B)$ — выход перекрёстного внимания
• $FFN([X_A; X_B])$ — сеть прямого распространения, действующая на конкатенированное представление, производящая значения управления
• $⊙$ обозначает произведение Адамара (поэлементное умножение)

Характеристики проектирования

1. Обучаемое управление: В отличие от фиксированных структур управления, модуль управления обучается векторным значениям управления на основе конкатенированной входной последовательности
2. Селективное распространение информации: Значения управления контролируют степень, в которой представление перекрёстного внимания $X'_A$ интегрируется с исходным представлением $X_A$
3. Гибкие функции активации: Поддерживает функции активации sigmoid или tanh

Механизм ортогонального выравнивания

Определение явления

Ортогональное выравнивание относится к механизму выравнивания представлений, при котором входной запрос (X) и выход (X') перекрёстного внимания стремятся быть ортогональными, а не просто усиливать предварительно выровненные признаки X.

Метод измерения

Степень ортогональности измеряется с использованием усреднённого по пакетам и позициям косинусного сходства:

|cos(X, X')| = (1/(B·l)) ∑_{b,i∈[B]×[l]} cos(X⃗_{bi}, X⃗'_{bi})

Ключевые находки

• Ортогональное выравнивание возникает естественным образом без явной регуляризации ортогональности
• |cos(X, X')| демонстрирует отрицательную корреляцию с производительностью рекомендаций
• Степень ортогональности остаётся стабильной между различными моделями (медиана ≈ 0,1–0,2)

Экспериментальная установка

Наборы данных

Используются открытые наборы данных Amazon Reviews, охватывающие различные доменные типы продуктов:

• Cloth-Sport
• Electronic-Phone
• Beauty-Electronics
• Food-Kitchen

Базовые модели

Выбраны три недавних алгоритма CDSR:

1. CDSRNP: Кросс-доменная рекомендация на основе условных нейронных процессов
2. ABXI: Кросс-доменная рекомендация последовательностей, ориентированная на задачи
3. LLM4CDSR: Кросс-доменная рекомендация на основе больших языковых моделей

Метрики оценки

• NDCG@1, NDCG@10: качество ранжирования
• AUC: дискриминативная способность
• HR@5, HR@10, HR@20: коэффициент попадания

Конфигурация экспериментов

• Позиции вставки модуля GCA: GCA0 (ранний), GCA1 (средний) и т.д.
• Функции активации: sigmoid, tanh
• Количество голов внимания: 4, 8
• Каждая конфигурация запускается 5 раз с различными случайными семенами

Результаты экспериментов

Основные результаты

Последовательность повышения производительности

На всех трёх базовых моделях ранний модуль GCA (GCAearly) обеспечивает последовательное повышение производительности:

LLM4CDSR на наборе данных Cloth-Sport:

• NDCG@1A: 0,716 → 0,728 (+1,2%)
• NDCG@10A: 0,782 → 0,805 (+2,3%)
• AUCA: +1,5%

ABXI на наборе данных Food-Kitchen:

• NDCG@1A: 0,059 → 0,072 (+22%)
• NDCG@10A: 0,154 → 0,176 (+14%)

Связь ортогональное выравнивание-производительность

Ключевая находка: |cos(X, X')| демонстрирует значительную отрицательную корреляцию с NDCG@10:

• LLM4CDSR домен B: r = -0,452
• ABXI домен A: r = -0,328, домен B: r = -0,340
• CDSRNP домен B: r = -0,296

Верификация эффективности параметров

Сравнение модели, улучшенной GCA, с базовой моделью с соответствующим количеством параметров:

• Во всех 5 тестовых случаях базовая модель + GCAearly превосходит базовую модель с соответствующим количеством параметров
• LLM4CDSR демонстрирует наиболее сильную эффективность параметров, что объясняется ограничением фиксированной размерности предварительно обученных встраиваний LLM

Анализ эффекта стекирования

Вертикальное стекирование нескольких модулей GCA не всегда приводит к монотонному повышению производительности:

• CDSRNP: от 0,1 к более глубокому стекированию без дальнейшего улучшения
• ABXI: выборочное размещение 1,2 показывает наилучший результат
• LLM4CDSR: отдельная позиция 1 превосходит конфигурацию стекирования 0,1

Независимость ортогонализации

Ортогонализация, индуцируемая GCA, независима от сходства X и Y:

• |cos(X, X')| остаётся стабильным между различными моделями (диапазон 0,1–0,2)
• |cos(X, Y)| варьируется в зависимости от набора данных (0,020–0,397)
• Доказывает, что GCA внутренне индуцирует контролируемую степень ортогонализации

Связанные работы

Выравнивание мультимодальности

• Методы контрастивного обучения: CLIP, ALIGN и другие достигают выравнивания изображение-текст через контрастивные цели
• Механизмы перекрёстного внимания: Используются в моделях диффузии текст-изображение как фильтры для удаления шума и фильтрации релевантности
• Проблема модального разрыва: Явление, при котором встраивания изображений и текста занимают непересекающиеся области

Кросс-доменная рекомендация последовательностей

• Ранние методы: MiNet сеть смешанных интересов, RecGURU состязательное обучение
• Архитектуры Transformer: DASL двойное внимание, MAN сеть смешанного внимания
• Методы метаобучения: CDSRNP нейронные процессы, Tri-CDR тройное последовательное обучение
• Интеграция LLM: LLM4CDSR, ABXI и другие последние достижения

Заключение и обсуждение

Основные выводы

1. Универсальность ортогонального выравнивания: В кросс-доменной рекомендации перекрёстное внимание естественным образом производит явление ортогонального выравнивания
2. Механизм повышения производительности: Отрицательная корреляция между степенью ортогональности и производительностью рекомендаций предоставляет новую перспективу оптимизации производительности
3. Преимущества эффективности параметров: Ортогональное выравнивание достигает параметрически эффективного масштабирования путём исследования ортогональных подпространств
4. Руководство по проектированию архитектуры: Раннее размещение GCA наиболее эффективно, глубокое стекирование требует осторожного применения

Ограничения

1. Диапазон наборов данных: Эксперименты в основном основаны на данных рекомендаций Amazon, обобщаемость требует дальнейшей верификации
2. Применимость к моделям зрение-язык: Из-за характеристик контрастивного обучения предварительно обученных кодировщиков, наблюдение ортогонального выравнивания в моделях VLM может быть более сложным
3. Объяснение механизма: Эффективность параметров может быть не единственным объяснением возникновения ортогонального выравнивания
4. Выбор базовых моделей: Различные базовые модели используют различные подмножества данных, что может влиять на сравнение результатов

Направления будущих исследований

1. Исследование архитектур: Разработка более эффективных механизмов ортогонального выравнивания, выходящих за рамки GCA
2. Теоретический анализ: Глубокое понимание математических принципов и свойств сходимости ортогонального выравнивания
3. Кросс-доменная верификация: Верификация обнаруженных явлений в других мультимодальных задачах, таких как модели зрение-язык
4. Разработка метрик: Разработка более тонких методов измерения ортогонального выравнивания

Глубокая оценка

Преимущества

1. Значительный теоретический вклад: Оспаривает традиционное понимание перекрёстного внимания как остаточного выравнивания, предлагая новую перспективу ортогонального выравнивания
2. Строгое проектирование экспериментов: 300+ конфигураций экспериментов, несколько базовых моделей, верификация статистической значимости
3. Глубокое объяснение механизма: Не только обнаруживает явление, но и предоставляет разумное объяснение эффективности параметров
4. Высокая практическая ценность: Модуль GCA прост и эффективен, легко интегрируется в существующие архитектуры
5. Ясное изложение: Чёткое определение концепций, достаточное представление результатов экспериментов

Недостатки

1. Разнообразие наборов данных: В основном основано на данных электронной коммерции, применимость в других областях недостаточно верифицирована
2. Теоретическая база: Отсутствует строгий математический теоретический анализ явления ортогонального выравнивания
3. Вычислительные затраты: Недостаточно подробный анализ вычислительной сложности и эффективности вывода модуля GCA
4. Чувствительность гиперпараметров: Недостаточный анализ чувствительности к выбору функции управления, количеству голов внимания и другим гиперпараметрам
5. Долгосрочные эффекты: Не оценена стабильность ортогонального выравнивания в длинных последовательностях или при крупномасштабном развёртывании

Влияние

1. Академическая ценность: Предоставляет новую теоретическую перспективу для мультимодального обучения и систем рекомендаций
2. Практическое руководство: Предоставляет конкретные решения по улучшению архитектуры для проектирования систем кросс-доменной рекомендации
3. Вклад в методологию: Метод измерения степени ортогонального выравнивания может быть применён к анализу других мультимодальных задач
4. Исследовательское вдохновение: Открывает новое направление исследований по пониманию механизмов внимания с точки зрения ортогональности

Применимые сценарии

1. Кросс-доменная рекомендация: Сценарии многодоменной рекомендации в электронной коммерции, социальных сетях, платформах контента
2. Мультимодальное обучение: Задачи машинного обучения, требующие объединения гетерогенных источников данных
3. Оптимизация эффективности параметров: Потребности в масштабировании моделей в условиях ограниченных ресурсов
4. Исследование механизмов внимания: Работы по глубокому пониманию архитектуры трансформера

Библиография

Статья цитирует важные работы в областях систем рекомендаций, мультимодального обучения и механизмов внимания, включая:

• Vaswani et al. (2017): Основы архитектуры Transformer
• Radford et al. (2021): Метод контрастивного обучения CLIP
• Alayrac et al. (2022): Мультимодальная модель Flamingo
• Множество связанных работ CDSR: MiNet, RecGURU, DASL, MAN и др.

Общая оценка: Это высококачественная исследовательская статья, демонстрирующая превосходство как в теоретическом вкладе, так и в практической ценности. Путём обнаружения и анализа явления ортогонального выравнивания она предоставляет новую перспективу понимания в области мультимодального обучения, обладая значительной академической ценностью и перспективами применения.