Translution: Объединение самовнимания и свертки для адаптивного и относительного моделирования

Основная информация

• ID статьи: 2510.10060
• Название: Translution: Unifying Self-attention and Convolution for Adaptive and Relative Modeling
• Авторы: Hehe Fan (Чжэцзянский университет), Yi Yang (Чжэцзянский университет), Mohan Kankanhalli (Национальный университет Сингапура), Fei Wu (Чжэцзянский университет)
• Категория: cs.LG cs.AI cs.CL cs.CV
• Дата публикации: 11 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.10060v1

Аннотация

При моделировании данных авторы выделяют два ключевых аспекта: 1) определение элементов, связанных с центральным элементом (как в свертке) или элементом запроса (как в самовнимании); 2) эффективное кодирование этих токенов. Самовнимание может адаптивно определять эти элементы, но полагается на абсолютные позиционные вложения для обучения представлению структуры. Напротив, свертка кодирует элементы относительным способом, но фиксированный размер ядра ограничивает её способность адаптивно выбирать релевантные элементы. В данной работе предлагается операция Translution, которая объединяет адаптивные возможности самовнимания с преимуществами относительного кодирования свертки. Однако такая интеграция приводит к значительному увеличению количества параметров, превышающему возможности большинства современных вычислительных ресурсов. Поэтому авторы предлагают облегченный вариант α-Translution. Экспериментальные результаты показывают, что Translution превосходит самовнимание как в задачах компьютерного зрения, так и в обработке естественного языка.

Исследовательский контекст и мотивация

Определение проблемы

Основной вызов современного глубокого обучения заключается в том, как эффективно моделировать данные. Авторы разлагают моделирование данных на два ключевых аспекта:

1. Определение релевантных элементов: определение того, какие элементы данных связаны с текущим обрабатываемым элементом
2. Эффективное кодирование: кодирование этих релевантных элементов в эффективное представление

Ограничения существующих методов

Ограничения сверточных нейронных сетей:

• Использование ядер фиксированного размера для определения локального рецептивного поля
• Невозможность избежать включения нерелевантных пикселей, особенно на границах объектов или в фоновых областях
• Хотя способны кодировать локальную структуру относительным образом, им не хватает адаптивности

Ограничения механизма самовнимания:

• Способны адаптивно определять релевантные области без ограничений предопределенной локальности
• Полагаются на абсолютные позиционные вложения для захвата информации о структуре
• Могут испытывать трудности при распознавании одного и того же объекта, перемещающегося в разные позиции

Исследовательская мотивация

По мере того как прямые расширения моделей, таких как Transformer, сталкиваются с убывающей отдачей, лаборатории искусственного интеллекта отмечают, что темпы улучшения моделей следующего поколения ниже ожидаемых. При насыщении данных и ограничениях текущих законов масштабирования разработка инновационных архитектур нейронных сетей становится критически важной.

Основные вклады

1. Предложение операции Translution: объединение адаптивных возможностей самовнимания с преимуществами относительного кодирования свертки
2. Разработка облегченного варианта α-Translution: значительное сокращение количества параметров, делающее метод практически применимым с современными вычислительными ресурсами
3. Теоретическое объединение: доказательство того, что свертка и самовнимание могут рассматриваться как частные случаи Translution
4. Экспериментальная проверка: валидация метода на задачах компьютерного зрения и обработки естественного языка
5. Открытая реализация: предоставление полной реализации кода для использования сообществом

Подробное описание метода

Определение задачи

Для входных данных (блоков изображения или текстовых токенов) целью является обучение операции, которая может:

• Адаптивно определять элементы, связанные с элементом запроса
• Кодировать структурные отношения этих элементов относительным способом
• Генерировать эффективное представление на выходе

Архитектура модели

Операция Translution

Translution использует подход в стиле свертки, назначая различные матрицы параметров для каждого расстояния и направления:

Относительное кодирование запроса: qi,j = fi · W^q_{δx,δy}, δx = xi - xj, δy = yi - yj
Относительное кодирование ключа: kj,i = fj · W^k_{-δx,-δy}
Относительное внимание: ai,j = (qi,j · k^T_{j,i})/√C', αi,j = e^{ai,j}/∑e^{ai,n}
Относительное кодирование значения: vi,j = fj · W^v_{δx,δy}
Взвешенная сумма: f'i = ∑αi,j × vi,j

где W^q_{δx,δy}, W^k_{δx,δy}, W^v_{δx,δy} ∈ R^{C×C'} — матрицы обучаемых параметров для соответствующего смещения (δx,δy).

Облегченный вариант α-Translution

Поскольку Translution требует (2H-1)×(2W-1)×C×C' параметров, α-Translution снижает параметры путем уменьшения входных и выходных размерностей:

W^q_{δx,δy} ⇒ W^q_1 · W^q_{δx,δy}
W^k_{δx,δy} ⇒ W^k_1 · W^k_{δx,δy}
W^v_{δx,δy} ⇒ W^v_1 · W^v_{δx,δy} · W^v_2

где C1 ≪ C, C2 ≪ C'.

Технические инновации

1. Теоретическое объединение

Авторы доказывают, что свертка и самовнимание являются частными случаями Translution:

• Свертка: веса внимания равны 1 в рецептивном поле и 0 вне его
• Самовнимание: использование общих параметров W^q, W^k, W^v, игнорирование кодирования направления и расстояния
• Translution: объединение преимуществ обоих подходов

2. Кодирование относительной позиции

В отличие от существующих методов (скалярные смещения или векторное сложение), Translution использует матрицы на основе смещений для относительного кодирования, лучше захватывая информацию о направлении и расстоянии.

3. Оптимизированная реализация памяти

Для α-Translution разработана реализация, эффективная по памяти, снижающая пиковое использование памяти с N×N×C' до N×C'+N×N×C2.

Экспериментальная установка

Наборы данных

Задачи компьютерного зрения:

• Dynamic MNIST: синтетический набор данных с цифрами, движущимися в области 84×84 пикселя
• Static MNIST: контрольный набор данных с цифрами, зафиксированными в центре изображения
• ImageNet-1K: крупномасштабный набор данных классификации изображений с 1000 классами

Задачи обработки естественного языка:

• OpenWebText: 9 миллиардов токенов обучения, 4 миллиона токенов валидации, словарь из 50K

Метрики оценки

• Классификация изображений: точность Top-1 и Top-5
• Моделирование языка: недоумение (Perplexity)

Методы сравнения

• Стандартное самовнимание (базовая модель Transformer)
• Варианты с относительным кодированием позиции (Shaw et al., Swin Transformer, ConViT, RoFormer и др.)
• Варианты с абсолютным кодированием (для исследования влияния)

Детали реализации

• Конфигурация архитектуры: глубина 6-12 слоев, размер вложения 192-384, количество голов внимания 3-6
• Размеры сжатия α-Translution по умолчанию: C1 = C2 = 8
• Размер батча: 256 (ImageNet), 8 (OpenWebText)
• Все обучение начинается с нуля без предварительного обучения

Результаты экспериментов

Основные результаты

Эксперименты на Dynamic MNIST

Ключевые находки: Translution показывает значительно лучшие результаты в сценариях с изменением позиции, доказывая преимущества относительного кодирования.

Эксперименты на ImageNet-1K

На примере ViT-A/56:

Эксперименты по моделированию языка

Исследование влияния компонентов

1. Влияние увеличения параметров vs относительного кодирования

Эксперименты показывают, что простое увеличение параметров (абсолютное кодирование) не приводит к улучшению производительности, доказывая эффективность самого метода относительного кодирования.

2. Влияние размерности относительного кодирования

По мере увеличения C1 и C2 производительность α-Translution улучшается, но также увеличивается количество параметров, создавая компромисс между эффективностью и производительностью.

3. Сравнение методов позиционного кодирования

Экспериментальные находки

1. Важность относительного кодирования: в сценариях с изменением позиции относительное кодирование значительно превосходит абсолютное
2. Параметрическая эффективность: α-Translution достигает значительного улучшения производительности при небольшом увеличении параметров
3. Кроссмодальная эффективность: метод эффективен как на задачах зрения, так и на задачах языка
4. Ограничения памяти: текущие ограничения памяти GPU требуют 2-3 ТБ памяти для более крупномасштабных оценок

Связанные работы

Исследования позиционного кодирования

Авторы классифицируют связанные работы на три категории:

1. Векторы относительной позиции: Shaw et al., BoTNet, HaloNet и др.
2. Скаляры относительной позиции: Swin Transformer, CoAtNet, ConViT и др.
3. Вращающиеся позиционные вложения: RoFormer и др.

Объединение свертки и внимания

• Объединение на уровне архитектуры: Conformer, CeiT и др. используют свертку и внимание в разных слоях
• Объединение на уровне модуля: Translution объединяет оба подхода на уровне базовой операции

Заключение и обсуждение

Основные выводы

1. Translution успешно объединяет адаптивные возможности самовнимания с преимуществами относительного кодирования свертки
2. α-Translution обеспечивает хороший баланс между параметрической эффективностью и производительностью
3. Относительное кодирование значительно превосходит абсолютное при обработке изменений позиции
4. Метод показывает улучшения на нескольких задачах и модальностях

Ограничения

1. Требования к вычислительным ресурсам: полный Translution требует большого количества параметров и памяти
2. Ограничения масштаба оценки: из-за ограничений ресурсов основная оценка проводилась на архитектурах малого и среднего размера
3. Оптимизация для конкретных сценариев: некоторые относительные позиции могут совместно использовать параметры, особенно на больших расстояниях

Будущие направления

1. Исследование оптимизированных вариантов: разработка более эффективных вариантов Translution
2. Расширение на мультимодальность: расширение на 3D, видео, молекулы и другие модальности
3. Проектирование архитектуры: разработка более эффективных специализированных архитектур для Translution
4. Крупномасштабная оценка: валидация на более крупных фреймворках и наборах данных

Глубокая оценка

Преимущества

1. Теоретический вклад: предоставляет унифицированную перспективу на свертку и самовнимание, теоретически элегантно
2. Практическая ценность: α-Translution обеспечивает улучшение производительности даже при ограниченных ресурсах
3. Полные эксперименты: охватывают несколько задач, наборов данных и исследования влияния компонентов
4. Четкая проблема: ясно определяет и решает основные ограничения существующих методов
5. Открытый вклад: предоставляет полную реализацию, способствуя исследованиям сообщества

Недостатки

1. Требования к ресурсам: вычислительные требования полного метода могут ограничить практическое применение
2. Масштаб оценки: отсутствие оценки крупномасштабных моделей из-за ограничений ресурсов
3. Теоретический анализ: отсутствие глубокого теоретического анализа сходимости и свойств оптимизации
4. Справедливость сравнения: значительные различия в количестве параметров с базовыми методами могут влиять на справедливость сравнения

Влияние

1. Академическая ценность: предоставляет новые идеи для объединения механизмов внимания и свертки
2. Практические перспективы: практичность α-Translution позволяет надеяться на его применение в реальных приложениях
3. Вдохновляющее значение: может вдохновить дальнейшие исследования объединения базовых операций

Применимые сценарии

1. Задачи, чувствительные к позиции: особенно подходит для задач, требующих обработки изменений позиции
2. Структурированные данные: хорошие результаты на данных с пространственной или последовательной структурой (изображения, текст)
3. Среды с достаточными ресурсами: полный Translution подходит для сценариев с достаточными вычислительными ресурсами
4. Исследовательское изучение: предоставляет новые направления для исследований базовых архитектур

Библиография

Статья цитирует важные работы в области глубокого обучения, включая:

• Оригинальная статья Transformer (Vaswani et al., 2017)
• Vision Transformer (Dosovitskiy et al., 2021)
• Связанные работы по относительному кодированию позиции (Shaw et al., 2018; Liu et al., 2021 и др.)
• Классические работы по сверточным нейронным сетям (LeCun et al., 1998; He et al., 2016 и др.)

Общая оценка: Это высококачественная статья с вкладами как в теории, так и в практике. Хотя существует проблема высоких требований к вычислительным ресурсам, предложение облегченного варианта α-Translution хорошо уравновешивает производительность и эффективность. Статья предоставляет новую перспективу на объединение базовых операций в глубоком обучении и имеет значительную академическую ценность и практическое значение.