К многомодальной пространственной экстракции аудиоисточников на основе запроса

Основная информация

• ID статьи: 2510.13308
• Название: Towards Multimodal Query-Based Spatial Audio Source Extraction
• Авторы: Chenxin Yu¹, Hao Ma²*, Xu Li³, Xiao-Lei Zhang²†, Mingjie Shao⁴, Chi Zhang², Xuelong Li²†
• Классификация: eess.AS (обработка аудиосигналов)
• Дата публикации: 15 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.13308

Аннотация

Экстракция аудиоисточников на основе запроса направлена на восстановление целевого источника из смешанного аудио в соответствии с условиями запроса. Существующие методы в основном ограничены одноканальным аудио и не полностью используют пространственную информацию из многоканальных записей. В данной работе предлагается структура пространственной экстракции аудиоисточников на основе запроса для восстановления чистого целевого сигнала из смешанного аудио первого порядка амбисоники (FOA). Метод поддерживает аудиоподсказки или текстовые подсказки в качестве условных входных данных, обеспечивая гибкую сквозную экстракцию. Ядром модели является трёхосевой Transformer, совместно моделирующий временные, частотные и пространственно-канальные зависимости. Модель использует встраивания контрастного языково-аудиопредварительного обучения (CLAP), реализуя унифицированное кондиционирование аудио-текста через модуляцию признаков (FiLM). Для устранения дорогостоящих затрат на аннотирование и повышения способности к обобщению предлагается конвейер немаркированных данных, динамически генерирующий пространственно смешанное аудио и соответствующие целевые данные для обучения. Экспериментальные результаты демонстрируют высокое качество разделения, подтверждая эффективность многомодального кондиционирования и трёхосевого моделирования.

Исследовательский контекст и мотивация

Определение задачи

Разделение аудиоисточников является фундаментальной задачей обработки аудиосигналов, направленной на восстановление отдельных звуковых событий из сложного смешанного аудио. С развитием иммерсивных медиа, AR/VR, слуховых аппаратов и взаимодействия человека с машиной растёт потребность в обработке пространственного аудио.

Ограничения существующих методов

1. Недостаточное использование пространственной информации: Большинство существующих методов сосредоточены на временном моделировании или представлении время-частота, не полностью используя пространственные сигналы, критически важные для восприятия человеческим слухом
2. Обучение, специфичное для класса: Многие системы разделения используют обучение, специфичное для класса, что ограничивает способность к обобщению и применимость в разнообразных реальных сценариях
3. Ограничение одноканальностью: Хотя некоторые исследования изучают разделение целевого звука с использованием многомодальных сигналов, они остаются ограниченными одноканальным аудио
4. Вызовы в среде с реверберацией: Традиционные методы пространственной фильтрации или формирования луча плохо работают в условиях сильной пространственной реверберации

Исследовательская мотивация

Разработка структуры, способной совместно захватывать временные и пространственные зависимости при поддержке сквозного разделения на основе запроса, остаётся открытой проблемой. Данная работа направлена на заполнение этого пробела, предлагая методы для надёжного и высокоточного разделения в условиях реверберации и акустической сложности.

Основные вклады

1. Предложение структуры BSAST: Band-split Spatial Audio Separation Transformer, совместно моделирующий временные, частотные и пространственно-канальные сигналы для надёжной экстракции в условиях реверберации
2. Введение механизма кондиционирования CLAP: Механизм кондиционирования запроса на основе CLAP, поддерживающий оба типа запросов — аудио и текст, выходящий за рамки фиксированных установок класса
3. Разработка конвейера немаркированных данных: Динамическое генерирование пространственно смешанного аудио и соответствующих целевых данных, повышающее масштабируемость обучения без дорогостоящих ручных аннотаций
4. Установление новой парадигмы: Создание новой парадигмы для высокоточного пространственного разделения аудио в иммерсивных приложениях

Подробное описание методологии

Определение задачи

Дано многоканальное смешанное аудио в формате FOA $X \in \mathbb{R}^{C \times L}$ (C — количество каналов, L — количество аудиосэмплов), процесс генерирования смешанного аудио определяется как:

$X = \sum_{i=1}^{M} s_i * H_i + N$

где M — количество источников, $s_i$ — чистый сигнал источника, $H_i$ — соответствующий многоканальный импульсный отклик помещения, * обозначает свёртку, N обозначает ненаправленный фоновый шум.

Цель состоит в оценке соответствующего чистого целевого сигнала из смешанного аудио в соответствии с запросом q (аудиопример или текстовое описание): $\hat{s}_q = f_\theta(X, q)$

Архитектура модели

1. Обзор системы

Структура BSAST включает четыре основных модуля:

• Кодировщик с разделением полос: Разделяет спектр на несколько поддиапазонов и извлекает скрытые встраивания
• Модуль кондиционирования CLAP: Внедряет семантическое руководство запроса через FiLM
• Трёхосевой RoPE Transformer: Моделирует зависимости вдоль временного, частотного и канального измерений
• Модуль оценки спектра: Непосредственно предсказывает целевой спектр

2. Кодировщик с разделением полос

Использует стратегию разделения полос для разделения входного спектра на N неперекрывающихся частотных поддиапазонов:

• Преобразует комплексный спектрограмм в вещественную область (разделяет действительную и мнимую части)
• Разделяет на N поддиапазонов $B_n \in \mathbb{R}^{C \times T \times F_n}$
• Каждый поддиапазон генерирует встраивание $Z_n \in \mathbb{R}^{C \times T \times D}$ через нормализацию RMS и линейную проекцию
• Складывает вдоль оси поддиапазона, получая $Z \in \mathbb{R}^{C \times T \times N \times D}$

3. Кондиционирование CLAP

Использует механизм FiLM для внедрения встраиваний CLAP:

• Встраивание CLAP $e \in \mathbb{R}^d$ отображается в 2D-вектор через двухслойную полносвязную сеть
• Разделяется на параметр масштабирования $\gamma$ и параметр смещения $\beta$
• Модуляция признаков: $\text{FiLM}(Z,\gamma,\beta) = \gamma \odot Z + \beta$

4. Трёхосевой RoPE Transformer

Каждый блок Transformer последовательно применяет осевое внимание вдоль временного, частотного и канального осей:

• Использует RoPE для кодирования зависимостей относительного положения
• Механизм многоголового внимания для обработки взаимодействий по каждой оси
• Остаточные соединения и сети прямого распространения

5. Модуль оценки спектра

Непосредственно предсказывает амплитудный спектр целевого источника:

• Каждый поддиапазон генерирует оценочный спектр $\hat{B}_n$ через MLP
• Объединяет все поддиапазоны вдоль частотной оси
• Агрегирует многоканальную информацию через модуль слияния каналов

Технические инновации

1. Трёхосевое моделирование: Впервые одновременно моделирует зависимости временного, частотного и пространственного измерений в разделении аудио
2. Многомодальные запросы: Унифицированно поддерживает как аудио, так и текстовые запросы, обеспечивая гибкое взаимодействие
3. Обучение без разметки: Генерирует псевдозапросы через возмущение встраиваний CLAP без необходимости в параллельных аннотированных данных
4. Использование пространственной информации: Полностью использует пространственные сигналы формата FOA для разделения источников

Экспериментальная установка

Наборы данных

Использует официальный набор данных DCASE 2025 Task 4:

• Чистые источники: Anechoic Sound Event 1K, FSD50K, EARS
• Импульсные отклики помещения: RIR, записанные в формате FOA
• Фоновый шум: FOA-MEIR, FSD50K, ESC-50, DISCO
• Аудиоспецификация: Частота дискретизации 32 кГц, 16-битное квантование
• Смешанное аудио: Длительность 10 секунд, максимум 3 одновременно перекрывающихся события

Метрики оценки

• SI-SDR (масштабно-инвариантное отношение сигнал-искажение)
• SDR (отношение сигнал-искажение)

Детали реализации

• Параметры STFT: Длина окна Ханна 2048, размер сдвига 1024
• Разделение частотных полос: 25 неперекрывающихся поддиапазонов
• Параметры модели: Размерность признаков 128, 8 блоков Transformer, 4 головы внимания
• Оптимизатор: AdamW, скорость обучения 3×10⁻⁴, затухание веса 1×10⁻²
• Обучение: Максимум 300 эпох, 2000 образцов за эпоху

Целевая функция обучения

Объединяет потери SI-SDR и L1-реконструкции: $L = L_{\text{SI-SDR}} + \lambda L_1$ где $\lambda = 100$

Экспериментальные результаты

Основные результаты

Ключевые выводы:

1. Конфигурация полной FOA значительно превосходит одноканальную конфигурацию, подтверждая важность пространственной информации
2. Производительность аудиозапроса превосходит производительность текстового запроса
3. Модель хорошо обрабатывает текстовые запросы даже при обучении только с аудиозапросами

Абляционные исследования

Анализ результатов:

• Увеличение количества блоков Transformer постоянно улучшает производительность
• Конфигурация с 8 блоками достигает оптимальных результатов
• Демонстрирует хорошую масштабируемость модели

Анализ примеров

На рисунке 2 показаны примеры разделения с использованием текстовых запросов, где модель точно извлекает целевые звуки, такие как "печать" и "наливание", сохраняя высокую точность и чёткость.

Связанные работы

Разделение аудиоисточников

Традиционные методы в основном сосредоточены на одноканальном или стереоразделении, достигли прогресса в временном моделировании и представлении время-частота, но недостаточно используют пространственные сигналы.

Разделение на основе условного запроса

Недавние исследования изучают разделение целевого звука с использованием многомодальных сигналов, но в основном ограничены одноканальным аудио и не полностью используют пространственную информацию.

Обработка пространственного аудио

Традиционные методы пространственной фильтрации и формирования луча имеют ограниченную производительность в условиях сильной реверберации, требуя более мощных методов глубокого обучения.

Заключение и обсуждение

Основные выводы

1. Трёхосевой Transformer эффективно моделирует зависимости время-частота-пространство
2. Кондиционирование CLAP обеспечивает гибкие многомодальные запросы
3. Конвейер немаркированных данных повышает эффективность обучения и способность к обобщению
4. Пространственная информация критически важна для высокого качества разделения аудио

Ограничения

1. Проверено только на формате FOA, не расширено на другие многоканальные форматы
2. Производительность текстового запроса остаётся ниже производительности аудиозапроса
3. Высокая вычислительная сложность требует оптимизации для приложений реального времени
4. Надёжность в условиях экстремальной реверберации требует дальнейшей проверки

Будущие направления

1. Расширение на дополнительные форматы пространственного аудио
2. Повышение производительности разделения текстовых запросов
3. Сжатие модели и оптимизация ускорения
4. Обучение на больших наборах данных

Глубокая оценка

Преимущества

1. Сильная техническая инновативность: Впервые предлагает структуру пространственного разделения аудио с трёхосевым моделированием
2. Высокая практическая ценность: Поддерживает многомодальные запросы, применимо к иммерсивным приложениям
3. Полнота методологии: Формирует полный конвейер от генерирования данных до проектирования модели
4. Достаточные эксперименты: Включает абляционные исследования и сравнительный анализ

Недостатки

1. Ограниченный диапазон оценки: Проверено только на одном наборе данных
2. Вычислительная эффективность: Трёхосевое моделирование увеличивает вычислительную сложность
3. Недостаточный теоретический анализ: Отсутствует анализ сходимости и способности к обобщению методологии
4. Рассмотрение реального времени: Не обсуждается осуществимость обработки в реальном времени

Влияние

1. Академический вклад: Устанавливает новую парадигму для пространственного разделения аудио
2. Перспективы применения: Имеет широкие применения в AR/VR, слуховых аппаратах и других областях
3. Воспроизводимость: Предоставляет подробные детали реализации
4. Вдохновляющий характер: Предлагает новые идеи для многомодальной обработки аудио

Применимые сценарии

1. Иммерсивные медиа: Обработка аудио в среде VR/AR
2. Интеллектуальное слухопротезирование: Персонализированное усиление звука
3. Системы конференций: Разделение речи в многопользовательских конференциях
4. Взаимодействие робота: Понимание звука в сложных средах

Библиография

Статья цитирует 25 соответствующих работ, охватывающих разделение аудиоисточников, обработку пространственного аудио, глубокое обучение и другие важные области, обеспечивая прочную теоретическую основу для исследования.

Общая оценка: Данная работа предлагает инновационную структуру пространственного разделения аудио с полной технической схемой и достаточной экспериментальной проверкой, достигая значительного прогресса в использовании многомодальных запросов и пространственной информации, закладывая основу для иммерсивных аудиоприложений. Несмотря на некоторые ограничения, общий вклад является значительным с важной академической ценностью и перспективами применения.