Улучшение речи и дереверберация с использованием диффузионных генеративных моделей

Основная информация

• ID статьи: 2208.05830
• Название: Speech Enhancement and Dereverberation with Diffusion-based Generative Models
• Авторы: Julius Richter, Simon Welker, Jean-Marie Lemercier, Bunlong Lay, Timo Gerkmann
• Классификация: eess.AS (обработка аудио и речи), cs.LG (машинное обучение), cs.SD (звук)
• Дата публикации: август 2022 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2208.05830
• Ссылка на код: https://github.com/sp-uhh/sgmse

Аннотация

В данной статье на основе предыдущих работ авторов используются диффузионные генеративные модели для улучшения речи. Статья подробно описывает процесс диффузии на основе стохастических дифференциальных уравнений (СДУ) и проводит глубокий теоретический анализ. В отличие от обычных условных генеративных задач, авторы не начинают обратный процесс с чистого гауссовского шума, а с смеси зашумленной речи и гауссовского шума. Это соответствует прямому процессу, содержащему член дрейфа, который преобразует чистую речь в зашумленную. Исследование показывает, что метод может генерировать высококачественные оценки чистой речи всего за 30 шагов диффузии. Благодаря улучшению архитектуры сети значительно повышена производительность улучшения речи, что указывает на то, что сеть, а не формализованный метод, является основным ограничивающим фактором исходного подхода.

Предпосылки и мотивация исследования

Определение проблемы

Улучшение речи направлено на восстановление чистого речевого сигнала из звукозаписей, подверженных воздействию акустического шума или реверберации. Это классическая задача обработки сигналов, имеющая важное применение в телефонной связи, слуховых аппаратах, распознавании речи и других областях.

Ограничения существующих методов

1. Ограничения дискриминативных моделей:
   • Сложность охвата всех возможных акустических условий в обучающих данных
   • Возможность создания неестественных речевых искажений
   • Ограниченная способность к обобщению
2. Проблемы генеративных моделей VAE:
   • Ограничения размерности скрытого слоя
   • Чувствительность кодировщика к зашумленным входам
   • Зависимость от линейной модели шума
3. Недостатки существующих диффузионных моделей:
   • CDiffuSE требует явной оценки окружающего шума
   • Плохое сохранение высокочастотной информации

Мотивация исследования

Целью данной работы является разработка чистой генеративной диффузионной модели, которая путем обучения распределению приоритета чистой речи обеспечивает высококачественное улучшение речи и дереверберацию в области комплексного спектрограмма кратковременного преобразования Фурье (STFT).

Основные вклады

1. Инновационный процесс диффузии СДУ: предложено стохастическое дифференциальное уравнение с членом дрейфа, который преобразует прямой процесс от чистой речи к зашумленной
2. Улучшенная архитектура сети: использование архитектуры NCSN++ вместо исходной комплексной U-Net значительно повышает производительность
3. Унифицированная структура: одна структура может обрабатывать как задачи улучшения речи, так и дереверберации
4. Комплексная оценка: включает кросс-датасетную оценку, тестирование на реальных данных и субъективные слуховые эксперименты
5. Оптимизация эффективности: балансировка производительности и скорости вычислений через различные конфигурации дискретизаторов
6. Теоретический анализ: предоставляет подробный теоретический вывод и анализ процесса диффузии

Подробное описание метода

Определение задачи

• Вход: сигнал речи с шумом/реверберацией $y$
• Выход: чистый речевой сигнал $x_0$
• Ограничения: сохранение естественности и разборчивости речи

Представление данных

Статья работает в области комплексного STFT с использованием преобразования сжатия амплитуды: $\tilde{c} = \beta|c|^{\alpha}e^{i\angle(c)}$ где $\alpha \in (0,1]$ — показатель сжатия, $\beta \in \mathbb{R}^+$ — коэффициент масштабирования.

Проектирование стохастического дифференциального уравнения

Прямой процесс

Определено линейное СДУ: $dx_t = f(x_t, y)dt + g(t)dw$

где:

• Коэффициент дрейфа: $f(x_t, y) = \gamma(y - x_t)$
• Коэффициент диффузии: $g(t) = \sigma_{min}\left(\frac{\sigma_{max}}{\sigma_{min}}\right)^t\sqrt{2\log\left(\frac{\sigma_{max}}{\sigma_{min}}\right)}$

Обратный процесс

Соответствующее обратное СДУ: $dx_t = [f(x_t, y) - g(t)^2s_\theta(x_t, y, t)]dt + g(t)d\bar{w}$

где $s_\theta(x_t, y, t)$ — функция оценки, которую необходимо обучить.

Целевая функция обучения

На основе сопоставления оценок шумоподавления целевая функция обучения: $\arg\min_\theta \mathbb{E}_{t,(x_0,y),z,x_t|(x_0,y)}\left[\left\|s_\theta(x_t, y, t) + \frac{z}{\sigma(t)}\right\|_2^2\right]$

Архитектура сети

Используется архитектура NCSN++, основные характеристики:

1. Многоразрешающая структура U-Net
2. Пути прогрессивного роста
3. Механизм глобального внимания
4. Временное встраивание: использование встраивания Фурье для кодирования временной информации
5. Остаточные блоки: остаточные сетевые блоки на основе BigGAN

Экспериментальная установка

Наборы данных

1. WSJ0-CHiME3: использование чистой речи WSJ0 и шума CHiME3, диапазон SNR 0-20 дБ
2. VB-DMD (VoiceBank-DEMAND): стандартный эталонный набор данных для улучшения речи
3. WSJ0-REVERB: смоделированные данные реверберации с использованием pyroomacoustics, диапазон T60 0,4-1,0 секунды

Показатели оценки

• Полнотекстовые показатели: POLQA, PESQ, ESTOI, SI-SDR, SI-SIR, SI-SAR
• Показатели без ссылки: DNSMOS, SIG, BAK, OVRL, WVMOS

Методы сравнения

• Генеративные модели: STCN, DVAE, CDiffuSE, SGMSE (исходная версия)
• Дискриминативные модели: MetricGAN+, Conv-TasNet, GaGNet, TCN+SA+S

Детали реализации

• Параметры STFT: длина окна 510, размер скачка 128, окно Ханна
• Параметры СДУ: $\sigma_{min}=0.05$, $\sigma_{max}=0.5$, $\gamma=1.5$
• Обучение: 4×Quadro RTX 6000, 160 эпох, скорость обучения $10^{-4}$
• Дискретизация: 30 шагов обратного процесса, дискретизатор предсказание-коррекция

Результаты экспериментов

Основные результаты

Производительность улучшения речи (WSJ0-CHiME3)

Способность к кросс-датасетному обобщению

При несовпадающих условиях (обучение на VB-DMD, тестирование на WSJ0-CHiME3) SGMSE+ превосходит другие методы по всем показателям, демонстрируя превосходную способность к обобщению.

Производительность дереверберации (WSJ0-REVERB)

Абляционные исследования

Оптимизация конфигурации дискретизатора

• Дискретизатор предсказание-коррекция: одна корректирующая итерация достигает оптимального баланса производительности
• Выбор количества шагов: 30 шагов достигают насыщения производительности
• Вычислительная эффективность: RTF составляет 1,77 (в 1,77 раза больше реального времени обработки)

Эффект улучшения архитектуры

По сравнению с исходной SGMSE, SGMSE+ показывает улучшение на 0,75 по POLQA и на 0,68 по PESQ, что подтверждает важность архитектуры сети.

Субъективные слуховые эксперименты

Результаты эксперимента MUSHRA показывают, что SGMSE+ получила наивысший балл, особенно демонстрируя отличную надежность при несовпадающих условиях.

Оценка на реальных данных

На реальных данных шума DNS Challenge 2020 SGMSE+ показывает лучшие результаты по всем показателям без ссылки.

Связанные работы

Методы дискриминативных моделей

• Маскирование время-частота: обучение идеальному бинарному маскированию или маскированию отношения
• Отображение комплексного спектра: прямая оценка коэффициентов комплексного STFT
• Методы во временной области: сквозная обработка волновой формы

Методы генеративных моделей

• На основе VAE: обучение распределению приоритета речи, но ограничено размерностью скрытого пространства
• Методы GAN: неявная оценка плотности, но нестабильное обучение
• Диффузионные модели: недавно появившиеся методы, разделяемые на две категории: переколичество и прямое моделирование

Применение диффузионных моделей в обработке речи

• Переколичество речи: методы типа CDiffuSE
• Прямое моделирование: методы серии SGMSE в данной работе

Выводы и обсуждение

Основные выводы

1. Улучшенная архитектура сети является ключевым фактором повышения производительности
2. Генеративные модели превосходят дискриминативные модели в кросс-датасетном обобщении
3. Одна структура может эффективно обрабатывать несколько задач восстановления речи
4. 30-шаговый процесс диффузии может достичь высококачественного генерирования речи

Ограничения

1. Вычислительная сложность: большой объем вычислений по сравнению с дискриминативными моделями
2. Артефакты: возможные артефакты "озвучивания" при очень низком SNR
3. Моделирование фазы: ограниченный эффект улучшения фазы при комплексном моделировании
4. Чувствительность параметров: требуется тщательная настройка параметров СДУ

Направления будущих исследований

1. Включение обнаружения активности речи и условной информации фонем
2. Исследование более эффективных стратегий дискретизации
3. Изучение улучшения фазы при более коротких длинах кадров
4. Расширение на другие задачи восстановления речи

Глубокая оценка

Преимущества

1. Теоретический вклад: предоставляет полный теоретический вывод и анализ СДУ
2. Методологическая инновация: умное проектирование члена дрейфа для адаптации задач
3. Комплексные эксперименты: включает кросс-датасетную оценку, реальные данные и субъективную оценку
4. Практическая ценность: открытый исходный код, удобный для воспроизведения и применения
5. Ясное изложение: подробный теоретический вывод и разумное проектирование экспериментов

Недостатки

1. Вычислительная эффективность: RTF составляет 1,77, требуется улучшение реального времени обработки
2. Проблема артефактов: артефакты "озвучивания" при низком SNR требуют решения
3. Настройка параметров: параметры СДУ требуют оптимизации для каждого набора данных
4. Теоретический анализ: анализ влияния несовпадения прямого и обратного процессов недостаточно глубок

Влияние

1. Научная ценность: предоставляет важный справочный материал для применения диффузионных моделей в обработке речи
2. Практическая ценность: достигает конкурентоспособной производительности на нескольких эталонных наборах данных
3. Воспроизводимость: предоставляет полный исходный код и примеры аудио
4. Вдохновляющее значение: предоставляет универсальную структуру для других задач восстановления речи

Применимые сценарии

1. Улучшение речи: телефонная связь, слуховые аппараты
2. Дереверберация: постобработка записей речи в помещении
3. Восстановление речи: восстановление исторических записей
4. Предварительная обработка: фронтальная обработка систем распознавания речи

Библиография

Статья цитирует большое количество связанных работ, в основном включая:

• Song et al. (2021): Score-based generative modeling through stochastic differential equations
• Lu et al. (2022): Conditional diffusion probabilistic model for speech enhancement
• Vincent (2011): A connection between score matching and denoising autoencoders
• Anderson (1982): Reverse-time diffusion equation models

Общая оценка: Это высококачественная исследовательская статья, которая демонстрирует отличные результаты в теоретических инновациях, проектировании методов и экспериментальной проверке. Статья успешно применяет диффузионные модели к задаче улучшения речи, достигая производительности, сравнимой с дискриминативными моделями благодаря умному проектированию СДУ и улучшению архитектуры сети, при этом демонстрируя превосходную способность к обобщению. Несмотря на проблемы вычислительной эффективности и артефактов, ее теоретический вклад и практическая ценность делают ее важной работой в этой области.