MTP-S2UT: Повышение качества перевода речи в речь с помощью многотокенного предсказания

Основная информация

• ID статьи: 2510.10003
• Название: MTP-S2UT: Enhancing Speech-to-Speech Translation Quality with Multi-token Prediction
• Авторы: Jianjin Wang, Runsong Zhao, Xiaoqian Liu, Yuan Ge, Ziqiang Xu, Tong Xiao, Shengxiang Gao, Zhengtao Yu, Jingbo Zhu
• Категория: cs.CL, cs.SD, eess.AS
• Дата публикации: 11 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.10003

Аннотация

Современные методы прямого перевода речи в речь в основном используют речевые токены в качестве промежуточного представления. Однако отдельные речевые токены имеют низкую семантическую плотность и обычно требуют нескольких токенов для выражения полной семантической единицы. Для решения этого ограничения в данной работе вводится потеря многотокенного предсказания (MTP) в модель перевода речи в единицы (S2UT), позволяя модели предсказывать несколько последующих токенов в каждой позиции, тем самым захватывая более полную семантику и повышая информационную плотность каждой позиции. Первоначальная реализация MTP применяла потерю к финальному слою, что хотя и улучшало выходное представление, но информационное обогащение начиналось слишком поздно. В данной работе предполагается, что перемещение процесса информационного обогащения на промежуточные слои может обеспечить более раннее и эффективное улучшение скрытого представления. Таким образом, предлагается потеря MTP-S2UT, которая применяет потерю MTP к скрытому представлению слоя, используемому для расчета потери CTC. Эксперименты показывают, что все варианты потери MTP постоянно улучшают качество перевода S2UT, при этом MTP-S2UT достигает наилучших результатов.

Исследовательский контекст и мотивация

Основная проблема

Прямой перевод речи в речь сталкивается с основной проблемой семантической разреженности речевых токенов. По сравнению с текстовыми токенами, речевые токены имеют более разреженное семантическое представление, обычно требуя нескольких речевых токенов для выражения единого семантического понятия, что приводит к более высокой энтропии предсказания и сложности моделирования.

Значимость проблемы

1. Потребности практического применения: Перевод речи в речь имеет широкие перспективы применения на международных конференциях, в трансграничном общении, туризме и других сценариях
2. Технические узкие места: Существующие методы имеют недостатки в семантической плотности представления и точности предсказания
3. Эффективность модели: Разреженность речевых токенов увеличивает неопределённость предсказания модели

Ограничения существующих методов

1. Низкая семантическая плотность: Отдельный речевой токен не может нести полную семантическую информацию
2. Высокая энтропия предсказания: Выражение единого понятия несколькими токенами увеличивает сложность предсказания
3. Задержка информационного слияния: Существующие методы MTP применяются только к финальному слою, упуская возможности раннего информационного слияния

Исследовательская мотивация

На основе наблюдения, что речевые токены требуют сотрудничества нескольких токенов для выражения полной семантики, в данной работе предлагается повысить семантическую плотность посредством многотокенного предсказания и переместить это улучшение на промежуточные слои для более эффективного обучения представлениям.

Основные вклады

1. Первое введение потери MTP в框架S2UT: Систематическое применение технологии многотокенного предсказания к задаче перевода речи в речь
2. Предложение потери MTP-S2UT: Инновационное применение потери MTP к скрытому слою CTC для более раннего информационного слияния
3. Комплексная экспериментальная верификация: Верификация эффективности метода на различных речевых токенизаторах и языковых парах
4. Глубокий механистический анализ: Раскрытие механизма работы потери MTP посредством анализа декодирования CTC и анализа энтропии

Подробное описание метода

Определение задачи

Задача перевода речи в речь определяется как набор данных четвёрок $D = \{(S,X,Y,T)\}$, где:

• $S = (s_1, \cdots, s_{|S|})$: речь на исходном языке
• $X = (x_1, \cdots, x_{|X|})$: текст на исходном языке
• $Y = (y_1, \cdots, y_{|Y|})$: текст на целевом языке
• $T = (t_1, \cdots, t_{|T|})$: речь на целевом языке

Архитектура модели

Базовая архитектура S2UT

Модель S2UT содержит три основных компонента:

1. Речевой токенизатор: Квантизирует непрерывную целевую речь в последовательность дискретных речевых токенов $U = (u_1, \cdots, u_{|U|}, e)$
2. Модель последовательность-в-последовательность: Преобразует исходную речь в целевые речевые токены
3. Детокенизатор: Синтезирует целевую речь из речевых токенов

Основной процесс вычисления модели:

H⁰_dec = Emb(U₊₁)                                    (1)
Hⁱ_dec = DecoderLayerᵢ(H^enc, Hⁱ⁻¹_dec)            (2)
L_NTP = -logP(U|H^L_dec)                             (3)
L_S2UT = L_NTP + L_other                             (4)

Варианты потери MTP

В работе реализованы четыре варианта потери MTP:

1. MTP-Parallel-Linear Использует N независимых линейных головок:

P(U₋ₖ|H^L_dec) = softmax(WᵏH^L_dec)                 (6)

2. MTP-DeepSeek-V3 Применяет принуждение учителем и блоки Transformer:

H⁰_out = H^L_dec                                     (7)
Hᵏ_in = Wᵏ_in[LN(Hᵏ⁻¹_out); LN(Emb(U₁₋ₖ))]         (8)
Hᵏ_out = Decoderₖ(H^enc, Hᵏ_in)                     (9)
P(U₋ₖ|H^L_dec) = softmax(W_outHᵏ_out)               (10)

3. MTP-VocalNet Удаляет входные данные принуждения учителем:

Hᵏ_in = Hᵏ⁻¹_out                                     (11)

Технические инновации

Основная инновация MTP-S2UT

Ключевое понимание: Скрытый слой CTC $H^m_{dec}$ одновременно содержит информацию текстовой и речевой модальностей, что делает его идеальным местом для применения потери MTP.

Метод реализации:

L_MTP-S2UT = -∑ᵏ⁼⁰^(N-1) logP(U₋ₖ|H^m_dec)         (13)

Hᵏ_out = Decoderₖ(H^enc, H^m_dec)                   (14)
P(U₋ₖ|H^m_dec) = softmax(W_outHᵏ_out)               (15)

Преимущества проектирования:

1. Более раннее информационное слияние: Применение потери MTP на промежуточном слое вместо финального слоя
2. Использование кроссмодальной информации: Полное использование представления текстово-речевого слияния слоя CTC
3. Передвижение семантики: Содействие передвижению семантической информации вперёд в последовательности

Экспериментальная установка

Набор данных

Используется эталонный набор данных CVSS-C, который является крупномасштабным набором данных для перевода речи в речь:

• Языковые пары: французский→английский (Fr→En) и испанский→английский (Es→En)
• Предварительная обработка: 80-мерные mel-filterbank признаки с глобальной нормализацией среднего значения и дисперсии кепстра

Речевой токенизатор

Оценены три токенизатора:

1. Неконтролируемый токенизатор: На основе признаков mHuBERT с кластеризацией k-means (k=1000)
2. Токенизатор S3: Контролируемый токенизатор с размером кодовой книги 6561
3. GLM-4-Voice-Tokenizer: Контролируемый токенизатор с размером кодовой книги 16384

Конфигурация модели

• Кодировщик: 12-слойный Conformer, скрытое измерение 256
• Декодер: 6-слойный Transformer, скрытое измерение 512
• Декодер CTC: Подключен к 3-му слою декодера, вес 1.6
• Конфигурация MTP: Предсказание N=7 последующих токенов для каждого речевого токена, вес потери MTP 1.0

Метрики оценки

Используется ASR-BLEU для оценки качества перевода:

1. Модель ASR транскрибирует синтезированную речь в текст
2. Вычисляется оценка BLEU транскрибированного текста относительно эталонного текста

Результаты экспериментов

Основные результаты

Результаты задачи Fr→En

Результаты задачи Es→En

Ключевые выводы

1. Последовательное улучшение: Все варианты MTP улучшают качество перевода
2. Лучшая производительность: MTP-S2UT достигает лучших результатов во всех установках
3. Значительное улучшение: На токенизаторе S3 ASR-BLEU при жадном поиске повышается с 17.79 до 24.36 (+37%)

Абляционные эксперименты

Анализ переднего смещения декодирования CTC

Посредством анализа результатов декодирования скрытых состояний CTC обнаружено:

• Модели, обученные с MTP, показывают переднее смещение текстовых токенов по сравнению с NTP
• Среднее относительное положение первого появления текстовых токенов значительно смещается вперёд

Анализ неопределённости речевых токенов

Посредством анализа энтропии обнаружено:

• Все варианты MTP снижают неопределённость предсказания речевых токенов
• MTP-S2UT показывает наиболее значительное снижение неопределённости
• Увеличивается частота областей с низкой энтропией, уменьшается частота областей с высокой энтропией

Связанные работы

Перевод речи в речь

• Прямые методы: Использование дискретных речевых единиц в качестве промежуточного представления
• Представительные архитектуры: Модель S2UT и её варианты (UnitY, SeamlessM4T и т.д.)
• Технические вызовы: Семантическая разреженность речевых токенов и сложность предсказания

Многотокенное предсказание

• Происхождение: Первоначально использовалось как вспомогательная задача в больших языковых моделях
• Развитие: Улучшения DeepSeek-V3 и применение VocalNet в речевых диалогах
• Преимущества: Улучшение способности представления, ускорение вывода, захват локальных паттернов

Заключение и обсуждение

Основные выводы

1. Эффективность потери MTP: Введение потери MTP в框架S2UT значительно повышает качество перевода
2. Преимущества раннего слияния: Применение потери MTP к промежуточному слою CTC более эффективно, чем к финальному слою
3. Механистические понимания: MTP способствует передвижению семантической информации вперёд и снижает неопределённость предсказания

Ограничения

1. Вычислительные издержки: Обучение MTP вводит дополнительные параметры и вычислительную сложность
2. Охват языков: Эксперименты верифицированы только на европейских языковых парах, отсутствует более широкая языковая верификация
3. Теоретический анализ: Теоретическое понимание механизма работы MTP требует дальнейшего углубления

Будущие направления

1. Расширение на большее количество языковых пар: Верификация эффективности метода между различными языковыми семействами
2. Оптимизация вычислительной эффективности: Снижение вычислительных издержек обучения MTP
3. Теоретическое моделирование: Глубокое понимание механизма действия MTP в переводе речи

Глубокая оценка

Преимущества

1. Высокая инновационность: Первое систематическое введение MTP в перевод речи в речь
2. Обоснованный метод: Проектирование MTP-S2UT основано на глубоком понимании характеристик слоя CTC
3. Полные эксперименты: Комплексная верификация на различных токенизаторах, языковых парах и стратегиях декодирования
4. Глубокий анализ: Раскрытие механизма работы метода посредством анализа декодирования CTC и анализа энтропии
5. Значительные результаты: Последовательные и значительные улучшения во всех установках

Недостатки

1. Языковые ограничения: Верификация только на европейских языковых парах, обобщаемость требует проверки
2. Отсутствие анализа вычислений: Отсутствует подробный анализ вычислительных издержек обучения MTP
3. Недостаточное сравнение: Отсутствует сравнение с другими методами улучшения перевода речи
4. Недостаточная теоретическая глубина: Теоретический анализ механизма работы MTP требует углубления

Влияние

1. Академическая ценность: Предоставляет новые идеи улучшения для области перевода речи
2. Практическая ценность: Значительное повышение производительности обеспечивает потенциал практического применения
3. Воспроизводимость: Ясное описание метода и подробные экспериментальные установки
4. Вдохновляющий характер: Предоставляет ценные понимания для многомодального последовательного моделирования

Применимые сценарии

1. Высококачественный перевод речи: Применимо к сценариям с высокими требованиями к качеству перевода
2. Многоязычные системы конференций: Может применяться в системах реального времени многоязычного общения
3. Речевые помощники: Повышение способности перевода кроссязычных речевых помощников
4. Образование и обучение: Приложения для изучения языков и кросскультурного общения

Библиография

В данной работе цитируются важные работы в смежных областях перевода речи в речь, многотокенного предсказания, обучения речевым представлениям, обеспечивающие прочную теоретическую базу для исследования. Ключевые цитируемые работы включают оригинальную статью S2UT, работы, связанные с MTP (DeepSeek-V3, VocalNet), а также базовые технологии обработки речи (HuBERT, CTC и т.д.).

Общая оценка: Это высококачественная техническая статья, предлагающая инновационный и эффективный метод улучшения в области перевода речи в речь. Посредством умелого применения технологии многотокенного предсказания к промежуточному слою框架S2UT достигнуто значительное повышение производительности. Экспериментальное проектирование статьи строго, анализ глубок, что вносит ценный вклад в развитие данной области.