Энтропия перевода: статистическая база для оценки систем машинного перевода

Основная информация

• ID статьи: 2511.13180
• Название: Translation Entropy: A Statistical Framework for Evaluating Translation Systems
• Авторы: Ronit D. Gross, Yanir Harel, Ido Kanter (Bar-Ilan University)
• Классификация: cs.CL (Вычислительная лингвистика)
• Дата публикации: 2025
• Ссылка на статью: https://arxiv.org/abs/2511.13180

Аннотация

Данное исследование решает проблему отсутствия объективных методов количественной оценки систем машинного перевода, предлагая статистическую базу для оценки энтропии перевода (TE). Основное открытие заключается в том, что для данного переводчика несколько исходных предложений, различающихся только одним выбранным токеном, могут производить идентичный перевод. Путём анализа статистических свойств этого явления можно вычислить распределение вероятностей замены конкретного токена при сохранении неизменности перевода, получив таким образом значение энтропии для этого токена. Усреднение значений энтропии по всем выбранным токенам позволяет оценить общую энтропию перевода переводчика. Метод позволяет ранжировать несколько открытых переводчиков, выявляет симметрию взаимной энтропии перевода и обнаруживает мультипликативный эффект при замене двух токенов. Исследование проверено на трёх моделях перевода: MarianMT, T5-Base и NLLB-200.

Исследовательский контекст и мотивация

1. Основная решаемая проблема

Системы машинного перевода (особенно основанные на архитектуре кодировщик-декодировщик глубокого обучения) не имеют объективных методов количественной оценки. Несмотря на существование метрик оценки BLEU и COMET, они в основном полагаются на лексическое и семантическое сходство с эталонными переводами, что затрудняет измерение внутренних свойств переводчика с точки зрения теории информации.

2. Значимость проблемы

• Теоретический уровень: Значение энтропии отдельного языка до сих пор не может быть точно вычислено. Шеннон в 1951 году оценил энтропию английского языка примерно в 1 бит на букву, но расширение на более длинные последовательности текста вычислительно невозможно
• Практический уровень: В информационную эпоху спрос на переводы резко возрос, требуется объективный метод оценки и сравнения производительности различных систем перевода
• Научное значение: Понимание явления информационной деградации в процессе перевода, выявление внутренних отношений между языками

3. Ограничения существующих методов

• BLEU: Основан на совпадении n-грамм, не может распознать переводы с различными формулировками, но одинаковым смыслом
• COMET: Хотя использует нейронные модели для понимания семантики, всё ещё зависит от эталонных переводов и показывает небольшие различия в оценках (см. таблицу 8)
• Теоретический тупик: Теоретическая оценка энтропии языка остаётся нерешённой, энтропия перевода ещё более сложна

4. Исследовательская мотивация

Предложить метод оценки энтропии перевода без необходимости знания энтропии отдельных языков, количественно оценивая "деградацию перевода" (translation degeneracy) с точки зрения теории информации.

Основные вклады

1. Предложение вычислимого определения энтропии перевода (TE): Количественная оценка энтропии перевода через распределение вероятностей замены токенов при сохранении неизменности перевода
2. Разработка систематического метода оценки TE: Полный процесс, включающий выбор опорных предложений, замену токенов, статистику подгрупп и вычисление энтропии
3. Обнаружение мультипликативного эффекта деградации перевода: Деградация при замене двух токенов составляет примерно 0,5-0,9 произведения деградаций при замене одного токена
4. Выявление асимметрии взаимной энтропии перевода: Перевод английского на французский показывает значительную асимметрию (энтропия французского→английского примерно в 2,5 раза больше, чем английского→французского), тогда как перевод английского на иврит близок к симметричному
5. Количественное ранжирование трёх основных переводчиков: MarianMT, T5-Base и NLLB-200, обнаружено немонотонное отношение между размером модели и производительностью
6. Проверка закона снижения энтропии блоков декодировщика: Качество перевода постепенно улучшается по слоям декодировщика (энтропия снижается с 10 712 до 116)

Подробное описание метода

Определение задачи

Входные данные: Модель перевода кодировщик-декодировщик, набор данных исходного языка
Выходные данные: Значение энтропии перевода S (или S₉₅) для количественной оценки степени деградации перевода
Ограничения: Требуется достаточное количество исходных предложений, содержащих выбранный токен (в данном исследовании используется 30 опорных предложений)

Архитектура модели

Общий процесс

Оценка энтропии перевода состоит из следующих этапов:

Этап 1: Анализ одного токена

1. Выбрать опорный токен T₁
2. Выбрать из набора обучающих данных 30 исходных предложений, содержащих T₁ (в позиции j)
3. Для каждого предложения заменить T₁ в позиции j всеми возможными токенами (~30 000 токенов)
4. Определить, какие замены производят перевод, идентичный переводу исходного опорного предложения

Этап 2: Построение подгрупп

• Для каждого опорного предложения m построить подгруппу SG_m(T₁), содержащую все токены замены, сохраняющие неизменность перевода
• Чтобы избежать аномально больших подгрупп (например, когда модель игнорирует токен и почти все токены могут быть заменены), сохранить только 24 наименьшие подгруппы, обозначаемые как SG₂₄(T₁)

Этап 3: Вычисление вероятностей Подсчитать количество появлений каждого токена i в SG₂₄(T₁) (1-24 раза), разделить на 24 для получения вероятности P_i:

P_i = (количество появлений токена i в 24 подгруппах) / 24

Этап 4: Вычисление энтропии Для энтропии одного токена: $S(T_1) = -\sum_i P_i \log_2 P_i \quad \text{(Eq. 2)}$

Среднее количество замен: $N_{Av}(T_1) = 24 \sum_i P_i \quad \text{(Eq. 1)}$

Этап 5: Фильтрация по порогу Исключить бессмысленные замены с низкой вероятностью (gibberish tokens), применив порог: $P_i > \text{Порог} = \frac{\beta_c}{24} \quad \text{(Eq. 4)}$ В исследовании использовано β_c = 5 (т.е. P_i > 0,208)

Этап 6: Оценка общей энтропии Повторить вышеуказанный процесс для 100 случайно выбранных опорных токенов, вычислить среднюю энтропию: $S = \langle S(T_\alpha) \rangle_\alpha \quad \text{(Eq. 5)}$

Для снижения влияния выбросов использовать S₉₅ (среднее значение только 95 наименьших значений энтропии)

Технические инновации

1. Измерение условной деградации

В отличие от традиционного "замещения токена в конкретном предложении", данный метод измеряет "какие токены могут последовательно сохранять неизменность перевода при замене в нескольких предложениях, содержащих данный токен", что является более строгим условием.

2. Обоснованность конструкции порога

Путём анализа характеристик распределения P_i:

• P_i = 1: Сильные синонимы, вклад в энтропию равен 0
• P_i ≈ 0,37 (1/e): Максимальный вклад в энтропию
• P_i ≪ 0,37: Шумовые токены, требуют фильтрации

Порог β_c = 5, соответствующий P_i ≈ 0,208, достигает баланса между сохранением значимых замен и фильтрацией шума.

3. Мультипликативный эффект двух токенов

Обнаружено, что деградация перевода удовлетворяет приблизительному мультипликативному соотношению: $SG(T_\alpha, T_\beta) > 0.5 \cdot SG(T_\alpha) \cdot SG(T_\beta) \quad \text{(Eq. 6)}$

Коэффициент 0,5-0,9 указывает на семантическую корреляцию между токенами, перевод не обрабатывает каждый токен полностью независимо.

4. Отличие от базовых методов

• vs BLEU: Не зависит от эталонного перевода, измеряет внутреннюю информационную деградацию модели
• vs COMET: Количественно оценивает с точки зрения теории информации, а не семантического сходства
• vs оценка энтропии языка: Обходит вычислительные трудности оценки энтропии одного языка, непосредственно измеряет энтропию отображения перевода

Экспериментальная установка

Набор данных

• Данные обучения MarianMT: Набор данных Opus100, содержащий примерно 1 миллион обучающих предложений и 2000 предложений валидации
• Языковые пары: Английский-французский (каждый примерно 30 000 токенов), английский-иврит
• Выбор опорных предложений:
  • Для каждого опорного токена выбрать 30 исходных предложений, содержащих этот токен
  • Диапазон частоты токенов: 500-1500 раз (исключить слишком частые союзы и слишком редкие слова)
  • Длина предложения: максимум 128 токенов

Метрики оценки

1. S: Средняя энтропия 100 опорных токенов
2. S₉₅: Среднее значение 95 наименьших значений энтропии (основная метрика, исключение выбросов)
3. N_Av: Среднее количество замен
4. |SG|: Размер подгруппы

Сравниваемые методы

• Модели перевода:
  • MarianMT (Helsinki-NLP/opus-mt): 6 блоков кодировщика + 6 блоков декодировщика, ~75M параметров
  • T5-Base (Google): 12 блоков кодировщика + 12 блоков декодировщика, ~223M параметров
  • NLLB-200 (Facebook): 12 блоков кодировщика + 12 блоков декодировщика, ~615M параметров
• Традиционные метрики: Оценки BLEU и COMET

Детали реализации

• Количество опорных токенов: 100 случайно выбранных
• Количество предложений для каждого токена: 30
• Количество подгрупп: Сохранить 24 наименьшие подгруппы
• Порог: β_c = 5 (основные результаты), β_c = 9 (проверка устойчивости)
• Анализ блоков декодировщика: Заморозить первые m блоков, обучить полносвязный слой (50 эпох, CosineAnnealingLR, скорость обучения 1e-4)

Результаты экспериментов

Основные результаты

1. Асимметрия английско-французского перевода (MarianMT)

Открытие: S₉₅ для французского→английского в 2,6 раза больше, чем для английского→французского, что указывает на значительную асимметрию

2. Симметрия английско-ивритского перевода (MarianMT)

Открытие: Значения S₉₅ близки (5,7 vs 6,3), что указывает на приблизительную симметрию

3. Ранжирование трёх переводчиков (англ→франц)

Открытие: T5-Base показывает лучший результат по S₉₅, MarianMT занимает второе место, NLLB-200 с наибольшим количеством параметров показывает худший результат

4. Ранжирование трёх переводчиков (франц→англ)

Открытие: MarianMT значительно превосходит два других модели

5. Сравнение с традиционными метриками

Наблюдения:

• MarianMT полностью лидирует по BLEU и COMET
• Ранжирование TE согласуется с COMET/BLEU частично (франц→англ), но существуют различия для англ→франц
• Различия в оценках COMET небольшие (0,72-0,82), разрешающая способность ниже, чем у TE

Абляционные эксперименты

1. Проверка устойчивости порога

Значения S₉₅ при использовании β_c = 9:

• Англ→франц: MarianMT (1,5), NLLB-200 (2,8), T5-Base (1,1)
• Франц→англ: MarianMT (2,8), NLLB-200 (6,5), T5-Base (3,9)

Вывод: Порядок ранжирования остаётся неизменным, метод устойчив к выбору порога

2. Анализ шума перевода без порога (β_c = 0)

Открытие:

• Значения энтропии значительно увеличиваются (примерно в 30-100 раз)
• Тенденция ранжирования согласуется со случаем с порогом
• Подтверждает существование шума перевода и необходимость фильтрации по порогу

3. Снижение энтропии блоков декодировщика

Вывод: Качество перевода постепенно улучшается по слоям декодировщика, значения энтропии снижаются в геометрической прогрессии

Анализ примеров

Пример 1: Токен с низкой энтропией "Nice" (S ≈ 2)

Примеры опорных предложений:

• "Nice to meet you"
• "That's a Nice idea"

Токены замены с высокой вероятностью:

• "nice" (P ≈ 0,96)
• "lovey" (P ≈ 0,42)

Шумовые токены с низкой вероятностью:

• "jug", "broad", "ese" (P ≈ 1/24)

Объяснение: Собственные имена или специфическая лексика, мало вариантов замены, низкая энтропия

Пример 2: Токен с высокой энтропией "buy" (S ≈ 14)

Характеристики: Множество токенов с P_i > Порог

• "purchase", "get", "acquire", "obtain" и другие синонимы
• Больше вариантов семантически эквивалентной замены

Объяснение: Распространённый глагол, богатый синонимический ряд, высокая энтропия

Пример 3: Мультипликативный эффект двух токенов

Исходное предложение: "You seemed very much in love, your arms full of wine and food"

• SG(wine) = 86
• SG(food) = 26
• SG(wine, food) = 1 132
• Отношение: 1 132 / (86 × 26) = 0,51

Объяснение: Замены двух токенов имеют корреляцию (например, "wine and beer" более естественно, чем "wine and bread"), что приводит к тому, что фактическая деградация немного меньше теоретического произведения

Экспериментальные открытия

1. Распределение энтропии с длинным хвостом: Большинство токенов имеют S(T_α) в диапазоне 1-13, но небольшое количество выбросов может достигать сотен (Fig. 4)
2. Внутренние различия языковых пар: Асимметрия английского-французского может быть обусловлена различиями в структуре языка (например, более строгие требования согласования по роду и числу во французском), а не недостатками модели
3. Немонотонность размера модели: MarianMT (~75M параметров) в некоторых задачах превосходит NLLB-200 (~615M параметров), что указывает на то, что дизайн архитектуры и качество обучающих данных важнее количества параметров
4. Универсальность деградации перевода: Все переводчики демонстрируют значительную деградацию перевода (S₉₅ > 2,8), отражая внутреннюю синонимичность естественного языка
5. Проблема разрешающей способности COMET: Оценки COMET находятся в узком диапазоне 0,72-0,82, тогда как S₉₅ TE охватывает 2,8-295,9, обеспечивая гораздо большую разрешающую способность

Связанные работы

1. Теоретические исследования энтропии языка

• Shannon (1951): Путём экспериментов с предсказанием человеком оценил энтропию английского языка примерно в 1 бит/букву
• Ограничения: Невозможно расширить на последовательности N > 10, требуется экспоненциальное количество данных

2. Метрики оценки машинного перевода

• BLEU (Papineni et al., 2002): Основана на точном совпадении n-грамм, игнорирует семантическую эквивалентность
• COMET (Rei et al., 2020): Использует нейронную сеть для оценки семантического сходства, но всё ещё зависит от эталонного перевода
• Преимущество данной работы: Не требует эталонного перевода, непосредственно количественно оценивает характеристики переводчика с точки зрения теории информации

3. Модели глубокого обучения для перевода

• Архитектура Transformer (Vaswani et al., 2017): Архитектура кодировщик-декодировщик стала основной
• MarianMT (Junczys-Dowmunt et al., 2018): Эффективная реализация на C++
• T5 (Raffel et al., 2020): Единая структура текст-в-текст
• NLLB-200 (Koishekenov et al., 2022): Крупномасштабный многоязычный перевод

4. Внутренние механизмы систем перевода

• Вклад данной работы: Впервые количественно оценено пошаговое улучшение перевода по слоям декодировщика (таблица 7)
• Связанные исследования: Работы Gross et al. (2025) и Koresh et al. (2025) о механизмах обучения Transformer

Выводы и обсуждение

Основные выводы

1. Энтропия перевода измеряема: Путём статистического анализа замены токенов, сохраняющих неизменность перевода, можно количественно оценить энтропию переводчика
2. Взаимная энтропия перевода может быть асимметричной: Перевод английского на французский показывает 2,6-кратную асимметрию, тогда как перевод английского на иврит близок к симметричному, что указывает на различия во внутренней структуре языковых пар
3. Мультипликативный закон двух токенов: SG(T_α, T_β) ≈ 0,5-0,9 × SG(T_α) × SG(T_β), выявляя семантическую корреляцию между токенами
4. Нелинейное отношение между размером модели и производительностью: MarianMT (~75M параметров) в некоторых задачах превосходит NLLB-200 (~615M параметров)
5. Постепенная оптимизация декодировщика: Энтропия перевода снижается в геометрической прогрессии по слоям декодировщика (с 10 712 до 116)

Ограничения

1. На уровне метода

• Многозначность энтропии: Различные распределения P_i могут производить одинаковые значения энтропии, требуется комплексная интерпретация с |SG| и N_Av
• Ограничение размера выборки: Использование только 100 опорных токенов и 30 предложений, статистическая устойчивость требует улучшения
• Вычислительная сложность: Анализ двух токенов ограничен примерно 100 предложениями из-за комбинаторного взрыва

2. На теоретическом уровне

• Неизвестная оптимальная энтропия: Невозможно определить минимально достижимую энтропию языка, возможно только относительное сравнение
• Неизбежность синонимов: Нулевая энтропия нереалистична, так как естественный язык содержит внутреннюю синонимичность
• Неясный источник асимметрии: Невозможно различить, вызвана ли асимметрия структурой языка или обучением модели

3. На уровне экспериментов

• Зависимость от набора данных: Результаты основаны на Opus100, другие наборы данных могут дать различные результаты
• Ограниченное количество языковых пар: Тестирование только английского-французского и английского-ивритского, требуется более широкое охватывание языков
• Выбор порога: Хотя результаты устойчивы в диапазоне β_c = 5-10, оптимальное значение требует теоретического обоснования

Направления будущих исследований

1. Расширение на большее количество языковых пар: Построение кластеризации языков, различение симметричных/асимметричных характеристик взаимного перевода
2. Предварительное обучение токенов с высокой энтропией: Разработка специализированных стратегий обучения для токенов с S(T_α) > 10
3. Оценка теоретической минимальной энтропии: Исследование нижней границы энтропии для данной языковой пары
4. Отношение к архитектуре модели: Исследование влияния количества слоёв кодировщика/декодировщика, количества голов внимания и т.д. на TE
5. Оценка TE в реальном времени: Разработка метода инкрементальной оценки без необходимости полного набора обучающих данных
6. Расширение на несколько токенов: Исследование высокоуровневой корреляции при замене трёх и более токенов

Глубокая оценка

Преимущества

1. Инновационность метода (★★★★★)

• Парадигматический сдвиг: Впервые определена вычислимая энтропия перевода с точки зрения теории информации, обходя трудности оценки энтропии одного языка
• Теоретическая глубина: Объединение теории энтропии Шеннона с современным глубоким обучением, построение моста между статистической физикой и NLP
• Универсальность: Метод применим к любой архитектуре кодировщик-декодировщик, не ограничен конкретной моделью

2. Полнота экспериментов (★★★★☆)

• Проверка на нескольких моделях: Тестирование трёх основных переводчиков (MarianMT, T5-Base, NLLB-200)
• Несколько языковых пар: Четыре направления: английский-французский, французский-английский, английский-иврит, иврит-английский
• Полные абляционные эксперименты: Проверка устойчивости порога, сравнение без порога, анализ блоков декодировщика
• Недостаток: Относительно ограниченное количество опорных токенов (100) и предложений (30)

3. Убедительность результатов (★★★★☆)

• Важные открытия:
  • Асимметрия взаимного перевода (английский-французский 2,6-кратная разница)
  • Мультипликативный эффект двух токенов (коэффициент 0,5-0,9)
  • Закон снижения энтропии декодировщика (геометрическое снижение)
• Сравнение с традиционными метриками: TE согласуется с BLEU/COMET частично, но предоставляет новую перспективу
• Ограничение: Не проверено на более крупных наборах данных (например, WMT)

4. Ясность изложения (★★★★★)

• Строгая структура: От исторического контекста → определение проблемы → дизайн метода → проверка экспериментов, логика ясна
• Отличная визуализация: Рис. 1-6 наглядно демонстрируют концепции и результаты
• Стандартное математическое выражение: Выведение формул ясно, определение символов явно

Недостатки

1. Отсутствие проверки статистической значимости

• Не предоставлены доверительные интервалы или стандартные отклонения для S₉₅
• Достаточно ли 100 опорных токенов? Требуется проверка bootstrap

2. Недостаточный анализ противоречий с COMET/BLEU

• Английский→французский: ранжирование TE показывает T5-Base > MarianMT, но BLEU/COMET показывают обратное (таблица 2 vs таблица 8)
• Только простое указание на различия, без глубокого исследования причин (например, TE измеряет деградацию, а не качество перевода?)

3. Отсутствие анализа вычислительных затрат

• Оценка TE одного токена требует генерации 30×30 000 = 900 000 переводов
• 100 токенов требуют 90 миллионов переводов, огромные вычислительные затраты
• Не обсуждаются способы снижения вычислительной сложности

4. Недостаточное теоретическое объяснение

• Почему английский-французский асимметричен, а английский-иврит симметричен? Только предположение о "различиях в структуре языка"
• Каково теоретическое предсказанное значение коэффициента 0,5-0,9 для двух токенов?
• Какова оптимальная форма распределения P_i?

5. Потенциальные смещения в дизайне экспериментов

• Выбор частоты опорных токенов 500-1500 может вводить смещение в сторону среднечастотных слов
• Достаточно ли 30 предложений для представления всех использований токена?
• Использование только обучающего набора, не проверена способность к обобщению

Влияние

1. Вклад в область (★★★★☆)

• Теоретический вклад: Установление операционального определения энтропии перевода, предоставление нового измерения для оценки систем перевода
• Методологический вклад: Парадигма замены токенов + статистический анализ может быть расширена на другие задачи NLP (например, генерация текста, аннотирование)
• Эмпирический вклад: Выявление асимметрии взаимного перевода и механизма оптимизации декодировщика

2. Практическая ценность (★★★☆☆)

• Преимущества:
  • Не требует ручной аннотации эталонных переводов
  • Обеспечивает большую разрешающую способность, чем COMET
  • Может использоваться для выбора модели и настройки гиперпараметров
• Ограничения:
  • Высокие вычислительные затраты (90 миллионов переводов/100 токенов)
  • Требует доступа к внутренним процессам модели (невозможно оценить API-сервисы перевода)
  • Корреляция с человеческой оценкой не проверена

3. Воспроизводимость (★★★★☆)

• Преимущества:
  • Подробное описание метода (шаги алгоритма, гиперпараметры, наборы данных)
  • Использование открытых наборов данных (Opus100) и моделей (MarianMT и т.д.)
• Недостатки:
  • Ссылка на код не предоставлена
  • Конкретный выбор 100 опорных токенов не раскрыт
  • Критерии выбора 30 предложений не ясны

Применимые сценарии

1. Идеальные сценарии

• Разработка модели: Сравнение различных архитектур (количество слоёв кодировщика/декодировщика, механизмы внимания) по характеристикам деградации перевода
• Лингвистические исследования: Исследование симметрии языковых пар, построение кластеризации языков на основе TE
• Оптимизация обучения: Определение токенов с высокой энтропией, разработка специализированных стратегий обучения

2. Неприменимые сценарии

• Оценка в реальном времени: Вычислительные затраты слишком высоки для немедленной оценки систем перевода
• API-сервисы: Требует доступа к внутренним процессам генерации модели, невозможно оценить GPT-4 и подобные сервисы
• Языки с низкими ресурсами: Требует достаточного количества обучающих данных для выбора опорных предложений

3. Потенциальные расширения

• Генерация текста: Оценка многообразия генерации моделей типа GPT (степень деградации генерации)
• Системы аннотирования: Измерение степени сжатия информации при переходе от исходного текста к аннотации
• Диалоговые системы: Количественная оценка размера класса семантической эквивалентности ответов

Ключевые ссылки

1. Shannon, C.E. (1951): Prediction and entropy of printed English - пионерская работа по энтропии языка
2. Vaswani et al. (2017): Attention is all you need - архитектура Transformer
3. Papineni et al. (2002): BLEU metric - классическая метрика оценки перевода
4. Rei et al. (2020): COMET - нейронная база для оценки перевода
5. Raffel et al. (2020): T5 - единая структура текст-в-текст Transformer

Резюме

Предложенная в данной работе база энтропии перевода представляет собой важную инновацию в области оценки машинного перевода, предоставляя совершенно новую перспективу с точки зрения теории информации. Её основные преимущества заключаются в отсутствии необходимости в эталонных переводах и большей разрешающей способности, основные открытия (асимметрия взаимного перевода, мультипликативный эффект двух токенов, закон снижения энтропии декодировщика) имеют важное теоретическое и практическое значение. Однако высокие вычислительные затраты, недостаточное теоретическое объяснение и недостаточный анализ противоречий с традиционными метриками являются основными ограничениями. Если в будущем удастся снизить вычислительную сложность, расширить охватывание языковых пар и глубже проанализировать источники асимметрии, этот метод может стать стандартным инструментом оценки систем перевода.

Рекомендуемый рейтинг: ★★★★☆ (4/5)
Рекомендуемая аудитория: Исследователи машинного перевода, учёные на пересечении теории информации и NLP, разработчики систем перевода