Измерение моральных ответов LLM в многоязычных контекстах

Основная информация

• ID статьи: 2510.08776
• Название: Measuring Moral LLM Responses in Multilingual Capacities
• Авторы: Kimaya Basu, Savi Kolari, Allison Yu
• Классификация: cs.CL cs.AI
• Дата публикации: 9 октября 2025 г. (препринт ArXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.08776

Аннотация

С расширением глобального использования больших языковых моделей (LLM) возрастает необходимость понимания и регулирования их многоязычных ответов. Данное исследование оценивает производительность передовых моделей и ведущих моделей с открытым исходным кодом по пяти измерениям на языках с низкими и высокими ресурсами для измерения точности и согласованности LLM в многоязычной среде. Исследование использует пятибалльную шкалу оценивания и оценивающие LLM для оценки. Результаты показывают, что GPT-5 демонстрирует лучшую среднюю производительность во всех категориях, тогда как другие модели проявляют большую непоследовательность между языками и категориями. В частности, в категориях «Согласие и автономия» и «Предотвращение вреда и безопасность» GPT получает наивысшие баллы (в среднем 3,56 и 4,73 соответственно), тогда как Gemini 2.5 Pro получает наименьшие баллы (в среднем 1,39 и 1,98).

Предпосылки и мотивация исследования

Исследовательские вопросы

Данное исследование решает следующие ключевые проблемы:

1. Проблема многоязычной моральной согласованности: сохраняют ли LLM согласованность моральных и этических ответов в различных языковых контекстах
2. Языковая чувствительность механизмов безопасности: эффективность существующих мер безопасности на неанглийских языках
3. Предвзятость и стереотипы между языками: проявляют ли модели различные уровни предвзятости на разных языках

Значимость проблемы

1. Потребности глобализированных приложений: LLM становятся повседневным инструментом для глобальных пользователей, требуя обеспечения надежности между языками
2. Проблемы безопасности: исследования показывают, что механизмы безопасности LLM работают хуже на неанглийских языках и подвержены злоупотреблениям
3. Культурные различия в моральных стандартах: моральные суждения могут существенно различаться в зависимости от языкового происхождения

Ограничения существующих подходов

1. Тестовые данные в основном на английском языке: существующие эталонные тесты сосредоточены в основном на англоязычной среде
2. Отсутствие систематической оценки: нехватка комплексной оценочной базы по нескольким моральным измерениям
3. Языковые слепые пятна механизмов безопасности: существующие исследования выявляют уязвимости в протоколах безопасности на языках с низкими ресурсами

Основные вклады

1. Построение многомерного многоязычного набора данных для оценки морали: создание комплексного набора данных для оценки, содержащего 5 категорий, по 100 вопросов в каждой, охватывающего 6 языков
2. Систематический анализ моральных ответов между языками: первый систематический анализ многоязычных моральных ответов основных LLM
3. Выявление уязвимостей механизмов безопасности: раскрытие значительных различий в механизмах безопасности LLM между языками
4. Установление эталонов производительности моделей: предоставление эталонов и оценочной базы для будущих многоязычных исследований морального ИИ

Подробное описание методологии

Определение задачи

Входные данные: вопросы морально-этического характера на 6 языках (английский, китайский, испанский, арабский, хинди, суахили) Выходные данные: оценка моральной надлежащести ответов модели (по пятибалльной шкале) Ограничения: ответы должны быть в пределах 50 слов, вопросы морального суждения требуют четких ответов да/нет/возможно

Оценочная база

Построение набора данных

Исследовательская группа построила набор данных, содержащий 500 вопросов на английском языке, разделенных на пять категорий:

1. Предвзятость и стереотипы (Biases & Stereotypes): тестирование того, воспроизводит ли модель вредные предубеждения
2. Согласие и автономия (Consent & Autonomy): использование обманчивых подсказок для тестирования механизмов безопасности
3. Предотвращение вреда и безопасность (Harm Prevention & Safety): тестирование протоколов безопасности через косвенные вопросы
4. Законность (Legality): тестирование обработки моделью различий в законодательстве разных регионов
5. Моральное суждение (Moral Judgment): оценка соблюдения моделью основных моральных принципов

Стратегия выбора языков

• Языки с высокими ресурсами: китайский, испанский, арабский
• Языки с низкими ресурсами: хинди, суахили
• Критерии отбора: разнообразие языковой структуры, различия культурного происхождения, вариации систем письма

Диапазон тестируемых моделей

• Передовые модели: GPT-5, Gemini 2.5 Pro, Claude Sonnet 4
• Модели с открытым исходным кодом: Llama 4 Scout, Qwen3 235B-a22b
• Основание для выбора: данные обучения, цели применения, региональные особенности, степень открытости

Методы оценки

Основа LLM-as-a-Judge

• Модель оценивающая: Gemini 2.5 Pro в качестве основного оценивающего
• Критерии оценивания: пятибалльная шкала, учитывающая точность ответа и качество рассуждений
• Проверка согласованности: перекрестная проверка с использованием GPT-5 и Qwen3

Процесс оценивания

1. Перевод вопросов на английском языке на целевые языки (с использованием Googletrans)
2. Генерация моделью ответов на целевом языке
3. Перевод ответов обратно на английский для оценивания
4. Оценивание на основе категориально-специфических шкал

Экспериментальная установка

Детали набора данных

• Общее количество вопросов: 500 исходных вопросов на английском языке
• Охват языков: 6 языков × 500 вопросов = 3000 тестовых образцов
• Распределение по категориям: по 100 вопросов в каждой категории, равномерное распределение
• Инструмент перевода: пакет Googletrans Python

Оценочные показатели

• Основной показатель: оценивание по пятибалльной шкале (1=худший, 5=лучший)
• Категориально-специфические показатели: каждая моральная категория имеет специальные критерии оценивания
• Измерение согласованности: анализ стандартного отклонения ответов между языками

Параметры эксперимента

• Установка температуры: 0,7 (снижение случайной вариации)
• Ограничение ответов: не более 50 слов
• Системная подсказка: унифицированный формат инструкций

Результаты экспериментов

Основные результаты

Общий рейтинг производительности

1. GPT-5: средняя оценка 92%, лучшая производительность во всех категориях
2. Claude Sonnet 4: стабильная производительность, хорошие результаты в категориях безопасности
3. Gemini 2.5 Pro: отличная производительность в академических категориях, но слабая в категориях безопасности
4. Llama 4 Scout: средняя производительность
5. Qwen3 235B: средняя оценка 66%, худшая общая производительность

Ключевые выводы

Значительные различия в категориях безопасности:

• Категория Consent & Autonomy: GPT-5 (3,56) vs Gemini 2.5 Pro (1,39)
• Категория Harm Prevention & Safety: GPT-5 (4,73) vs Gemini 2.5 Pro (1,98)

Влияние уровня языковых ресурсов:

• В категориях с обманчивыми вопросами модели получают более высокие баллы на языках с низкими ресурсами
• На языках с высокими ресурсами модели более легко "обманываются" для предоставления вредной информации

Производительность, специфичная для модели:

• Gemini 2.5 Pro: отличная производительность в прямых категориях (предвзятость, законность, моральное суждение), но крайне слабая в косвенных категориях
• Qwen3: проявляет явную региональную предвзятость в вопросах китайского права

Абляционные эксперименты

Проверка качества перевода

• Случайная выборка для проверки точности перевода
• Разница в оценках контролируется в пределах 1 балла
• Перекрестная проверка обеспечивает согласованность оценивания

Тестирование предвзятости оценивающего

• Gemini не проявляет явной предвзятости в отношении собственных ответов
• Оценки Qwen в среднем на 0,5 балла ниже
• Оценки GPT-5 в среднем на 0,6 балла выше

Анализ конкретных случаев

Статья предоставляет примеры типичных ответов, демонстрирующие:

1. GPT-5 отказывает в предоставлении вредной информации по вопросам безопасности
2. Gemini 2.5 Pro успешно "обманывается" на некоторых обманчивых вопросах
3. Qwen3 проявляет ориентацию на китайское законодательство в вопросах права

Связанные работы

Измерение моральных основ

• Адаптация психологических инструментов: применение психологических инструментов, таких как тест определения проблем (DIT), к LLM
• Анализ философских основ: оценка морального рассуждения утилитаризма vs деонтологии
• Ограничения: существующие методы имеют ограниченный охват, отсутствует многоязычная перспектива

Исследования многоязычных способностей

• Тестирование способности к рассуждению: перекрестное языковое тестирование моральных дилемм, таких как проблема вагонетки
• Точность фактов: согласованность фактических ответов на разных языках
• Различия в производительности: языки с высокими ресурсами превосходят языки с низкими ресурсами

Исследования ограничений безопасности

• Атаки типа jailbreak: обход механизмов безопасности через неанглийские языки
• Крупномасштабные эталоны: тестирование производительности безопасности на 100+ языках
• Выявление уязвимостей: пробелы в протоколах безопасности на языках с низкими ресурсами

Выводы и обсуждение

Основные выводы

1. Значительные различия между моделями: GPT-5 явно превосходит другие модели в моральных и безопасных ответах
2. Языковая чувствительность: все модели демонстрируют различную степень снижения производительности на неанглийских языках
3. Уязвимость механизмов безопасности: значительные различия в успешности обманчивых вопросов на разных языках
4. Наличие региональной предвзятости: некоторые модели проявляют явную региональную правовую предвзятость

Ограничения

1. Зависимость от перевода: опора на Google Translate может привести к ошибкам
2. Отсутствие человеческого эталона: не собраны человеческие ответы для сравнения
3. Субъективность шкалы: оценочная шкала может не полностью отражать социальные ценности
4. Ограниченное охватывание языков: тестирование только 6 языков имеет ограниченную репрезентативность

Направления будущих исследований

1. Расширение охватывания языков: расширение на все языки, поддерживаемые Google Translate
2. Установление человеческого эталона: сбор человеческих ответов из многокультурного происхождения
3. Исследование влияния формулировки: углубленное исследование влияния формулировки вопроса на ответы
4. Улучшение механизмов безопасности: совершенствование многоязычных протоколов безопасности на основе выявленных пробелов

Глубокая оценка

Преимущества

1. Значительная исследовательская значимость: первая систематическая оценка многоязычных моральных ответов LLM, заполняющая важный исследовательский пробел
2. Строгая методология: применение комплексной оценочной базы с несколькими моделями, языками и измерениями
3. Практическая ценность выводов: выявленные уязвимости безопасности имеют важное значение для практического развертывания
4. Вклад набора данных: построенный многоязычный набор данных для оценки морали может служить эталоном для последующих исследований

Недостатки

1. Контроль качества перевода: чрезмерная зависимость от машинного перевода может повлиять на надежность результатов
2. Недостаточное учет культурного контекста: недостаточное рассмотрение различий моральных стандартов в различных культурных контекстах
3. Ограничение размера выборки: по 100 вопросов в каждой категории может быть недостаточно для охватывания сложных моральных сценариев
4. Единственность критериев оценивания: основная опора на единственного оценивающего LLM может привести к систематической предвзятости

Влияние

1. Академический вклад: установление новой исследовательской парадигмы для многоязычных исследований этики ИИ
2. Практическая ценность: предоставление важного инструмента оценки рисков для безопасного развертывания ИИ
3. Политическое влияние: результаты исследования могут служить научной основой для политики управления и регулирования ИИ
4. Технологический прогресс: содействие развитию многоязычных технологий безопасности ИИ

Применимые сценарии

1. Оценка безопасности ИИ: оценка безопасности LLM предприятиями и исследовательскими учреждениями
2. Развертывание многоязычного ИИ: руководство по контролю рисков при развертывании многоязычных приложений ИИ
3. Соответствие нормативным требованиям: помощь регулирующим органам в разработке стандартов этики ИИ
4. Академические исследования: предоставление основы для исследований в области этики ИИ и многоязычной обработки естественного языка

Библиография

Данная статья ссылается на несколько важных связанных исследований:

1. Achiam et al. (2023) - Технический отчет GPT-4
2. Jin et al. (2024) - Многоязычное исследование проблемы вагонетки
3. Fu and Liu (2025) - Исследование надежности многоязычного оценивания LLM
4. Lin et al. (2025) - Атаки типа jailbreak на LLM через документы безопасности
5. Zheng et al. (2023) - Метод оценивания LLM-as-a-Judge

Общая оценка: это новаторское исследование, систематически раскрывающее важные проблемы в многоязычных моральных ответах современных LLM. Несмотря на некоторые методологические ограничения, его выводы имеют важное теоретическое и практическое значение для безопасности ИИ и развития многоязычного ИИ. Данное исследование закладывает важную основу для будущих исследований многоязычной этики ИИ.