HebID: Обнаружение социальных идентичностей в иврите-язычных политических текстах

Основная информация

• ID статьи: 2508.15483
• Название: HebID: Detecting Social Identities in Hebrew-language Political Text
• Авторы: Guy Mor-Lan, Naama Rivlin-Angert, Yael R. Kaplan, Tamir Sheafer, Shaul R. Shenhav
• Классификация: cs.CL (Компьютерная лингвистика)
• Дата публикации: препринт arXiv, 12 октября 2025 года
• Ссылка на статью: https://arxiv.org/abs/2508.15483

Аннотация

Политический язык тесно связан с социальной идентичностью. Хотя социальная идентичность часто формируется специфическим культурным контекстом, существующие наборы данных NLP в основном ориентированы на английский язык, используют однозначную классификацию и сосредоточены на грубозернистых категориях идентичности. В данной работе представлен HebID — первый многозначный корпус на иврите для обнаружения социальной идентичности, содержащий 5 536 предложений из постов израильских политиков в Facebook (декабрь 2018 г. — апрель 2021 г.), вручную аннотированных на основе данных опросов с использованием 12 тонкозернистых социальных идентичностей (таких как правые, ультраортодоксальные, социально ориентированные). Исследование сравнивает многозначные и однозначные кодировщики, а также генеративные большие языковые модели с параметрами 2B-9B, обнаруживая, что настроенная на иврит LLM показывает лучший результат (макро-усредненный F1 = 0,74).

Исследовательский контекст и мотивация

Описание проблемы

1. Дисбаланс языковых ресурсов: существующие ресурсы для обнаружения социальной идентичности почти полностью сосредоточены на английском языке, отсутствует поддержка неанглийских политических контекстов
2. Грубая зернистость аннотаций: существующие наборы данных в основном сосредоточены на грубозернистых категориях (таких как партия или раса), не способны охватить сложность политического дискурса
3. Ограничение однозначной классификации: большинство наборов данных используют однозначную классификацию, не могут обрабатывать реальные случаи множественной идентичности
4. Отсутствие культурного контекста: отсутствует выбор категорий идентичности, основанный на специфическом культурном контексте и эмпирических исследованиях

Значимость исследования

• Социальная идентичность является важным движущим фактором политического поведения и общественного дискурса
• Иврит как язык с ограниченными ресурсами недостаточно представлен в исследованиях NLP
• Сложность израильской политической среды предоставляет идеальный сценарий для изучения многомерного выражения идентичности

Ограничения существующих методов

• Обнаружение упоминаний групп: ограничено явными упоминаниями групп, не может охватить неявные выражения идентичности
• Анализ фреймов и позиций: в основном сосредоточен на однозначной позиции или фрейме, отсутствует поддержка многозначных категорий идентичности
• Вывод идеологии: может только выводить широкие идеологические тенденции, не может обнаруживать явные упоминания идентичности

Основные вклады

1. Новаторский набор данных: создание первого открытого многозначного набора данных на иврите для обнаружения социальной идентичности
2. Методология, управляемая опросами: установление основы, основанной на крупномасштабных данных опросов для руководства аннотацией текста
3. Комплексное тестирование: оценка производительности моделей кодировщиков и декодеров на этой задаче
4. Кросс-доменная оценка: проверка способности модели к обобщению на данные парламентских речей
5. Внешняя валидация: проверка эффективности классификатора через опрос экспертов CHES-Israel
6. Социолингвистический анализ: выявление различий в динамике идентичности на разных платформах и среди разных групп

Подробное описание методологии

Определение задачи

Входные данные: предложения на иврите Выходные данные: многозначные бинарные результаты классификации для 12 социальных идентичностей Цель: определить, какие социальные идентичности активно выражены или упомянуты в данном предложении

Метод выбора категорий идентичности

1. Основа опроса: основано на 12 волнах репрезентативного панельного опроса (N=1 769), охватывающих период с января 2019 г. по апрель 2021 г.
2. Руководство экспертов: 28 кандидатов идентичности выбраны группой израильских политических экспертов
3. Фильтрация по порогу: выбраны 12 идентичностей, которые последовательно превышали порог выбора 5% в первых пяти волнах опроса

Схема аннотации

12 категорий социальной идентичности:

• Идеология: правые, левые, консервативные, либеральные
• Экономика: капиталистические, социально ориентированные
• Политические ценности: демократические, честные
• Культурно-религиозные: сионистские, ультраортодоксальные
• Группы: палестинцы и арабские граждане Израиля, ориентированные на безопасность

Принципы аннотации:

• Аннотируются только активно выраженные идентичности
• Поддержка многозначной классификации
• Основано на содержании, а не на личности говорящего

Построение набора данных

• Источник: посты в Facebook израильских парламентариев, политических партий и кандидатов
• Временной диапазон: декабрь 2018 г. — апрель 2021 г.
• Масштаб: 5 536 предложений, выбранных из 64K постов (375K предложений)
• Согласованность между аннотаторами: среднее значение Cohen's κ = 0,77

Экспериментальная установка

Разделение набора данных

• Обучающий набор: 70% (3 875 предложений)
• Набор валидации: 15% (830 предложений)
• Тестовый набор: 15% (831 предложение)

Типы моделей

1. Базовые модели: логистическая регрессия и LinearSVC (признаки TF-IDF)
2. Многозначные кодировщики: совместное обучение 12 меткам идентичности
3. Однозначные кодировщики: отдельная тонкая настройка для каждой метки
4. Декодер LLM: генерация списков меток, разделенных запятыми

Оцениваемые модели

Модели кодировщиков:

• Многоязычные: mBERT
• Специализированные на иврите: AlephBERT, HERO, DictaBERT (base/large)

Декодер LLM:

• Универсальные: Gemma 2 (2B/9B), Qwen3-8B
• Специализированные на иврите: DictaLM2.0

Метрики оценки

• Макро-усредненная точность, полнота, F1-оценка
• F1-оценка для каждой категории идентичности

Результаты экспериментов

Основные результаты

Лучшая производительность: DictaLM2.0 достигает макро-усредненного F1 = 0,743, значительно превосходя модели кодировщиков

Ключевые находки

1. Преимущество языково-специфичных моделей: настроенная на иврит DictaLM2.0 показывает лучший результат в 8 из 12 категорий идентичности
2. Эффективность многозначного обучения: многозначные кодировщики превосходят однозначные комбинации (0,678 против 0,659)
3. Преимущество декодеров: генеративные методы показывают лучшую производительность на многозначных задачах

Кросс-доменное обобщение

Тестирование на 500 предложениях парламентских речей показывает макро-усредненный F1 = 0,72, сравнимый с производительностью на данных Facebook, что доказывает способность модели к кросс-доменному обобщению.

Внешняя валидация

Анализ корреляции с опросом экспертов CHES-Israel показывает, что из 21 корреляции 16 значимы на уровне p ≤ 0,1, а 13 значимы на уровне p ≤ 0,05, с коэффициентами корреляции в диапазоне |r| = 0,71–0,94.

Социолингвистический анализ

Сравнение популярности идентичностей

• Кросс-платформная согласованность: социально ориентированные, правые и демократические идентичности широко распространены во всех источниках данных
• Различия платформ: честные и сионистские идентичности более популярны среди общественности, социально ориентированные идентичности более выражены в парламенте

Анализ временных тенденций

• Эффект избирательного цикла: дискурс, связанный с идентичностью, достигает пика в трех из четырех выборов
• Дифференциация элит-общественность:
  • Социально ориентированная идентичность: снижение признания общественностью, увеличение использования политиками
  • Честные и демократические идентичности: рост признания общественностью, снижение в элитном дискурсе

Модели кластеризации идентичности

Факторный анализ выявляет основное левоправое разделение:

• Левый кластер: левые, демократические, честные, либеральные, палестинцы
• Правый кластер: правые, консервативные, сионистские, ориентированные на безопасность, капиталистические, ультраортодоксальные

Гендерные различия

• Интенсивность выражения идентичности: женщины выражают больше идентичностей во всех источниках данных
• Предпочтения идентичности:
  • Мужские тенденции: правые, ориентированные на безопасность, капиталистические, ультраортодоксальные
  • Женские тенденции: социально ориентированная идентичность значительно предпочтительнее для женщин на всех платформах

Связанные работы

Обнаружение упоминаний групп

• Набор данных GRIT (итальянский язык): аннотация упоминаний социальных групп в новостях и парламентских текстах
• Британские парламентские дебаты: количественное определение частоты упоминания политиками конкретных социальных групп

Анализ фреймов и позиций

• Корпус Us vs. Them: аннотация целевых групп, позиций и настроений в комментариях Reddit
• Речи Конгресса США: классификация настроений и анализ фреймов в 140 лет дискурса об иммиграции

Вывод идеологии

• Традиционные методы: классификация левоправой позиции на основе SVM и нейронных сетей
• Современные методы: оценка идеологии с нулевым примером с использованием LLM

Заключение и обсуждение

Основные выводы

1. Языково-специфичные модели на иврите значительно превосходят универсальные многоязычные модели в задаче обнаружения социальной идентичности
2. Методы многозначного обучения лучше способны охватить сложность выражения идентичности
3. Основанная на данных опросов схема аннотации обеспечивает культурно-чувствительный метод выбора категорий идентичности
4. Кросс-платформный анализ выявляет важные различия между элитным дискурсом и признанием общественностью

Ограничения

1. Временной и платформенный диапазон: данные ограничены определенным периодом, не охватывают другие платформы, такие как Twitter
2. Ограничения выборки опроса: включают только еврейских граждан, отсутствует представительство арабских граждан
3. Зернистость аннотации: основано на пороге 5%, может упустить важные, но менее частые идентичности
4. Смещение модели: классификатор может наследовать смещения из обучающих данных и предварительно обученных моделей

Будущие направления

1. Расширение на большее количество платформ и временных периодов
2. Включение более разнообразных выборок населения
3. Разработка методов для снижения смещения модели
4. Изучение динамической аннотации новых категорий идентичности

Глубокая оценка

Преимущества

1. Методологическая инновативность: впервые объединены крупномасштабные данные опросов с аннотацией текста, обеспечивая культурно-чувствительную исследовательскую основу
2. Технический вклад: установление сильных базовых показателей на языке с ограниченными ресурсами, доказывающих важность языково-специфичных моделей
3. Достаточность экспериментов: охватывает несколько типов моделей, кросс-доменную оценку и внешнюю валидацию
4. Ценность для социальных наук: предоставляет глубокие insights в политический дискурс и динамику идентичности

Недостатки

1. Репрезентативность данных: ограничения выборки опроса могут влиять на универсальность категорий идентичности
2. Согласованность аннотации: относительно низкие значения κ для некоторых категорий (например, Conservative: 0,705)
3. Диапазон оценки: кросс-доменная оценка основана только на 500 образцах, может быть недостаточной

Влияние

1. Академическая ценность: предоставляет важный ресурс для вычислительной социальной науки и многоязычного NLP
2. Практическая ценность: может использоваться для анализа политической коммуникации, мониторинга общественного мнения и других приложений
3. Методологический вклад: предоставляет шаблон для аналогичных исследований в других неанглийских политических контекстах

Применимые сценарии

• Исследование политической коммуникации
• Анализ социальной идентичности
• Многоязычный анализ настроений
• Мониторинг политического дискурса
• Кросс-культурные сравнительные исследования

Библиография

В данной работе цитируются важные работы из нескольких областей, включая теорию социальной идентичности, компьютерную лингвистику и политическую коммуникацию. Теоретической основой служит интегративная теория межгрупповых конфликтов Tajfel and Turner (1979), а также недавние результаты исследований NLP в области обнаружения упоминаний групп и анализа фреймов.

Общая оценка: это высококачественное междисциплинарное исследование с важными вкладами в методологию, техническую реализацию и insights социальных наук. Исследование заполняет пробел в анализе иврито-язычных политических текстов и делает ценный вклад в развитие многоязычного NLP и вычислительной социальной науки.