Тонкая настройка больших языковых моделей с использованием QLoRA для обнаружения оскорбительной лексики в смешанном тексте Roman Urdu-English

Основная информация

• ID статьи: 2510.03683
• Название: Fine-Tuning Large Language Models with QLoRA for Offensive Language Detection in Roman Urdu-English Code-Mixed Text
• Авторы: Nisar Hussain, Amna Qasim, Gull Mehak, Muhammad Usman, Muhammad Zain, Momina Hafeez, Grigori Sidorov
• Учреждение: Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC), Мексика
• Классификация: cs.CL (Вычислительная лингвистика)
• Ссылка на статью: https://arxiv.org/abs/2510.03683

Аннотация

В данном исследовании предложена структура тонкой настройки больших языковых моделей на основе QLoRA для обнаружения оскорбительной лексики в смешанном тексте Roman Urdu-English. Учитывая такие вызовы, как грамматическая нерегулярность, непоследовательность орфографии и дефицит аннотированных данных в языке Roman Urdu, исследователи использовали Google Translate для преобразования смешанного кода в английский язык, чтобы полностью использовать возможности английских больших языковых моделей. Эксперименты проводились на нескольких моделях, включая Meta-LLaMA-3-8B, Mistral-7B-v0.1, LLaMA 2-7B, ModernBERT и RoBERTa. Результаты показали, что Meta-LLaMA-3-8B достигла наивысшего показателя F1 в 91,45%, Mistral-7B — 89,66%, оба превзошли традиционные модели Transformer.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, решаемая в данном исследовании, — это обнаружение оскорбительной лексики в смешанном тексте Roman Urdu-English. Roman Urdu является основной формой цифровой коммуникации в некоторых регионах Пакистана и Индии, где пользователи пишут урду латинскими буквами и часто смешивают английские слова.

Важность проблемы

1. Потребность в безопасности социальных сетей: С распространением платформ Twitter, Facebook, YouTube и других распространение оскорбительного и вредоносного контента становится все более серьезной проблемой. Выявление и снижение такого контента имеет решающее значение для поддержания цифрового здоровья и предотвращения психологического вреда пользователям.
2. Особые вызовы кода-смешанного языка: Смешанный текст Roman Urdu-English характеризуется нестандартной грамматикой, непоследовательной орфографией и отсутствием аннотированных наборов данных, что значительно снижает точность традиционных моделей НЛП.

Ограничения существующих методов

1. Традиционные методы машинного обучения: Ранние подходы с использованием SVM, наивного Байеса и логистической регрессии в сочетании с TF-IDF или n-граммовыми признаками показывают плохую обобщаемость между контекстами и языками, особенно на неформальных, зашумленных или смешанных данных.
2. Модели глубокого обучения: Хотя CNN и RNN превосходят традиционные методы в захвате контекстной информации, они по-прежнему сталкиваются с проблемами при работе с морфологически богатыми низкоресурсными языками, такими как Roman Urdu.
3. Дефицит предварительно обученных моделей: Roman Urdu не имеет специализированных предварительно обученных моделей или крупномасштабных аннотированных корпусов, что ограничивает применение существующих методов.

Основные вклады

1. Предложена сквозная система обнаружения оскорбительной лексики Roman Urdu-English: Построен полный конвейер обработки от предварительной обработки данных до оценки модели.
2. Применение QLoRA к моделям LLaMA и Mistral: Впервые применена техника квантованной низкоранговой адаптации к задаче обнаружения оскорбительной лексики Roman Urdu.
3. Проведена комплексная сравнительная оценка: Сравнена производительность больших языковых моделей, тонко настроенных с помощью QLoRA, с традиционно настроенными моделями ModernBERT и RoBERTa.
4. Применена стратегия предварительной обработки на основе перевода: Использована методология перевода для использования английских больших языковых моделей при обработке низкоресурсного смешанного кода.

Подробное описание методологии

Определение задачи

Входные данные: Смешанный текст Roman Urdu-English Выходные данные: Двоичная классификация (оскорбительный/неоскорбительный) Ограничения: Обработка низкоресурсного, нестандартного грамматического, смешанного кода

Архитектура модели

Общий процесс

Исследование применило систематизированный конвейер обработки:

1. Сбор и предварительная обработка данных
   • Набор данных содержит 46 026 образцов (24 026 «оскорбительных», 22 000 «неоскорбительных»)
   • Собран в основном из открытых комментариев Facebook и ответов YouTube
   • Вручную аннотирован тремя двуязычными аннотаторами с согласованностью Cohen's Kappa 0,86
2. Обработка перевода
   • Использована библиотека GoogleTranslator из пакета deep_translator
   • Переведены тексты Roman Urdu на английский для использования английских LLM
   • Сохранены исходные характеристики смешанного кода до этапа перевода
3. Разделение и аннотирование набора данных
   • Отображение меток: «оскорбительный» → 1, «неоскорбительный» → 0
   • Использовано стратифицированное разделение 80% обучение, 20% тестирование
   • Для моделей декодера входные данные отформатированы в стиле подсказок

Выбор модели

Выбран разнообразный набор моделей для оценки производительности:

• Большие языковые модели: LLaMA 3 (8B), LLaMA 2 (7B), Mistral (7B), настроены с использованием QLoRA
• Традиционные Transformer: RoBERTa и ModernBERT, настроены с использованием традиционного контролируемого обучения

Техника тонкой настройки QLoRA

Основные параметры:

• rank (r=8)
• alpha (32)
• dropout (0,05)
• адаптивные слои: q_proj и v_proj

Технические преимущества:

• Реализована эффективная по памяти тонкая настройка через низкоранговые адаптеры и квантованные веса
• Сохранена производительность при значительном снижении использования памяти GPU

Технические инновации

1. Применение квантованной низкоранговой адаптации: Впервые применена техника QLoRA к обнаружению оскорбительной лексики Roman Urdu, обеспечивая эффективную тонкую настройку крупных моделей.
2. Кросс-языковой трансфер с помощью перевода: Использована стратегия перевода для преодоления языковых различий и повышения понимания моделью базовой семантики.
3. Структура сравнительной оценки нескольких моделей: Установлена систематическая структура сравнительной оценки между LLM и традиционными моделями Transformer.

Экспериментальная установка

Набор данных

• Размер: 46 026 образцов
• Источник: Комментарии Facebook и ответы YouTube
• Аннотирование: Три двуязычных аннотатора, Cohen's Kappa = 0,86
• Разделение: 80% обучение, 20% тестирование (стратифицированная выборка)
• Предварительная обработка: Минимальная очистка для сохранения целостности контекста

Метрики оценки

• Точность (Accuracy)
• Полнота (Precision)
• Чувствительность (Recall)
• F1-мера (F1 Score)

Методы сравнения

• LLaMA 3 (8B) + QLoRA
• Mistral 7B + QLoRA
• LLaMA 2 (7B) + QLoRA
• RoBERTa (традиционная тонкая настройка)
• ModernBERT (традиционная тонкая настройка)

Детали реализации

• Оборудование: NVIDIA A100 (80GB VRAM), 128GB RAM, 32-ядерный CPU
• Программная среда: Python 3.13.2, PyTorch, Transformers, PEFT и др.
• Гиперпараметры: Скорость обучения 2e-5, размер пакета 2, эпохи обучения 10, затухание веса 0,01
• Стратегии оптимизации: Контрольные точки градиента, ранняя остановка

Результаты экспериментов

Основные результаты

Ключевые выводы:

1. LLaMA 3 (8B) достигла лучшей производительности с F1-мерой 91,45%
2. Большие языковые модели на основе QLoRA значительно превосходят традиционные модели Transformer
3. Разница в производительности отражает преимущества тонкой настройки QLoRA в задачах смешанного кода

Анализ поведения обучения

• Скорость сходимости: Лучшие модели достигли оптимальной валидационной F1-меры за 2-3 эпохи
• Стабильность обучения: Все модели показали плавное снижение потерь без признаков переобучения
• Эффективность памяти: QLoRA значительно снизила требования к памяти при тонкой настройке крупных моделей

Сравнение эффективности вывода

• LLaMA 3 (8B): Примерно 1,0 сек/1000 образцов
• Mistral 7B: Примерно 0,80 сек/1000 образцов
• LLaMA 2 (7B): Примерно 0,78 сек/1000 образцов
• RoBERTa: Примерно 0,35 сек/1000 образцов
• ModernBERT: Примерно 0,30 сек/1000 образцов

Отражает компромисс между размером модели и скоростью вывода.

Анализ интерпретируемости модели

Анализ с использованием LIME и SHAP выявил:

• Высокоэффективная оскорбительная лексика: «saalon», «naacho», «maaregi» и др.
• Паттерны принятия решений моделью: LLaMA 3 сосредоточена на контекстной оскорбительной лексике, традиционные модели распределяют веса более рассеянно
• Выявление смещений: Некоторые нейтральные слова могут вводить в заблуждение классификацию, подчеркивая важность качества данных

Связанные работы

Исследования обнаружения оскорбительной лексики

1. Традиционные методы: Машинное обучение на основе ручных признаков (SVM, наивный Байес и др.)
2. Методы глубокого обучения: Архитектуры CNN, RNN и Transformer (BERT и его варианты)
3. Многоязычная обработка: Методы кросс-языкового трансфера и нулевого обучения

Обработка низкоресурсных языков

1. Исследования Roman Urdu: Ограниченное количество исследователей создали наборы данных и методы встраивания Roman Urdu
2. Обработка смешанного кода: Многоязычные встраивания и методы, вспомогательные машинному переводу
3. Вызовы дефицита ресурсов: Отсутствие предварительно обученных моделей и крупномасштабных аннотированных корпусов

Тонкая настройка больших языковых моделей

1. Параметрически эффективная тонкая настройка: Развитие техник QLoRA, LoRA и др.
2. Применение LLM: Применение GPT, LLaMA, Mistral в задачах классификации текста
3. Техники квантования: Снижение вычислительных ресурсов при сохранении производительности

Выводы и обсуждение

Основные выводы

1. Эффективность тонкой настройки QLoRA: В задаче обнаружения оскорбительной лексики в смешанном тексте Roman Urdu-English большие языковые модели, настроенные с помощью QLoRA, значительно превосходят традиционные методы
2. Жизнеспособность стратегии перевода: Предварительная обработка перевода может эффективно использовать английские LLM для обработки низкоресурсного смешанного кода
3. Важность размера модели: Большие параметры модели демонстрируют явные преимущества в сложных задачах НЛП

Ограничения

1. Потеря характеристик смешанного кода: Процесс перевода приводит к потере исходной структуры переключения кода, модель фактически обрабатывает английский перевод, а не исходный смешанный текст
2. Требования к вычислительным ресурсам: Высокая задержка вывода больших языковых моделей может ограничить приложения в реальном времени
3. Размер набора данных: Относительно небольшой набор данных может повлиять на способность модели к обобщению
4. Зависимость от качества перевода: Эффективность метода в высокой степени зависит от качества Google Translate

Будущие направления

1. Прямая обработка смешанного кода: Разработка LLM, способных напрямую обрабатывать Roman Urdu без необходимости перевода
2. Нулевое и малое обучение: Снижение зависимости от аннотированных данных
3. Оптимизация кросс-языкового трансфера: Улучшение методов кросс-языкового трансфера для лучшего сохранения характеристик смешанного кода
4. Оптимизация для реального времени: Оптимизация скорости вывода для требований практического развертывания

Углубленная оценка

Преимущества

1. Методологическая инновативность: Впервые применена техника QLoRA к обнаружению оскорбительной лексики Roman Urdu, предоставляя новый подход к решению
2. Комплексность экспериментов: Сравнены модели различных размеров и архитектур, предоставляя комплексные эталоны производительности
3. Практическая ценность: Предоставлено жизнеспособное техническое решение для модерации контента социальных сетей
4. Технологическая передовость: Применены новейшие техники параметрически эффективной тонкой настройки, достигнута хорошая производительность в условиях ограниченных ресурсов

Недостатки

1. Ограничения методологии: Хотя стратегия предварительной обработки перевода практична, она теряет сущностные характеристики смешанного кода
2. Ограничения набора данных: Относительно небольшой набор данных, собранный только с определенных платформ, может повлиять на обобщаемость
3. Недостаток в измерениях оценки: Отсутствует тонкозернистый анализ различных типов оскорбительной лексики
4. Ограниченный теоретический вклад: В основном инженерная реализация с относительно ограниченными теоретическими инновациями

Влияние

1. Академический вклад: Предоставлено эффективное решение для обнаружения оскорбительного контента в низкоресурсном смешанном коде
2. Практическое применение: Может быть напрямую применено к модерации контента Roman Urdu в социальных сетях
3. Продвижение технологии: Демонстрирует потенциал применения QLoRA в специализированных задачах
4. Исследовательское вдохновение: Предоставляет справочную структуру для аналогичных задач на других низкоресурсных языках

Применимые сценарии

1. Платформы социальных сетей: Модерация контента Roman Urdu на Facebook, Twitter и других платформах
2. Управление онлайн-сообществами: Форумы и сообщества в регионах Пакистана и Индии
3. Образовательные приложения: Системы обнаружения и предотвращения кибербуллинга
4. Исследовательская база: Основа для разработки систем обнаружения оскорбительной лексики на многоязычных платформах

Библиография

Статья цитирует 46 соответствующих источников, охватывающих множество областей, включая обнаружение оскорбительной лексики, большие языковые модели и обработку смешанного кода, предоставляя прочную теоретическую основу и техническую поддержку для исследования.

Общая оценка: Данная статья демонстрирует зрелость в технической реализации, разумный дизайн экспериментов и убедительные результаты. Хотя теоретические инновации относительно ограничены, исследование предоставляет ценное практическое решение для реальных приложений в низкоресурсном смешанном коде, обладая хорошей практической ценностью и потенциалом распространения.