Оценка открытых моделей Vision-Language для обнаружения многомодального сарказма

Основная информация

• ID статьи: 2510.11852
• Название: Evaluating Open-Source Vision-Language Models for Multimodal Sarcasm Detection
• Авторы: Saroj Basnet (George Mason University), Shafkat Farabi (Virginia Tech), Tharindu Ranasinghe (Lancaster University), Diptesh Kanojia (University of Surrey), Marcos Zampieri (George Mason University)
• Классификация: cs.LG (Машинное обучение)
• Дата публикации: 13 октября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2510.11852v1

Аннотация

В данном исследовании оценивается производительность семи передовых открытых моделей Vision-Language (VLM) при решении задачи многомодального обнаружения сарказма, включая BLIP2, InstructBLIP, OpenFlamingo, LLaVA, PaliGemma, Gemma3 и Qwen-VL. Исследование использует стратегии нулевого, одного и нескольких примеров, а также оценивает способность моделей генерировать объяснения сарказма. Эксперименты проводятся на трёх эталонных наборах данных (Muse, MMSD2.0 и SarcNet). Результаты показывают, что, хотя текущие модели достигают умеренного успеха в бинарном обнаружении сарказма, они не могут генерировать объяснения высокого качества без специализированной настройки задачи.

Исследовательский контекст и мотивация

Определение проблемы

1. Основная проблема: Оценка способности открытых моделей Vision-Language выполнять задачи многомодального обнаружения сарказма (MSD), включая обнаружение и объяснение сарказма
2. Сложность: Сарказм — это сложное языковое явление, при котором предполагаемое значение противоположно буквальному выражению. В многомодальной среде сарказм часто возникает из несоответствия между визуальным и текстовым содержимым

Значимость

1. Распространённость в социальных сетях: На социальных платформах сарказм часто реализуется через пары изображений и текста. Понимание такого кросс-модального несоответствия критически важно для анализа настроений и понимания содержимого
2. Развитие технологии: Развитие больших моделей Vision-Language открывает новые возможности для понимания сложных субъективных многомодальных явлений
3. Практическая ценность: Имеет важное значение для модерации контента в социальных сетях, анализа настроений и выявления оскорбительного языка

Ограничения существующих методов

1. Недостаточность исследований: Хотя VLM показывают отличные результаты на различных задачах, их производительность на задачах MSD остаётся недостаточно изученной
2. Методологические ограничения: Ранние исследования MSD в основном полагались на отдельные извлекатели признаков и методы агрегации признаков, не обеспечивая сквозное многомодальное понимание
3. Способность к объяснению: Существующие модели в основном сосредоточены на точности классификации, а способность генерировать объяснения человеческого качества остаётся недостаточно изученной

Основные вклады

1. Унифицированная структура оценки: Предоставляет унифицированную структуру контекстного обучения, включающую интегрированные изображения, примеры с несколькими примерами и семена объяснений, применимые к семи различным VLM
2. Систематическое тестирование: Проводит систематическую оценку нулевого, одного и нескольких примеров на трёх эталонных наборах данных MSD
3. Оценка генерации объяснений: Оценивает способность каждой модели генерировать объяснения сарказма в свободной форме, заполняя пробел в исследованиях этой области
4. Углубленный анализ: Выявляет разделение между производительностью классификации и качеством объяснений, предоставляя важные идеи для будущих исследований

Подробное описание методологии

Определение задачи

Входные данные: Пары изображение-текст (I, C), где I — изображение, C — текст подписи Выходные данные:

1. Бинарная классификация: определение наличия сарказма в паре (Да/Нет)
2. Генерация объяснений: для экземпляров сарказма генерирование описания на естественном языке, объясняющего визуально-текстовое несоответствие

Описание наборов данных

Архитектура моделей

Семь оцениваемых открытых VLM:

1. InstructBLIP: Модель с инструкционной настройкой на основе FlanT5
2. BLIP2 2.7B: Замороженный кодировщик изображений + Q-former + большая языковая модель
3. OpenFlamingo 3B: Облегчённая открытая адаптация Flamingo
4. LLaVA 7B: Визуально-языковое выравнивание через состязательную настройку
5. PaliGemma 3B: Многомодальная модель смеси экспертов
6. Qwen-VL 7B: Архитектура кодировщик-декодировщик с Q-aware
7. Gemma3 27B: Инструкционно-настроенная многомодальная модель

Стратегии подсказок

Структура подсказки для задачи классификации:

*<глобальная_инструкция>*
Пример: (нулевой, один, несколько примеров)
*<изображение>*
*Подпись:<подпись> Ответ: Да/Нет*
*<изображение>*
**Контекст:** {подпись}
Это сарказм?

Структура подсказки для генерации объяснений:

*<Контекст>:*
*<изображение>*
**Исходная подпись**: {подпись}
**Предоставленное объяснение**: {объяснение}
**Инструкция задачи**

Технологические инновации

1. Унифицированная структура подсказок: Разработаны унифицированные шаблоны подсказок, применимые к различным архитектурам VLM
2. Многоуровневая оценка: Комбинированная оценка точности классификации и качества объяснений
3. Оценка кросс-модального выравнивания: Введение Δ-CLIPScore для количественной оценки улучшения выравнивания изображение-текст

Экспериментальная установка

Обработка данных

• Случайная выборка 3,000 пар изображение-подпись из MMSD2.0 и SarcNet для оценки
• Использование набора данных MuSE для предоставления примеров объяснений и оценки эталонов
• Примеры с несколькими примерами отбираются из MuSE (положительные примеры) и MMSD2.0 (отрицательные примеры)

Метрики оценки

1. Точность классификации: Точность бинарной классификации
2. Δ-CLIPScore: Количественная оценка улучшения выравнивания изображение-текст сгенерированного объяснения относительно исходной подписи

   ΔCLIP = CLIP(IMG, G_exp) - CLIP(IMG, B_exp)
   

   где G_exp — сгенерированное объяснение, B_exp — базовое объяснение

Детали реализации

• Все модели загружаются с 8-битной точностью с включённой оптимизацией FlashAttention
• Размер пакета = 1, максимальное количество генерируемых токенов 100-256
• Использование поиска луча (размер луча = 3)
• Параметр температуры = 0.7

Результаты экспериментов

Производительность классификации

Ключевые выводы

1. Преимущество инструкционно-настроенных моделей: Gemma3 и InstructBLIP показывают лучшие результаты при нулевом и одном примере
2. Ограниченный эффект нескольких примеров: Увеличение количества примеров не привело к улучшению производительности, иногда даже вводя шум
3. Различия между наборами данных: Модели обычно показывают лучшую производительность на MMSD2.0, чем на SarcNet

Результаты генерации объяснений

Важные открытия

1. Разделение производительности: Модель с лучшей производительностью классификации (Gemma3) показывает худшие результаты при генерации объяснений
2. Влияние архитектуры: Архитектуры в стиле VQA (BLIP2, LLaVA) лучше подходят для генерации высококачественных объяснений
3. Различия в целях обучения: Модели с дискриминативным обучением преуспевают в классификации, модели с генеративным обучением лучше подходят для объяснений

Связанные работы

Исследования обнаружения сарказма

1. Обнаружение текстового сарказма: Традиционные исследования в основном сосредоточены на распознавании сарказма в чистой текстовой среде
2. Многомодальное обнаружение сарказма: Schifanella и др. впервые доказали, что визуальная модальность содержит подсказки, помогающие выявить намерение сарказма
3. Методы агрегации признаков: Ранние работы использовали отдельные кодировщики для извлечения признаков, а затем разработали методы агрегации

Модели Vision-Language

1. Предварительно обученные модели: Flamingo, VILA и другие модели демонстрируют способности нулевого и нескольких примеров
2. Многомодальное понимание: В последнее время модели начали сосредоточиваться на раннем моделировании кросс-модального взаимодействия
3. Инструкционная настройка: Модели типа InstructBLIP повышают многозадачную производительность через инструкционную настройку

Заключение и обсуждение

Основные выводы

1. Умеренный успех: Открытые VLM достигают умеренного успеха в бинарном обнаружении сарказма, но остаётся место для улучшения
2. Вызовы объяснения: Существующие модели испытывают значительные трудности при генерировании объяснений высокого качества
3. Важность архитектуры: Архитектура модели и цели обучения оказывают важное влияние на производительность конкретной задачи

Ограничения

1. Размер выборки: Размер оценочной выборки относительно ограничен (3,000 примеров на набор данных)
2. Языковое покрытие: В основном сосредоточено на английском языке, многоязычная оценка ограничена
3. Оценка объяснений: Оценка качества объяснений в основном полагается на автоматизированные метрики, отсутствует человеческая оценка

Будущие направления

1. Гибридные цели обучения: Разработка методов многозадачного обучения, одновременно оптимизирующих классификацию и генерацию объяснений
2. Подсказки цепочки мышления: Исследование CoT и многоэтапных подсказок для стимулирования более богатого рассуждения модели
3. Расширение знаний: Интеграция технологии RAG или внешних знаний для улучшения понимания контекста моделью
4. Многоязычное расширение: Расширение на больше языков и культурных контекстов обнаружения сарказма

Глубокая оценка

Преимущества

1. Систематическая оценка: Первая систематическая оценка нескольких открытых VLM на задачах MSD
2. Двойная задача: Одновременная оценка способностей классификации и объяснения обеспечивает комплексную перспективу
3. Практическая ценность: Предоставляет важный справочник для исследователей при выборе подходящей VLM
4. Открытость: Обещание открытого исходного кода и данных способствует воспроизводимым исследованиям

Недостатки

1. Недостаточность глубокого анализа: Качественный анализ случаев отказа моделей относительно ограничен
2. Ограничения метрик оценки: Оценка качества объяснений в основном полагается на выравнивание CLIP, что может быть недостаточно полным
3. Обновление моделей: Некоторые версии моделей относительно старые и могут не представлять последний уровень технологии

Влияние

1. Роль эталона: Предоставляет важную эталонную оценку для области MSD
2. Методологическое вдохновение: Унифицированная структура оценки может быть распространена на другие многомодальные задачи
3. Практическое руководство: Предоставляет справочник для выбора подходящих моделей в практических приложениях

Применимые сценарии

1. Анализ социальных сетей: Применимо к пониманию содержимого на платформах Twitter, Facebook и т.д.
2. Анализ настроений: Может служить компонентом более широкой системы анализа настроений
3. Модерация контента: Помогает выявлять потенциальный сарказм и язвительные комментарии

Библиография

Статья цитирует 46 связанных работ, охватывающих важные исследования в нескольких областях, включая обнаружение сарказма, многомодальное обучение и модели Vision-Language, обеспечивая прочную теоретическую основу для исследования.

Общая оценка: Это высококачественная эмпирическая исследовательская работа, заполняющая пробел в оценке открытых VLM на задачах многомодального обнаружения сарказма. Исследование хорошо спроектировано, эксперименты всеобъемлющи, выводы имеют практическую ценность. Хотя есть место для улучшения в глубоком анализе и метриках оценки, работа вносит важный вклад в развитие этой области.