PULSE: Практические сценарии оценки разучивания больших мультимодальных моделей

Основная информация

• ID статьи: 2507.01271
• Название: PULSE: Practical Evaluation Scenarios for Large Multimodal Model Unlearning
• Авторы: Tatsuki Kawakami, Kazuki Egashira, Atsuyuki Miyai, Go Irie, Kiyoharu Aizawa (Токийский университет)
• Классификация: cs.LG cs.AI
• Дата публикации/конференция: 39-я конференция по нейронным системам обработки информации (NeurIPS 2025) Workshop
• Ссылка на статью: https://arxiv.org/abs/2507.01271

Аннотация

В последние годы методы машинного разучивания привлекают внимание как решение проблем конфиденциальности и авторских прав в больших языковых моделях (LLMs) и больших мультимодальных моделях (LMMs). Хотя для LLMs было разработано несколько эталонов разучивания, исследование практических рамок оценки разучивания для LMMs остаётся ограниченным. Существующие эталоны разучивания LMMs рассматривают только сценарии разучивания знаний, полученных при тонкой настройке, посредством одной операции разучивания. В данном исследовании представлен протокол PULSE путём введения двух ключевых перспектив: (i) разучивание предварительно обученных знаний для анализа влияния различных этапов приобретения знаний; (ii) оценка долгосрочной устойчивости для решения проблемы последовательных запросов. Результаты показывают, что хотя некоторые методы успешно разучивают знания, полученные при тонкой настройке, они испытывают трудности при удалении информации, полученной во время предварительного обучения. Кроме того, методы, эффективные при разучивании пакетных целевых данных в одной операции, демонстрируют значительное снижение производительности при последовательном разучивании данных, разделённых на партии.

Исследовательский контекст и мотивация

Определение проблемы

С огромным успехом больших мультимодальных моделей в различных задачах данные обучения могут содержать личную информацию и защищённый авторским правом контент, что вызывает озабоченность по поводу конфиденциальности и нарушения прав интеллектуальной собственности. Методы машинного разучивания направлены на то, чтобы позволить модели "забыть" ранее полученную информацию, сохраняя при этом производительность на других задачах.

Важность проблемы

1. Требования защиты конфиденциальности: С ужесточением нормативных требований к конфиденциальности данных необходимы методы, позволяющие удалять конкретную личную информацию из обученных моделей
2. Защита авторских прав: Необходимо обрабатывать защищённый авторским правом контент, который может содержаться в данных обучения
3. Требования практического применения: В реальных сценариях может потребоваться несколько последовательных операций разучивания

Ограничения существующих методов

1. Ограниченный объём оценки: Существующие эталоны разучивания LMMs (например, MLLMU-Bench) рассматривают только разучивание знаний при тонкой настройке
2. Предположение об одноразовой операции: Оценивается только одноразовая операция разучивания, игнорируя сценарии с последовательными запросами разучивания
3. Отсутствие оценки предварительно обученных знаний: Не учитывается разучивание знаний, полученных на этапе предварительного обучения

Мотивация исследования

Данная работа направлена на создание более практичной и всеобъемлющей рамки оценки разучивания LMMs, заполняя пробелы в существующих методах оценки в области разучивания предварительно обученных знаний и устойчивости.

Основные вклады

1. Предложение протокола PULSE: Разработан новый протокол для оценки (i) разучивания предварительно обученных знаний и (ii) оценки долгосрочной устойчивости в LMMs
2. Выявление трудностей разучивания предварительно обученных знаний: Протокол PULSE выявляет, что существующие методы разучивания неэффективны при работе со знаниями, полученными во время предварительного обучения
3. Обнаружение проблем устойчивости: Доказано, что текущие методы демонстрируют значительное снижение производительности модели при столкновении с несколькими последовательными запросами разучивания
4. Предоставление практической основы оценки: Предоставляет важные идеи для будущего проектирования методов разучивания LMMs

Подробное описание методов

Определение задачи

Пусть $D_{unlearn}$ обозначает данные, которые необходимо разучить, а $D_{retain}$ обозначает данные, которые необходимо сохранить. Оценка методов разучивания включает два аспекта:

• Эффективность (Effectiveness): Производительность разучивания на целевых данных $D_{unlearn}$
• Обобщаемость (Generality): Сохранение точности на несвязанных данных $D_{retain}$

Архитектура протокола PULSE

1. Разучивание знаний при тонкой настройке (Fine-tuned Knowledge Unlearning)

• Следует стандартной практике, выбирая подмножество знаний при тонкой настройке в качестве $D_{unlearn}$
• Модель разучивает это подмножество в одной операции
• Оценивается эффект разучивания и сохранение производительности обобщения

2. Разучивание предварительно обученных знаний (Pre-trained Knowledge Unlearning)

• Знания, полученные во время предварительного обучения, используются в качестве $D_{unlearn}$
• Отдельные лица, "известные" модели, идентифицируются на основе фактического поведения модели
• Более практично, чем прямая выборка из данных предварительного обучения, применимо, когда корпус предварительного обучения не полностью открыт

3. Оценка долгосрочной устойчивости (Long-term Sustainability Evaluation)

• $D_{unlearn}$ разделяется на несколько подмножеств
• Последовательные операции разучивания выполняются над этими подмножествами в порядке
• Отслеживаются изменения обобщаемости и эффективности модели после каждой операции

Технические инновации

1. Многомерная рамка оценки: Впервые одновременно рассматривает тип источника знаний и устойчивость операций в LMMs
2. Дизайн, ориентированный на практику: Протокол оценки разработан на основе реальных сценариев применения
3. Требования кроссмодальной согласованности: Требует, чтобы модель не раскрывала целевую информацию как в мультимодальных, так и в чисто текстовых задачах

Экспериментальная установка

Наборы данных

Используются наборы данных, опубликованные в MLLMU-Bench:

• Каждый индивид содержит 1 изображение лица и 10 пар вопрос-ответ
• 5 мультимодальных задач, 5 чисто текстовых задач
• Вопросы касаются подробной личной информации (например, профессия, место проживания)

Конфигурация экспериментов:

• Разучивание знаний при тонкой настройке: 100 вымышленных индивидов, 50 для $D_{unlearn}$, 50 для $D_{retain}$
• Разучивание предварительно обученных знаний: 45 известных личностей с высокой точностью выбраны из 153, 20 для $D_{unlearn}$, 25 для $D_{retain}$
• Оценка устойчивости: 50 индивидов разделены на 5 подмножеств, 5 последовательных операций разучивания

Метрики оценки

• Метрики эффективности: Точность на $D_{unlearn}$ (чем ниже, тем лучше)
• Метрики обобщаемости:
  • Точность на $D_{retain}$ (чем выше, тем лучше)
  • Оценка MMBench (оценка мультимодальных способностей)

Методы сравнения

1. Gradient Ascent (GA): Использует $D_{unlearn}$ как данные разучивания, направление обновления параметров противоположно стандартному градиентному спуску
2. GA с KL регуляризацией (GA+KLR): Добавляет штрафной член дивергенции KL для сохранения близости обновленной модели к исходной
3. Negative Preference Optimization (NPO): Метод оптимизации предпочтений, рассматривающий данные разучивания как отрицательные примеры

Детали реализации

• Базовая модель: LLaVA-v1.5-13B
• Метод тонкой настройки: LoRA (Low-Rank Adaptation)
• Обновление параметров: LoRA используется как при тонкой настройке, так и при разучивании

Результаты экспериментов

Основные результаты

Производительность разучивания предварительно обученных знаний

• Точность всех методов на $D_{unlearn}$ снижается, что указывает на определённую эффективность разучивания
• Ключевые выводы:
  • Разучивание знаний при тонкой настройке: потеря способностей MMBench составляет примерно 10%
  • Разучивание предварительно обученных знаний: потеря способностей MMBench превышает 90%
  • Точность на $D_{retain}$ также значительно снижается, указывая на трудность селективного разучивания

Результаты оценки устойчивости

• С увеличением количества операций разучивания не только производительность на $D_{unlearn}$ снижается, но и показатели обобщаемости постепенно ухудшаются
• После 5 операций разучивания обобщаемость практически полностью теряется
• Указывает на то, что текущие основные методы разучивания не могут поддерживать устойчивость при разучивании LMM

Углубленный анализ

Различия в модальности задач

Когда обновление параметров включает матрицы проекции и языковую модель:

• Точность мультимодальных задач: 78,0% → 9,6%
• Точность чисто текстовых задач: 76,8% → 35,2%

Важный вывод: Чисто текстовые задачи более устойчивы к разучиванию, что может указывать на то, что разучивание "нарушило выравнивание между изображением и знаниями", а не действительно разучило целевую информацию.

Влияние стратегии обновления параметров

• Обновление только LLM: Производительность MMBench значительно снижается
• Одновременное обновление матриц проекции и LLM: Производительность MMBench снижается незначительно
• Гипотеза: Разрешение обновления матриц проекции облегчает разучивание путём нарушения выравнивания между модальностями

Экспериментальные выводы

1. Предварительно обученные знания сложнее разучивать: Возможно, потому что во время предварительного обучения модель изучила отношения между целевым индивидом и другими сущностями
2. Последовательное разучивание приводит к катастрофическому забыванию: Повторные обновления разучивания изменили параметры, которые также критичны для сохраняемых задач
3. Кроссмодальная несогласованность: Существующие методы могут не обеспечить согласованный эффект разучивания между модальностями

Связанные работы

Методология разучивания

• Варианты Gradient Ascent: GA, GA с регуляризацией, NPO и другие методы показывают определённую эффективность в LLMs и LMMs
• Методы, специфичные для LMM: SIU ограничен мультимодальными задачами, не применим к оценке чисто текстовых задач

Эталоны разучивания

• Эталоны LLMs: MUSE, TOFU и другие предоставляют всеобъемлющие рамки оценки
• Эталоны LMMs: MLLMU-Bench предоставляет базовую, но неполную оценку
• Вклад данной работы: Впервые предоставляет разучивание предварительно обученных знаний и оценку устойчивости в LMMs

Заключение и обсуждение

Основные выводы

1. Существующие методы разучивания неэффективны при работе с предварительно обученными знаниями, что приводит к серьёзному снижению обобщаемости модели
2. Последовательные операции разучивания приводят к постепенному ухудшению производительности; текущие методы не подходят для практического развёртывания
3. Существует несогласованность в эффектах разучивания между мультимодальными и чисто текстовыми задачами

Ограничения

1. Размер набора данных: Используемые наборы данных относительно небольшие и могут не полностью отражать сценарии крупномасштабного применения
2. Охват методов: Оценены только три основных метода разучивания, не охватывают все существующие методы
3. Метрики оценки: Могут потребоваться более детальные метрики оценки для полного измерения эффекта разучивания

Направления будущих исследований

1. Разработка методов разучивания, специально предназначенных для предварительно обученных знаний
2. Проектирование методов разучивания, которые могут поддерживать долгосрочную устойчивость
3. Исследование методов кроссмодального согласованного разучивания
4. Изучение более тонких стратегий обновления параметров

Глубокая оценка

Преимущества

1. Точное выявление проблемы: Точно выявлены ключевые недостатки существующей оценки разучивания LMM
2. Полная рамка оценки: Протокол PULSE заполняет важные пробелы в оценке
3. Разумное проектирование экспериментов: Экспериментальная установка приближена к реальным сценариям применения
4. Содержательные выводы: Выявлены важные проблемы разучивания предварительно обученных знаний и устойчивости
5. Ясное изложение: Структура статьи ясна, техническое описание точно

Недостатки

1. Ограниченная методологическая инновация: Основной вклад в протокол оценки, а не в новые методы разучивания
2. Отсутствие решений: Выявлены проблемы, но не предложены эффективные решения
3. Недостаточный теоретический анализ: Теоретическое объяснение наблюдаемых явлений относительно простое
4. Ограничения масштаба экспериментов: Ограничены существующими наборами данных, масштаб экспериментов относительно небольшой

Влияние

1. Академическая ценность: Предоставляет важный эталон оценки для исследований разучивания LMM
2. Практическая ценность: Выявленные проблемы имеют важное руководящее значение для практического применения
3. Стимулирующее действие: Может стимулировать разработку более практичных методов разучивания
4. Воспроизводимость: Экспериментальная установка ясна, основана на открытых наборах данных, обладает хорошей воспроизводимостью

Применимые сценарии

1. Оценка исследований: Предоставляет стандартный протокол для оценки методов разучивания LMM
2. Разработка методов: Предоставляет эталон оценки для проектирования новых методов разучивания
3. Практическое развёртывание: Предоставляет ожидания производительности для потребностей разучивания в практическом применении
4. Разработка политики: Предоставляет технические справки для соответствующей политики защиты конфиденциальности

Библиография

Статья ссылается на множество важных связанных работ, включая:

• Эталоны разучивания LLMs: MUSE, TOFU и другие
• Эталоны разучивания LMMs: MLLMU-Bench и другие
• Мультимодальные модели: LLaVA и другие
• Методы эффективной тонкой настройки параметров: LoRA и другие

Общая оценка: Это высококачественная статья оценочного исследования, которая, хотя и имеет относительно ограниченные методологические инновации, делает важный вклад в выявление проблем и построение рамок оценки. Выявленные в статье проблемы разучивания предварительно обученных знаний и устойчивости имеют важное руководящее значение для развития этой области и указывают ключевые направления для будущих исследований.