Apollo: Атака на вывод членства апостериори только по меткам в отношении машинного разучивания

Основная информация

• ID статьи: 2506.09923
• Название: Apollo: A Posteriori Label-Only Membership Inference Attack Towards Machine Unlearning
• Авторы: Liou Tang, James Joshi (Университет Питтсбурга), Ashish Kundu (Cisco Research)
• Категория: cs.LG (Машинное обучение)
• Дата публикации: 27 октября 2025 г. (arXiv v2)
• Ссылка на статью: https://arxiv.org/abs/2506.09923v2
• Ссылка на код: https://github.com/LiouTang/Unlearn-Apollo-Attack

Аннотация

Машинное разучивание (Machine Unlearning, MU) направлено на эффективное удаление обучающих образцов и их влияния из обученной модели без необходимости переобучения с нуля. Хотя MU используется для обеспечения защиты конфиденциальности и соответствия нормативным требованиям, оно также может увеличить поверхность атаки модели. Существующие атаки вывода конфиденциальности на MU предполагают, что злоумышленник имеет доступ к модели до и после разучивания, что ограничивает их применимость в реальных сценариях. В данной статье предлагается новая атака на конфиденциальность — Apollo (атака на вывод членства апостериори только по меткам), которая может вывести, был ли образец данных разучен, имея доступ только к выходам меток разученной модели. Экспериментальные результаты показывают, что несмотря на меньший требуемый доступ к модели, Apollo достигает относительно высокой точности при выводе статуса членства разученных образцов.

Исследовательский контекст и мотивация

Определение проблемы

Основной вопрос: Может ли машинное разучивание как метод защиты конфиденциальности само по себе привести к утечке конфиденциальной информации? Конкретнее, может ли злоумышленник, имея доступ только к разученной модели, вывести, какие данные были разучены?

Значимость

1. Требования нормативного соответствия: Нормативные акты, такие как GDPR и CCPA, предоставляют пользователям "право на забвение", требуя от моделей ML возможности удаления данных пользователя
2. Парадокс конфиденциальности: Машинное разучивание само по себе является средством защиты конфиденциальности, но процесс разучивания может привести к новым рискам конфиденциальности
3. Реальная угроза: В сценариях MLaaS пользователи обычно не имеют доступа к исходной модели, поэтому существующие методы атак неприменимы

Ограничения существующих методов

Существующие атаки вывода членства (MIA) на MU имеют следующие проблемы:

1. Требуют доступа к исходной модели: Большинство атак (например, Chen et al., Gao et al.) требуют одновременного доступа к моделям до и после разучивания
2. Требуют апостериорных вероятностей: Многие методы зависят от распределения вероятностей выходов модели
3. Нереалистичная модель угрозы: В реальных сценариях MLaaS клиенты обычно не могут получить исходную модель

Исследовательская мотивация

В данной статье предлагается наиболее строгая модель угрозы: злоумышленник может получить доступ только к выходам меток разученной модели (label-only, a posteriori), что более соответствует реальным сценариям. Ключевое понимание заключается в том, что приблизительные алгоритмы разучивания создают два типа артефактов в пространстве решений — недоразучивание (UNDER-UNLEARNING) и переразучивание (OVER-UNLEARNING), которые могут быть использованы для вывода статуса членства.

Основные вклады

1. Предложена атака Apollo: Первая атака на вывод членства апостериори, требующая только черного ящика и доступа к меткам, с наиболее строгой моделью угрозы
2. Формализация артефактов разучивания: Выявление и формальное определение двух явлений — UNDER-UNLEARNING и OVER-UNLEARNING с доказательством теоретических границ (Теоремы III.3 и III.4)
3. Обширная экспериментальная проверка: Проверка на нескольких наборах данных (CIFAR-10/100, ImageNet) и 6 алгоритмах разучивания, демонстрирующая высокую точность вывода даже при строгой модели угрозы
4. Раскрытие угрозы конфиденциальности: Прямое опровержение заявлений о конфиденциальности существующих методов разучивания, подчеркивающее необходимость более осторожных методов защиты конфиденциальности при разучивании

Подробное описание метода

Определение задачи

Входные данные:

• Разученная модель $\theta_u = \mathcal{A}[D, D_u, \mathcal{A}(D)]$ (только доступ к меткам)
• Целевой образец $(x, y)$
• Набор данных-прокси $D'$, выбранный из того же распределения

Выходные данные: Бинарное решение $\hat{b} \in \{0,1\}$, определяющее, является ли $x \in D_u$ (разучено) или $x \notin D$ (не участвовало в обучении)

Ограничения:

• Невозможно получить доступ к исходной модели $\theta$
• Невозможно получить доступ к апостериорным вероятностям модели, доступны только $\hat{y} = \arg\max f_{\theta_u}(x)$
• Предполагается, что алгоритм разучивания является приблизительным

Теоретическая основа

Предположение 1: Переобучение

Обучение приводит к переобучению: для обучающего образца $(x,y) \in D$ существует $x' \approx x$ такой, что: $f_\theta(x') = y \text{ (когда } x \in D), \quad f_\theta(x') \neq y \text{ (когда } x \notin D)$

Гипотеза 1: UNDER-UNLEARNING

Приблизительное разучивание сохраняет часть информации. Для разученного образца $(x,y) \in D_u$ существует $x' \approx x$ такой, что:

• $f_\theta(x') = y$ (исходная модель обучена)
• $f_{\theta_r}(x') \neq y$ (точное разучивание/переобучение не сохраняет)
• $f_{\theta_u}(x') = y$ (приблизительное разучивание все еще сохраняет, недоразучивание)

Интуитивное объяснение: Граница решения не сместилась достаточно, разучивание неполное (красная область на рисунке 2b)

Гипотеза 2: OVER-UNLEARNING

Приблизительное разучивание приводит к потере производительности. Для разученного образца $(x,y) \in D_u$ существует $x' \approx x$ такой, что:

• $f_\theta(x') = y$ (исходная модель обучена)
• $f_{\theta_r}(x') = y$ (точное разучивание сохраняет)
• $f_{\theta_u}(x') \neq y$ (приблизительное разучивание изменяет, переразучивание)

Интуитивное объяснение: Граница решения чрезмерно скорректирована, влияя на производительность на сохраняемом наборе (зеленая область на рисунке 2c)

Теоретические границы

Лемма III.1 (Липшицевость маржи)

Определим маржу $m_\theta(x) := f_\theta(x)_y - \max_{j\neq y} f_\theta(x)_j$, при стандартных условиях Липшица: $|m_\theta(x) - m_{\theta'}(x')| \leq L_x\|x-x'\| + L_\theta\|\theta-\theta'\|$

Теорема III.3 (Граница UNDER-UNLEARNING)

Для $x'$, удовлетворяющего UNDER-UNLEARNING, радиус возмущения $r = \|x-x'\|$ удовлетворяет: $\underbrace{\left(\frac{m_\theta(x) - L_\theta\Delta_r}{L_x}\right)_+}_{=: L_{Un}} \leq r < \underbrace{\frac{m_\theta(x) - L_\theta\Delta_u}{L_x}}_{=: U_{Un}}$

где $\Delta_u = \|\theta_u - \theta\|$, $\Delta_r = \|\theta_r - \theta\|$

Теорема III.4 (Граница OVER-UNLEARNING)

Аналогично, граница OVER-UNLEARNING: $\underbrace{\left(\frac{m_\theta(x) - L_\theta\Delta_u}{L_x}\right)_+}_{=: L_{Ov}} \leq r < \underbrace{\frac{m_\theta(x) - L_\theta\Delta_r}{L_x}}_{=: U_{Ov}}$

Значение: Предоставляет теоретически обоснованное пространство поиска, направляющее генерацию противоположных образцов

Архитектура модели: Процесс атаки Apollo

Онлайн-атака (Online Attack)

1. Обучение теневых моделей: Обучение $m$ теневых моделей $\Theta^s = \{\theta^s_i\}$, каждой на наборе данных $D^s_i$
2. Разучивание теневых моделей: Для каждой $\theta^s_i$ разучивание целевого образца $x$, получение $\theta^{su}_i$
3. Генерация противоположных образцов: Оптимизация $x'$ для удовлетворения условиям чувствительности и специфичности

Функция потерь UNDER-UNLEARNING: $\ell_{Un}(x'; x,y,\Theta) = \alpha \sum_{x \in D^s_i} \ell(x'; \theta^{su}_i) + \beta \sum_{x \notin D^s_i} \hat{\ell}(x'; \theta^s_i)$

где:

• Первый член (чувствительность): $x'$ должна предсказываться как класс $y$ на разученной модели
• Второй член (специфичность): $x'$ не должна предсказываться как $y$ на модели, не обученной на $x$
• $\hat{\ell} = -\ell$ (отрицание кросс-энтропии)

Функция потерь OVER-UNLEARNING: $\ell_{Ov}(x'; x,y,\Theta) = \alpha \sum_{x \in D^s_i} \hat{\ell}(x'; \theta^{su}_i) + \beta \sum_{x \notin D^s_i} \ell(x'; \theta^s_i)$

Офлайн-атака (Offline Attack)

Для снижения вычислительных затрат замена условия чувствительности расстоянием до границы решения: $\ell^{off}_{Un}(x'; x,y,\Theta) = \alpha \sum_i d(x', DB) + \beta \sum_i \hat{\ell}(x'; \theta^s_i)$

Алгоритм 1: Генерация противоположных образцов

Входные данные: целевая модель θ_u, целевой образец (x,y), теневые модели Θ^s, размер шага ε
Выходные данные: противоположный образец x'

x' ← x
для t = 1 до T:
    вычислить градиент g_{t,i} ← ∇_{x'} ℓ(x'; x,y,Θ)
    x' ← SGD(x', средний градиент)
    проекция на сферический слой B_{tε}(x) \ B_{(t-1)ε}(x)  // ограничение локальности
    если средняя уверенность < τ:
        ранняя остановка
вернуть x'

Ключевые особенности проектирования:

• Постепенное расширение радиуса поиска (от $(t-1)\epsilon$ до $t\epsilon$)
• Проекция гарантирует локальность (общее возмущение $\leq T\cdot\epsilon$)
• Механизм ранней остановки повышает эффективность

Технические инновации

1. Смена парадигмы: От сравнения моделей до и после разучивания → сравнение разученной модели с идеальной переобученной моделью
2. Теоретическая поддержка: Впервые предоставляются теоретические границы Липшица для атак на разучивание
3. Практическая применимость: Офлайн-версия избегает необходимости переразучивания теневых моделей для каждого целевого образца
4. Хорошая адаптивность: Одновременное использование обоих явлений UNDER и OVER повышает робастность

Экспериментальная установка

Наборы данных

Стратегия разделения данных:

• Срез (a): обучающий набор $D$
• Срез (b): наборы теневых данных (офлайн)
• Срез (c): набор тестирования $D_t$
• Онлайн-атака: теневые наборы выбираются из (a)+(b); офлайн-атака: только из (b)

Архитектуры моделей

• ResNet-18: основная модель экспериментов
• VGG-16: абляционные эксперименты
• Swin Transformer: тестирование переносимости

Конфигурация обучения:

• Оптимизатор: AdamW
• Скорость обучения: $1 \times 10^{-4}$
• Размер пакета: 64
• Эпохи: 100 (целевая модель), 50 (теневые модели)
• Требуемая точность: ≥75% на $D_t$

Алгоритмы разучивания

Тестирование 6 представительных алгоритмов + базовое переобучение:

Метрики оценки

Основная метрика: TPR при низком FPR (True Positive Rate at low False Positive Rate)

• Причина: высокая точность более ценна для атак на конфиденциальность
• Способ отчета: TPR при наиболее низком FPR, достижимом каждым алгоритмом

Вспомогательные метрики: Precision, Recall, кривые ROC

Методы сравнения

1. U-MIA 10: наивный метод, использующий классификатор SVM (ядро RBF, C=3)
2. U-LiRA 11: атака на основе отношения правдоподобия, использующая логит-преобразованные апостериорные вероятности

Примечание: Не включены Chen et al., Gao et al., Lu et al., так как они требуют доступа к исходной модели

Детали реализации

Гиперпараметры Apollo:

• Количество теневых моделей: $m = 32$
• Размер шага поиска: $\epsilon = 1.0$
• Количество раундов поиска: $T = 50$
• Веса потерь: $\alpha = 1, \beta = 4$ (акцент на специфичность)
• Количество целевых образцов: 200 (разученные) + 200 (тестовые)

Оборудование: NVIDIA A100 (40GB), время обучения примерно 20 минут/модель

Результаты экспериментов

Основные результаты

Таблица II: Производительность на CIFAR-10

Ключевые выводы:

1. GA наиболее уязвим: U-LiRA достигает 68.5% TPR, Apollo достигает 18%
2. SCRUB легко атакуется: Apollo превосходит U-LiRA (21.5% vs 6.0%)
3. Производительность SFR-on: Apollo достигает 10% TPR, U-LiRA только 2.5%
4. RT в основном безопасен: Все атаки TPR ≤ 7%, близко к случайному угадыванию

Таблица III: Производительность на CIFAR-100

Ключевые выводы:

1. Улучшение производительности: Apollo показывает лучшие результаты на CIFAR-100 (больше классов, меньше образцов на класс)
2. Значительное преимущество SCRUB: Apollo достигает 41.5%, значительно превосходя U-LiRA (12.5%)
3. Постоянная уязвимость BT: Apollo достигает 50% TPR

Таблица IV: Производительность на ImageNet

Тенденции аналогичны CIFAR-100, Apollo показывает отличные результаты на GA и SCRUB

Анализ кривых ROC (Рисунок 4)

GA (4a): U-LiRA самая сильная, Apollo вторая, общая AUC высокая FT (4b): Все атаки неэффективны, Apollo немного лучше BT (4c): U-MIA самая сильная (95% TPR), Apollo слабее SCRUB (4d): Apollo явно превосходит U-LiRA SalUn (4e): U-LiRA немного лучше SFR-on (4f): Apollo имеет явное преимущество в области низкого FPR RT (4g): Все атаки близки к случайной линии

Абляционные эксперименты

1. Динамика UNDER vs OVER (Рисунок 5)

Тепловые карты показывают TPR при различных радиусах поиска для обоих явлений:

Успешные случаи (GA, SFR-on):

• Явные граничные эффекты: низкий TPR в областях близко к осям
• Проверка теоретических границ Теорем III.3 и III.4
• UNDER и OVER действуют в разных диапазонах радиусов

Неудачные случаи (BT, SalUn):

• OVER-UNLEARNING почти равномерно распределено
• UNDER-UNLEARNING редко встречается
• Предположение: Дизайн алгоритма нарушает локальное предположение Липшица

2. Влияние гиперпараметров (Рисунок 6)

Вес потерь $\beta/\alpha$ (6a):

• Более высокий $\beta/\alpha$ → лучший баланс precision-recall
• Рекомендуется $\beta/\alpha = 4$ (акцент на специфичность)

Количество теневых моделей $m$ (6b):

• $m \leq 16$: увеличение $m$ улучшает производительность
• $m = 32$: производительность снижается (переобучение на конкретные теневые модели)
• Согласуется с наблюдениями Wen et al. 36

3. Переносимость архитектуры (Таблица V)

Вывод: Несовпадение архитектур снижает производительность, но сохраняет высокую точность

Анализ случаев: 2D пример (Рисунок 3)

Экспериментальная установка:

• Данные: $\mathbb{R}^2 \times \{0,1,2,3\}$, 500 образцов
• Модель: 12-слойная небольшая нейронная сеть (Таблица VI)
• Разучивание: 10% обучающего набора, использование GA

Наблюдения (3a):

• Красная область: UNDER-UNLEARNING ($\theta_u$ предсказывает как $\theta$, отличается от $\theta_r$)
• Зеленая область: OVER-UNLEARNING ($\theta_u$ предсказывает отличается от $\theta_r$, как $\theta$)
• Оба явления существуют одновременно

Траектория противоположного образца (3c):

• Начинается с разученного образца
• Постепенно движется в область UNDER-UNLEARNING
• Проверяет эффективность Алгоритма 1

Экспериментальные выводы

1. Огромные различия между алгоритмами разучивания:
   • GA, SCRUB, SFR-on легко атакуются
   • BT уязвим для U-MIA, робастен к Apollo
   • SalUn в целом более безопасен
2. Влияние сложности набора данных:
   • Атаки более эффективны на CIFAR-100 и ImageNet (больше классов, меньше образцов)
   • Границы решения более чувствительны
3. Согласованность теории и практики:
   • Успешные атаки демонстрируют четкие граничные эффекты
   • Неудачные случаи могут нарушать предположение Липшица
4. Осуществимость офлайн-атаки:
   • Производительность немного ниже онлайн-версии
   • Значительно снижает вычислительные затраты
5. Универсальность угрозы:
   • Даже при наиболее строгой модели угрозы большинство алгоритмов остаются уязвимыми
   • Переобучение (RT) в основном безопасно, но не масштабируемо

Связанные работы

Машинное разучивание

Точное разучивание:

• Bourtoule et al. 2 SISA: разделенное обучение, переобучение только затронутых подмоделей
• Yan et al. 20: разделение по классам

Приблизительное разучивание (фокус данной работы):

• Базовые методы: GA 45 (градиентный подъем), FT 18 (тонкая настройка)
• Дистилляция знаний: BT 54
• Расхождение апостериори: SCRUB 10
• Методы на основе значимости: SalUn 55, SFR-on 53

Атаки вывода членства (MIA)

Классические MIA:

• Shokri et al. 27: обучение классификатора атак на теневых моделях
• Yeom et al. 28: использование преимущества членства из переобучения
• Carlini et al. 29: атака LiRA на основе отношения правдоподобия

Атаки только по меткам:

• Choquette-Choo et al. 32: первая label-only MIA
• Peng et al. 33 OSLO: измерение уверенности через противоположные возмущения
• Wu et al. 34 YOQO: сокращение количества запросов

MIA针对 MU

Преимущество данной работы: Наиболее строгая модель угрозы, не требует исходной модели и апостериорных вероятностей

Выводы и обсуждение

Основные выводы

1. Реальность угрозы конфиденциальности: Даже при наиболее строгой модели угрозы (только доступ к меткам, без исходной модели) злоумышленник может с высокой точностью вывести разученные образцы
2. Прочная теоретическая основа: UNDER-UNLEARNING и OVER-UNLEARNING имеют четкие теоретические границы (условия Липшица)
3. Высокая практическая применимость:
   • Онлайн-версия: максимальный TPR 68.5% (GA на CIFAR-10)
   • Офлайн-версия: немного ниже производительность, но значительно ниже вычислительные затраты
4. Значительные различия между алгоритмами: Уязвимость различных алгоритмов разучивания сильно различается, требуя целевой защиты
5. Оспаривание существующих заявлений: Прямое опровержение заявлений о защите конфиденциальности большинства методов разучивания

Ограничения

Ограничения, признанные авторами:

1. Сложность регулировки FPR: Регулировка FPR через гиперпараметры ($T, \epsilon, \tau$) менее гибкая, чем методы на основе правдоподобия
2. Вычислительные затраты: Требуется обучение нескольких теневых моделей (хотя офлайн-версия смягчает эту проблему)
3. Теоретические предположения: Условие локальной Липшицевости не всегда выполняется (как в случаях BT и SalUn)

Потенциальные неупомянутые проблемы:

1. Смещение выбора образцов: Тестирование только 200 образцов может не представлять общее распределение
2. Фиксированная доля разучивания: Тестирование только 10% разучивания, другие доли неизвестны
3. Защита от противоположных действий: Не обсуждаются возможные защитные меры (добавление шума, дифференциальная конфиденциальность)
4. Применимость к LLM: Главным образом сосредоточено на классификации изображений, разучивание больших языковых моделей не тестировалось

Будущие направления

1. Более эффективные атаки: Снижение количества теневых моделей и запросов
2. Механизмы защиты: Разработка алгоритмов разучивания, робастных к Apollo
3. Совершенствование теории: Ослабление предположения Липшица, расширение на нелокальные случаи
4. Другие модальности: Расширение на текст, генерацию изображений и другие задачи
5. Разучивание с защитой конфиденциальности: Методы разучивания, объединяющие дифференциальную конфиденциальность

Глубокая оценка

Преимущества

Инновация метода:

1. Смена парадигмы: От "сравнения до и после разучивания" к "сравнению разучивания и переобучения", более соответствует определению разучивания
2. Теоретическая глубина: Впервые предоставляются теоретические границы Липшица, формализация явлений UNDER/OVER
3. Строгая модель угрозы: label-only + a posteriori — наиболее сложная установка

Полнота экспериментов:

1. Разнообразие наборов данных: CIFAR-10/100 (малые), ImageNet (большие)
2. Широкое покрытие алгоритмов: 6 представительных алгоритмов разучивания + базовое переобучение
3. Детальная абляция: гиперпараметры, переносимость архитектуры, динамика UNDER/OVER
4. Четкая визуализация: 2D пример наглядно демонстрирует основную идею

Убедительность результатов:

1. Полное сравнение: Сравнение с U-MIA и U-LiRA, выделение преимуществ
2. Статистическая значимость: 200 образцов × несколько экспериментов, результаты надежны
3. Теоретическая проверка: Экспериментальные наблюдения согласуются с теоретическими предсказаниями (Рисунок 5)

Качество написания:

1. Четкая структура: От мотивации → теория → метод → эксперименты, логика строгая
2. Стандартная терминология: Формальные определения (Def. 1-3), полные доказательства теорем
3. Воспроизводимость: Открытый исходный код, детальные гиперпараметры (Таблица VII)

Недостатки

Ограничения метода:

1. Сильное предположение Липшица: Неприменимо ко всем моделям и алгоритмам разучивания (например, BT неудачен)
2. Ограничение локальности: Фиксированный радиус поиска $T\cdot\epsilon$ может пропустить удаленные артефакты
3. Упрощение бинарной классификации: Игнорирует членство в $D_r$, фактически трехклассовая задача

Недостатки экспериментов:

1. Единственная доля разучивания: Только 10%, доли 1% или 50% неизвестны
2. Малый размер образца: 200+200 образцов могут быть недостаточны для оценки хвостовых рисков
3. Отсутствие экспериментов с защитой: Не тестировались добавление шума, дифференциальная конфиденциальность и другие защиты
4. Ограниченное разнообразие архитектур: Главным образом ResNet-18, недостаточное тестирование моделей Transformer

Недостаточный анализ:

1. Поверхностное объяснение отказов: "Нарушение Липшица" требует более глубокого анализа
2. Необъясненные различия алгоритмов: Почему BT уязвим для U-MIA, но робастен к Apollo?
3. Отсутствие обсуждения практичности: Применимость в реальных сценариях MLaaS (например, ограничения на запросы)

Этические соображения:

1. Двойственная природа: Методы атак могут быть использованы в злонамеренных целях
2. Недостаточные рекомендации по защите: Только подчеркивается "необходимость осторожности", без конкретных решений

Влияние

Вклад в область:

1. Опровержение предположений: Доказано, что доступ к исходной модели не требуется, стимулирует более строгие определения конфиденциальности
2. Теоретические инструменты: Границы Липшица могут быть использованы для анализа других методов разучивания
3. Эталон оценки: Apollo может служить инструментом аудита конфиденциальности алгоритмов разучивания

Практическая ценность:

1. Инструмент аудита: Помощь в оценке рисков утечки конфиденциальности методов разучивания
2. Руководство по проектированию: Явления UNDER/OVER указывают направления улучшения алгоритмов
3. Нормативная справка: Обеспечивает техническую основу для реализации нормативных актов, таких как GDPR

Воспроизводимость:

• ✅ Открытый исходный код: https://github.com/LiouTang/Unlearn-Apollo-Attack
• ✅ Детальные гиперпараметры: Таблица VII полностью перечислена
• ✅ Общедоступные наборы данных: CIFAR, ImageNet доступны
• ⚠️ Требования к ресурсам: Требуется GPU A100, может ограничить воспроизведение

Потенциальное влияние:

1. Краткосрочное: Стимулирование улучшения алгоритмов разучивания (например, дальнейшая оптимизация SalUn, SFR-on)
2. Среднесрочное: Возможный всплеск исследований разучивания с защитой конфиденциальности (например, DP-Unlearning)
3. Долгосрочное: Влияние на разработку технических стандартов нормативных актов по конфиденциальности

Применимые сценарии

Подходящие приложения:

1. Аудит конфиденциальности: Оценка гарантий конфиденциальности услуг разучивания
2. Тестирование алгоритмов: Тестирование робастности новых методов разучивания
3. Нормативное соответствие: Проверка соответствия требованиям GDPR

Неподходящие приложения:

1. Разучивание LLM: Определение "метки" для генерации текста неясно
2. Сценарии с малыми образцами: Обучение теневых моделей требует больших объемов данных
3. Системы реального времени: Генерация противоположных образцов требует времени (50 шагов SGD)

Потенциал расширения:

• Другие задачи: Обнаружение объектов, семантическая сегментация (требуется переопределение "метки")
• Федеративное обучение: Аудит конфиденциальности распределенного разучивания
• Сжатие моделей: Вывод членства в сценариях обрезки, дистилляции

Ключевые ссылки

1. Cao & Yang (2015): Первое введение концепции машинного разучивания
2. Bourtoule et al. (2021): Алгоритм точного разучивания SISA
3. Carlini et al. (2022): Атака LiRA на основе отношения правдоподобия
4. Choquette-Choo et al. (2021): Первая label-only MIA
5. Hayes et al. (2024): U-LiRA атака на разучивание
6. Huang et al. (2024): Единая структура градиентного разучивания SFR-on
7. Fan et al. (2024): Разучивание на основе значимости SalUn

Резюме

Apollo — это высококачественная статья по безопасности машинного обучения, раскрывающая риски конфиденциальности машинного разучивания через наиболее строгую модель угрозы (label-only, a posteriori). Основные вклады:

1. Теоретическая инновация: Формализация явлений UNDER/OVER-UNLEARNING с теоретическими границами Липшица
2. Практическая применимость: Онлайн/офлайн версии, баланс между эффективностью и затратами
3. Надежные эксперименты: Несколько наборов данных, алгоритмов, детальная абляция, надежные выводы

Несмотря на ограничения (сильное предположение Липшица, малый размер образца), статья прямо оспаривает эффективность разучивания как инструмента конфиденциальности, имея важное предупредительное значение для области. Рекомендуемые направления будущих работ:

• Исследование методов атак в сценариях без Липшица
• Разработка алгоритмов разучивания, робастных к Apollo
• Расширение на другие модальности, такие как LLM

Рекомендуемая оценка: ⭐⭐⭐⭐☆ (4.5/5)

• Инновационность: 5/5
• Строгость: 4/5
• Практичность: 4/5
• Читаемость: 5/5