PrivTuner с гомоморфным шифрованием и LoRA: схема P3EFT для конфиденциальной параметрически эффективной тонкой настройки фундаментальных моделей ИИ

Основная информация

• ID статьи: 2410.00433
• Название: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models
• Авторы: Yang Li, Wenhan Yu, Jun Zhao (Nanyang Technological University)
• Категория: cs.CR (Криптография и безопасность)
• Дата публикации: октябрь 2024 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2410.00433

Аннотация

В данной работе предложена структура Privacy-Preserving Parameter-Efficient Fine-Tuning (P3EFT), объединяющая параметрически эффективную тонкую настройку (PEFT) с конфиденциальной тонкой настройкой (PPFT). Авторы разработали схему PrivTuner, интегрирующую полностью гомоморфное шифрование (FHE) в LoRA, что обеспечивает совместную конфиденциальную тонкую настройку между владельцем модели и внешними владельцами данных. Статья дополнительно рассматривает систему PrivTuner в среде беспроводной связи, устанавливает задачу совместной оптимизации для минимизации энергопотребления при максимизации конфиденциальности и предлагает соответствующие алгоритмы распределения ресурсов.

Исследовательский контекст и мотивация

Основные проблемы

1. Требования конфиденциальности: Процесс тонкой настройки фундаментальных моделей ИИ содержит проблемы конфиденциальности данных и модели. Предприятия неохотно делятся приватными данными, а владельцы моделей не желают раскрывать параметры модели.
2. Вызовы вычислительной эффективности: Традиционная тонкая настройка со всеми параметрами требует огромных вычислительных затрат, особенно для крупных фундаментальных моделей, локальная тонкая настройка создает значительное бремя для устройств с ограниченными ресурсами.
3. Ограничения существующих методов:
   • Методы PEFT, хотя и снижают вычислительное бремя, игнорируют проблемы конфиденциальности
   • Методы PPFT могут защитить конфиденциальность, но обычно вводят дополнительные коммуникационные и вычислительные издержки

Исследовательская мотивация

Существующие исследования сосредоточены в основном на отдельном применении PEFT или PPFT, отсутствует систематическое исследование их интеграции. Данная работа направлена на заполнение этого пробела, предложив структуру P3EFT для достижения двойной цели конфиденциальности и параметрической эффективности в условиях ограниченного вычислительного бюджета.

Основные вклады

1. Предложена структура P3EFT: Впервые систематически объединены PEFT и PPFT, заполнен пробел между двумя областями исследований.
2. Разработана схема PrivTuner: Объединены схема полностью гомоморфного шифрования CKKS и технология LoRA, обеспечена безопасная и эффективная совместная тонкая настройка, защищающая конфиденциальность данных и модели при снижении вычислительного бремени.
3. Установлены модели потребления и защиты конфиденциальности: Проанализированы модели времени и энергопотребления с точки зрения сервера и устройства, предоставлены количественные показатели уровня защиты конфиденциальности.
4. Разработан алгоритм совместной оптимизации: Предложен алгоритм распределения ресурсов, объединяющий методы ветвей и границ (B&B) и дробного программирования, эффективно решающий задачу совместной оптимизации вычислительной мощности, ресурсов беспроводной связи и параметров FHE.

Детальное описание методов

Определение задачи

Задача P3EFT определяется как: при наличии предварительно обученной фундаментальной модели W₀ и приватного набора данных, осуществить тонкую настройку модели путем обновления только небольшого количества параметров при защите конфиденциальности данных и модели.

Архитектура PrivTuner

Модель системы

• Участники: Сервер владельца модели и N внешних мобильных устройств
• Модель безопасности: Честный, но любопытный (honest but curious) противник
• Основная идея: Устройства передают зашифрованные данные FHE вместо исходных данных, сервер выполняет вычисления на зашифрованных данных

Ключевые этапы

Этап 1: Шифрование данных

pkₙ, skₙ = KeyGen(λₙ, qₙ), ∀n ∈ N
X̃ᶠᵗₙ = Enc(pkₙ, Xᶠᵗₙ), ∀n ∈ N

Этап 2: Генерация адаптера Генерация низкоранговых адаптеров с использованием технологии LoRA:

Aₙ = {A¹ₙ, A²ₙ} = LoRAₙ(W₀), ∀n ∈ N

Этап 3: Зашифрованное предсказание Выполнение предсказания на зашифрованных данных:

Ỹᵖₙ = Eval(pkₙ, (W₀, Aₙ), X̃ᶠᵗₙ, fᵖ), ∀n ∈ N

где функция предсказания:

fᵖ(W₀, Aₙ, X̃ᶠᵗₙ) = W₀X̃ᶠᵗₙ + A¹ₙA²ₙX̃ᶠᵗₙ

Этап 4: Расшифровка и вычисление потерь

Yᵖₙ = Dec(skₙ, Ỹᵖₙ)
Lₙ = Lₙ(Yᵖₙ, Yᶠᵗₙ)

Этап 5: Обновление адаптера Обновление параметров адаптера на основе функции потерь.

FHE-дружественная модель BERT-Tiny

Применение схемы CKKS для обработки нелинейных функций в модели BERT-Tiny:

• Softmax: Использование ряда Маклорена для аппроксимации экспоненциальной функции
• GeLU: Применение полиномов Чебышева для аппроксимации
• LayerNorm: Предварительное вычисление среднего и стандартного отклонения для упрощения вычислений
• Операции деления: Использование полиномов Чебышева для аппроксимации

Технические инновации

1. Органичное объединение FHE и LoRA: Впервые объединены полностью гомоморфное шифрование CKKS и технология LoRA, обеспечена параметрически эффективная тонкая настройка в зашифрованной области.
2. Обработка нелинейных функций: Систематически решены проблемы вычисления нелинейных функций в моделях Transformer в среде FHE.
3. Структура оптимизации ресурсов: Рассмотрены практические ограничения в среде беспроводной связи, установлена модель оптимизации компромисса между энергопотреблением и защитой конфиденциальности.

Экспериментальная установка

Наборы данных

Использованы три набора данных из бенчмарка GLUE:

• SST-2: Задача анализа тональности
• MRPC: Определение сходства предложений
• RTE: Распознавание текстовой импликации

Экспериментальная среда

• Оборудование: Intel Xeon Gold 5218R CPU@2.10GHz
• Библиотека FHE: OpenFHE с ускорением HEXL
• Параметры FHE: Степень полинома λ=2¹⁵, модуль коэффициента q=1767 бит

Метрики оценки

• Точность: Производительность классификации модели
• Энергопотребление: Общее потребление энергии (джоули)
• Уровень защиты конфиденциальности: Уровень безопасности на основе LWE-estimator (биты)
• Время выполнения: Временные затраты различных операций

Методы сравнения

• Average Allocation: Равномерное распределение ресурсов
• Optimize f,g only: Оптимизация только частоты вычислений
• Optimize p,B only: Оптимизация только мощности передачи и полосы пропускания

Результаты экспериментов

Основные результаты

Производительность модели

Анализ времени выполнения

Компромисс производительности при различных λ

Результаты оптимизации энергопотребления

При различных конфигурациях ресурсов предложенный алгоритм совместной оптимизации по сравнению с базовыми методами:

• Изменение полосы пропускания: При увеличении общей полосы пропускания с 5 МГц до 25 МГц алгоритм постоянно сохраняет оптимальную производительность
• Мощность передачи: В диапазоне 10-30 дБм оптимизационный алгоритм показывает стабильную производительность
• Временной бюджет: С увеличением временного бюджета устройства энергопотребление значительно снижается

Анализ компромисса защиты конфиденциальности

Путем регулировки весового параметра ω (1-10):

• Компромисс между энергопотреблением и конфиденциальностью: При увеличении ω уровень защиты конфиденциальности повышается, но энергопотребление увеличивается
• Стратегия выбора устройства: Устройства с высокой озабоченностью конфиденциальностью склонны выбирать большие значения λ

Абляционные исследования

Проверена эффективность каждого компонента оптимизации:

• Совместная оптимизация показывает значительное улучшение по сравнению с отдельной оптимизацией f,g или p,B
• Алгоритм ветвей и границ эффективно решает задачу дискретной оптимизации
• Техника дробного программирования успешно справляется с невыпуклой задачей оптимизации

Связанные работы

Исследования PEFT

• LoRA: Технология низкоранговых адаптеров
• Prefix-tuning, Prompt tuning, BitFit: Другие методы параметрической эффективности

Исследования PPFT

• Федеративное обучение: Распределенное конфиденциальное обучение
• Дифференциальная приватность: Защита конфиденциальности путем добавления шума
• Безопасные многосторонние вычисления: Совместные вычисления нескольких сторон
• Гомоморфное шифрование: Вычисления в зашифрованной области

Применение FHE в глубоком обучении

• Приложения CNN: CryptoNets, CareNets и др.
• Приложения RNN: Защита конфиденциальности при обработке последовательных данных
• Приложения Transformer: Iron, BOLT, BlindTune и др.

Заключение и обсуждение

Основные выводы

1. Осуществимость структуры P3EFT: PrivTuner успешно доказывает возможность одновременного достижения параметрической эффективности и защиты конфиденциальности
2. Проверка практичности: Достигнуты приемлемые результаты на наборе данных GLUE, относительно небольшие затраты на защиту конфиденциальности
3. Эффективность алгоритма оптимизации: Алгоритм совместного распределения ресурсов показывает отличные результаты в компромиссе между энергопотреблением и конфиденциальностью

Ограничения

1. Конфиденциальность адаптера: В текущей схеме адаптеры хранятся в открытом виде, что может привести к утечке информации
2. Вычислительные издержки: Операции FHE по-прежнему требуют значительных вычислительных затрат, ограничивая приложения в реальном времени
3. Ограничения модели безопасности: Рассматривается только модель честного, но любопытного противника, не рассматриваются сценарии с враждебными противниками
4. Проблемы масштабируемости: С увеличением размера модели издержки FHE могут стать узким местом

Будущие направления

1. Безопасность против враждебных противников: Расширение на модель враждебных противников
2. Аппаратное ускорение: Использование специализированного оборудования, такого как GPU, для ускорения вычислений FHE
3. Более сильная защита конфиденциальности: Изучение технологий MPC для защиты конфиденциальности адаптеров
4. Адаптация крупных моделей: Исследование применения на моделях большего масштаба

Глубокая оценка

Преимущества

1. Высокая инновационность: Впервые систематически объединены PEFT и PPFT, заполнен важный исследовательский пробел
2. Полнота теории: Предоставлена полная теоретическая структура анализа, включая анализ безопасности, сложности и сходимости
3. Достаточность экспериментов: Проверена эффективность метода с множества аспектов, включая точность, энергопотребление, защиту конфиденциальности и др.
4. Практические соображения: Рассмотрены практические ограничения в среде беспроводной связи, имеет хорошие перспективы применения

Недостатки

1. Снижение производительности: Вычислительные издержки FHE приводят к значительному снижению производительности (потеря точности около 3-4%)
2. Ограничения масштабируемости: Текущие эксперименты проводились только на BERT-Tiny, применимость к крупным моделям требует проверки
3. Предположения безопасности: Модель честного, но любопытного противника может быть слишком идеализирована для практических приложений
4. Настройка параметров: Выбор множественных параметров FHE требует специальных знаний, повышая порог использования

Влияние

1. Академический вклад: Предоставляет новое направление исследований в области конфиденциального машинного обучения
2. Практическая ценность: Предоставляет осуществимый технический путь для услуг ИИ, требующих защиты конфиденциальности
3. Воспроизводимость: Предоставлены детальные детали реализации и параметры, облегчающие воспроизведение

Применимые сценарии

1. Медицинский ИИ: Медицинские данные чувствительны, требуют конфиденциальной тонкой настройки модели
2. Финансовые услуги: Совместное обучение моделей между финансовыми учреждениями
3. Граничные вычисления: Конфиденциальные услуги ИИ в среде с ограниченными ресурсами
4. Федеративное обучение: Как усовершенствованная технология федеративного обучения

Библиография

Статья ссылается на множество важных работ, включая:

• Оригинальная статья LoRA Hu et al., ICLR 2021
• Схема полностью гомоморфного шифрования CKKS Cheon et al., 2017
• Модель BERT Devlin et al., 2018
• Связанные работы по конфиденциальному глубокому обучению

Общая оценка: Это высококачественная исследовательская статья, демонстрирующая отличные результаты в технической инновации, теоретическом анализе и экспериментальной проверке. Несмотря на некоторые ограничения, она открывает важное направление исследований в области конфиденциального ИИ и имеет значительную академическую ценность и перспективы применения.