Дистилляция признаков — лучший выбор для федеративного обучения с гетерогенными моделями

Основная информация

• ID статьи: 2507.10348
• Название: Feature Distillation is the Better Choice for Model-Heterogeneous Federated Learning
• Авторы: Yichen Li, Xiuying Wang, Wenchao Xu, Haozhao Wang, Yining Qi, Jiahua Dong, Ruixuan Li
• Классификация: cs.LG cs.AI
• Время публикации/Конференция: 39-я конференция по нейросетевым системам обработки информации (NeurIPS 2025)
• Ссылка на статью: https://arxiv.org/abs/2507.10348

Аннотация

Федеративное обучение с гетерогенными моделями (Hetero-FL) привлекает внимание благодаря способности агрегировать знания из гетерогенных моделей при сохранении локальной приватности данных. Для лучшей агрегации знаний клиентов ансамблевая дистилляция широко используется как эффективный метод, обычно применяемый после глобальной агрегации для повышения производительности глобальной модели. Однако простое объединение Hetero-FL и ансамблевой дистилляции не всегда дает хорошие результаты и может привести к нестабильности процесса обучения. Причина заключается в том, что существующие методы в основном полагаются на дистилляцию логитов, которая, хотя и обладает независимостью от модели через предсказания softmax, не может компенсировать смещение знаний, вызванное гетерогенными моделями. Для решения этой проблемы в данной работе предлагается стабильный и эффективный метод дистилляции признаков FedFD, который лучше интегрирует знания гетерогенных моделей путем объединения выровненной информации признаков с использованием ортогональной проекции.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, которую решает данное исследование, заключается в том, как эффективно агрегировать знания из моделей клиентов с различными архитектурами в федеративном обучении с гетерогенными моделями. Традиционное федеративное обучение предполагает, что все клиенты используют одинаковую архитектуру модели, однако в реальной среде IoT различные устройства имеют разные вычислительные ресурсы и возможности обучения моделей.

Важность проблемы

1. Практические потребности: Гетерогенность IoT-устройств делает единую архитектуру модели нереалистичной
2. Максимизация ресурсов: Необходимо полностью использовать распределенные вычислительные ресурсы
3. Защита приватности: Достижение обмена знаниями при защите приватности данных

Ограничения существующих методов

Посредством анализа визуализации t-SNE и эмпирических экспериментов авторы выявили следующие проблемы существующих методов, основанных на дистилляции логитов:

1. Нечеткое представление: Агрегированные представления логитов имеют нечеткие границы классификации
2. Нестабильность обучения: Возникают колебания обучения в условиях гетерогенных моделей
3. Смещение знаний: Невозможность обработки различий в пространстве признаков, вызванных различными архитектурами моделей

Исследовательская мотивация

На основе глубокого анализа ограничений существующих методов авторы предлагают использовать дистилляцию признаков вместо дистилляции логитов, применяя технику ортогональной проекции для решения проблемы смещения при агрегировании знаний гетерогенных моделей.

Основные вклады

1. Глубокий анализ: Предоставляет детальный анализ независимой от модели федеративной дистилляции знаний, выявляя ограничения существующих методов, в основном полагающихся на дистилляцию логитов в условиях гетерогенных моделей
2. Предложение новой структуры: Представляет структуру FedFD — модуль персонализации plug-and-play, наследующий защиту приватности и эффективность традиционных методов дистилляции
3. Повышение производительности: Проведены обширные эксперименты на нескольких наборах данных и конфигурациях, показывающие улучшение точности тестирования на 16,09% по сравнению с передовыми методами

Подробное описание метода

Определение задачи

Рассмотрим задачу федеративного обучения с K клиентами, где каждый клиент k имеет доступ только к своему локальному приватному набору данных $D_k = \{x_k^{(i)}, y_k^{(i)}\}$. Цель — обучить глобальную модель w, минимизирующую общую эмпирическую потерю:

$\min_w L(w) = \sum_{k=1}^K \frac{|D_k|}{|D|} L_k(w)$

где $L_k(w) = \frac{1}{|D_k|} \sum_{i=1}^{|D_k|} L_{CE}(w; x_k^i, y_k^i)$

Архитектура модели

1. Многоуровневое выравнивание признаков

FedFD сначала группирует модели клиентов по архитектуре. Для каждого образца дистилляции x представление признаков на экстракторе $w_k^d$ определяется как: $e_k^d = f(w_k^d; x), \forall k \in [1,K]$

Затем признаки разделяются на m групп $\{S_1^d, ..., S_m^d\}$, каждая группа содержит экстракторы одинаковой структуры. Агрегируются представления признаков внутри каждой группы: $e^d = \frac{1}{|S^d|} \sum_{i=1}^{|S^d|} e_i^d$

2. Техника ортогональной проекции

Для решения проблемы конфликта знаний используется преобразование ортогональной проекции. Посредством кососимметричной матрицы $W_d$ генерируется слой проекции $M_d$: $\exp(W_d) \cdot \exp(W_d)^T = \exp(W_d + W_d^T) = \exp(-W_d^T + W_d^T) = I$

где: $\exp(W_d) = I + W_d + \frac{W_d^2}{2!} + \frac{W_d^3}{3!} + \cdots + \frac{W_d^n}{n!}$

3. Потеря дистилляции признаков

Используется дивергенция Кульбака-Лейблера для выравнивания представлений признаков: $\min_{w,\{M_2,...,M_m\}} \frac{1}{m-1} \sum_{i=2}^m KL(M_i(w_x), e^i)$

Технические инновации

1. От логитов к признакам: Первый систематический анализ проблем дистилляции логитов в условиях гетерогенных моделей, предложение дистилляции признаков как альтернативы
2. Стратегия многоуровневого выравнивания: Снижение количества слоев проекции путем группировки архитектур, повышение эффективности обучения
3. Техника ортогональной проекции: Использование кососимметричных матриц для генерации ортогональной проекции, решение конфликта знаний при сохранении вычислительной эффективности
4. Модульный дизайн: Беспрепятственная интеграция с существующими технологиями FL

Экспериментальная установка

Наборы данных

• CIFAR-10: Классификация изображений 10 классов, 50 000 обучающих образцов, 10 000 тестовых образцов
• CIFAR-100: Классификация изображений 100 классов, 50 000 обучающих образцов, 10 000 тестовых образцов
• Tiny-ImageNet: Классификация изображений 200 классов, набор данных большего масштаба

Для моделирования гетерогенности данных используется распределение Дирихле Dir(α), где меньшее значение α указывает на более неравномерное распределение данных.

Метрики оценки

• Точность тестирования: Точность классификации глобальной и локальных моделей
• Эффективность коммуникации: Количество коммуникационных раундов, необходимых для достижения целевой точности
• Стабильность сходимости: Анализ кривых обучения процесса обучения

Методы сравнения

1. Классические методы FL: HeteroFL, MOON-hetero
2. Методы гомогенного FL: FedFusion-hetero, FedGen-hetero, DaFKD-hetero
3. Методы гетерогенного FL: FedMD, MSFKD, FedGD

Детали реализации

• Локальные раунды обучения E=10, коммуникационные раунды T=200, количество клиентов K=20, коэффициент участия r=0,4
• Размер пакета 64, затухание веса 1e-4
• Скорость обучения дистилляции 0,01, скорость обучения локального обучения 0,001
• Серверная модель использует ResNet-18, модели клиентов имеют 10 различных уровней сложности

Результаты экспериментов

Основные результаты

FedFD достигает лучшей производительности на всех наборах данных и конфигурациях:

Эффективность коммуникации

FedFD также демонстрирует отличную эффективность коммуникации:

• CIFAR-10 достижение 80% точности: FedFD требует 20 раундов, HeteroFL требует 25 раундов
• CIFAR-100 достижение 60% точности: FedFD требует 60 раундов, другие методы требуют 171-200+ раундов

Абляционные эксперименты

Проверена важность каждого компонента:

• Удаление выравнивания признаков: снижение производительности на 0,63-1,56%
• Удаление ортогональной проекции: снижение производительности на 1,68-2,43%
• Удаление обоих компонентов: значительное снижение производительности, возврат к уровню FedFusion

Анализ стабильности

Сравнение кривых обучения показало:

• При гомогенных моделях: все методы дистилляции логитов быстро и стабильно сходятся
• При гетерогенных моделях: методы дистилляции логитов демонстрируют колебания обучения, в то время как FedFD сохраняет стабильную сходимость

Эксперименты по масштабируемости

При более экстремальных условиях гетерогенности данных (α=0,01) и различных комбинациях архитектур моделей FedFD сохраняет оптимальную производительность.

Связанные работы

Федеративное обучение

Развитие от гомогенной агрегации моделей FedAvg к методам, поддерживающим гетерогенные модели, таким как HeteroFL через частичную агрегацию параметров, NeFL через вложенные структуры для адаптации к различным глубинам.

Дистилляция знаний

Включает два основных класса: дистилляцию логитов и дистилляцию признаков. Данная работа сосредоточена на применении дистилляции признаков в федеративном обучении, преодолевая существующие ограничения посредством ортогональной проекции и ансамблевой дистилляции.

Федеративная дистилляция

Существующие методы в основном полагаются на дистилляцию логитов или требуют дополнительных наборов прокси-данных. Данная работа анализирует ограничения этих методов в условиях гетерогенных моделей.

Заключение и обсуждение

Основные выводы

1. Выявление проблемы: Дистилляция логитов имеет проблемы смещения знаний и нестабильности обучения в условиях гетерогенных моделей
2. Предложенное решение: Дистилляция признаков в сочетании с ортогональной проекцией эффективно решает проблему агрегирования знаний гетерогенных моделей
3. Проверка производительности: FedFD достигает значительного повышения производительности во всех конфигурациях

Ограничения

1. Вычислительные затраты: Необходимость поддержания слоев проекции для различных архитектур увеличивает вычислительные затраты на стороне сервера
2. Зависимость от архитектуры: Эффективность метода может зависеть от степени разнообразия архитектур моделей клиентов
3. Данные для дистилляции: По-прежнему требуется вспомогательный набор данных для дистилляции, хотя может быть объединен с методами без данных

Направления будущих исследований

1. Исследование полностью безданных методов дистилляции признаков
2. Изучение более эффективных конструкций слоев проекции
3. Расширение на дополнительные модальности и типы задач

Глубокая оценка

Преимущества

1. Глубокое понимание проблемы: Четкое выявление фундаментальных проблем существующих методов посредством визуализации и эмпирического анализа
2. Разумный дизайн метода: Использование техники ортогональной проекции одновременно решает конфликт знаний и сохраняет вычислительную эффективность
3. Полные и достаточные эксперименты: Охватывают несколько наборов данных, различные степени гетерогенности, абляционные эксперименты и т.д.
4. Сильная инженерная практичность: Модульный дизайн облегчает интеграцию в существующие структуры FL

Недостатки

1. Недостаточный теоретический анализ: Отсутствует теоретическое объяснение того, почему дистилляция признаков превосходит дистилляцию логитов
2. Анализ вычислительной сложности: Отсутствует детальный анализ вычислительных затрат ортогональной проекции
3. Ограниченная проверка в большом масштабе: Эксперименты в основном проводились на наборах данных среднего масштаба

Влияние

1. Академическая ценность: Предоставляет новый технический путь для федеративного обучения с гетерогенными моделями
2. Практическая ценность: Может быть непосредственно применен в реальных сценариях IoT
3. Вдохновляющее значение: Предоставляет новые идеи для исследований дистилляции знаний в федеративном обучении

Применимые сценарии

1. Федеративное обучение IoT-устройств: Сотрудничество устройств с различными вычислительными возможностями
2. Сотрудничество между организациями: Обмен знаниями при использовании различных архитектур моделей разными организациями
3. Граничные вычисления: Распределенное обучение в среде с ограниченными ресурсами

Библиография

Данная работа ссылается на важные работы в области федеративного обучения, дистилляции знаний и федеративной дистилляции, включая:

• FedAvg 34: Основополагающая работа в федеративном обучении
• HeteroFL 6: Представительный метод федеративного обучения с гетерогенными моделями
• Работы по дистилляции знаний 14, 15, 44: Предоставляют теоретическую основу для данной работы
• Методы федеративной дистилляции 33, 49, 58: Прямые базовые методы для сравнения

Данная статья представляет важные инновации в области федеративного обучения с гетерогенными моделями. Посредством глубокого анализа ограничений существующих методов и предложения эффективного решения она вносит ценный вклад в развитие этой области. Модульный дизайн метода и отличные результаты экспериментов обеспечивают ему высокую практическую ценность.