Дистилляция доверительного ансамбля для квантификации неопределённости

Основная информация

• ID статьи: 2511.13766
• Название: Credal Ensemble Distillation for Uncertainty Quantification
• Авторы: Kaizheng Wang (KU Leuven), Fabio Cuzzolin (Oxford Brookes University), David Moens (KU Leuven), Hans Hallez (KU Leuven)
• Классификация: cs.LG, cs.AI
• Время публикации/конференция: AAAI 2026
• Ссылка на статью: https://arxiv.org/abs/2511.13766

Аннотация

Глубокие ансамбли (Deep Ensembles, DE) стали мощным методом для квантификации неопределённости предсказаний и различения алеаторической неопределённости (случайной) и эпистемической неопределённости (неопределённости знания), что повышает робастность и надёжность моделей. Однако высокие вычислительные и память́ные затраты при выводе создают значительные препятствия для широкого практического развёртывания. Для преодоления этой проблемы в работе предлагается фреймворк дистилляции доверительного ансамбля (Credal Ensemble Distillation, CED), который сжимает DE в единую модель CREDIT для задач классификации. Вместо предсказания единственного распределения softmax, CREDIT предсказывает интервалы вероятностей классов, определяющие доверительное множество (выпуклое множество распределений вероятностей) для квантификации неопределённости. Экспериментальные результаты на эталонах обнаружения распределений вне обучающего набора (OOD) демонстрируют, что CED достигает сравнимой или превосходящей производительности оценки неопределённости при значительном снижении вычислительных затрат по сравнению с DE.

Исследовательский контекст и мотивация

Проблемный контекст

1. Важность квантификации неопределённости: Квантификация неопределённости (UQ) нейронных сетей привлекает всё большее внимание, главным образом различая два типа неопределённости:
   • Алеаторическая неопределённость (AU): возникает из внутренней случайности процесса генерации данных
   • Эпистемическая неопределённость (EU): вызвана недостатком доказательств, отражает неточное знание моделью истинного условного распределения
2. Ограничения глубоких ансамблей:
   • DE объединяет несколько стандартных нейронных сетей (SNN) для предсказания конечного набора распределений, став сильным базовым методом UQ
   • Однако DE требует значительных объёмов памяти и вычислительных ресурсов, требуя запуска M независимых моделей при выводе
   • Это ограничивает практическое развёртывание в сценариях с ограниченными ресурсами
3. Недостатки существующих методов дистилляции:
   • Дистилляция ансамбля (ED): сжимает DE в единую SNN, но генерирует только одно предсказанное распределение, ограничивая возможности квантификации AU
   • Дистилляция распределения ансамбля (EDD): выводит распределение Дирихле как предсказание второго порядка, но не имеет истинных меток Дирихле для обучения и теоретически отклоняется от определения EU
   • Байесовские нейронные сети (BNN): сталкиваются с проблемами масштабируемости и чувствительностью к выбору априорного распределения

Исследовательская мотивация

Работа ставит центральный исследовательский вопрос: Можно ли дистиллировать из DE единую нейронную сеть, предсказывающую доверительное множество как представление второго порядка, и улучшить производительность UQ существующих фреймворков дистилляции?

Основные вклады

1. Предложение фреймворка CED: впервые предложен новый фреймворк для дистилляции DE в единую модель, предсказывающую доверительное множество, что является неисследованной задачей
2. Разработка модели CREDIT:
   • Выводит вектор размерности 2C+1 (где C — количество классов), включающий пересечение вероятностей (p*), вектор длин интервалов (Δp) и весовой коэффициент (β)
   • Способна реконструировать систему интервалов вероятностей классов, определяющих доверительное множество для UQ
3. Инновационная функция потерь дистилляции: предложена специализированная функция потерь дистилляции, объединяющая кросс-энтропию и среднеквадратичную ошибку, эффективно обучающая доверительной информации учителя DE
4. Превосходная экспериментальная производительность:
   • Оценка EU значительно превосходит базовые методы на нескольких эталонах OOD-обнаружения
   • Оценка TU достигает сравнимой или превосходящей производительности
   • Значительное снижение вычислительных затрат при выводе по сравнению с DE (с 5× одной модели до 1×)
5. Теоретический вклад: использование теории доверительных множеств обеспечивает более принципиальный математический фреймворк для квантификации неопределённости

Подробное описание метода

Определение задачи

• Вход: образец входных данных x для задачи классификации
• Выход:
  • Предсказание класса: через пересечение вероятностей p*
  • Квантификация неопределённости: через реконструированное доверительное множество Q
• Цель: сжать учителя DE, состоящего из M SNN, в единую модель-ученика CREDIT, сохраняя или улучшая производительность UQ

Архитектура модели

1. Доверительная обёртка (Credal Wrapper) для учителя ансамбля

Учитывая M предсказанных вероятностей {pm}^M_ из DE, конструируются интервалы вероятностей классов:

$\overline{p}_k = \max_{m=1,..,M} p_{m,k}, \quad \underline{p}_k = \min_{m=1,..,M} p_{m,k}$

Эти интервалы определяют действительное доверительное множество:

$Q = \{p | p_k \in [\underline{p}_k, \overline{p}_k] \forall k\}$

удовлетворяющее ограничениям: $\sum^C_{k=1} \underline{p}_k \leq 1 \leq \sum^C_{k=1} \overline{p}_k$

Вычисление пересечения вероятностей (для уникального предсказания класса):

$p^*_k = \underline{p}_k + \beta(\overline{p}_k - \underline{p}_k)$

где весовой коэффициент:

$\beta = \left(1 - \sum^C_{k=1} \underline{p}_k\right) / \left(\sum^C_{k=1} \Delta p_k\right)$

здесь $\Delta p_k = \overline{p}_k - \underline{p}_k$ — длина интервала.

2. Разработка модели-ученика CREDIT

Модификация архитектуры:

• Совместима с любым костяком нейронной сети
• Последний слой классификации изменён с C выходных нейронов на 2C+1 узлов
• Выходной вектор v := (p*_S ∈ R^C, Δp_S ∈ R^C, β_S ∈ R)

Вычисление выходов (учитывая логиты z_S ∈ R^{2C+1}):

$p^*_S = \text{softmax}(z_{S_{1:C}})$$\Delta p_S = \text{sigmoid}(z_{S_{C+1:2C}})$$\beta_S = \text{sigmoid}(z_{S_{2C+1}})$

Это гарантирует:

• p*_S нормализована
• каждая длина интервала Δp_{S,k} ∈ 0,1
• β_S ∈ 0,1

Реконструкция интервалов:

$\underline{p}_{S,k} = p^*_{S,k} - \beta_S \Delta p_{S,k}$$\overline{p}_{S,k} = p^*_{S,k} + (1-\beta_S) \Delta p_{S,k}$

Гарантия действительности: операция обрезания гарантирует действительность интервалов вероятностей:

$\underline{p}_{S,k} \leftarrow \max\{\underline{p}_{S,k}, 0\}, \quad \overline{p}_{S,k} \leftarrow \min\{\overline{p}_{S,k}, 1\}$

3. Квантификация неопределённости

Используется мера обобщённой энтропии:

• Общая неопределённость (TU): верхняя энтропия Шеннона $\overline{H}(Q_S)$
• Алеаторическая неопределённость (AU): нижняя энтропия Шеннона $\underline{H}(Q_S)$
• Эпистемическая неопределённость (EU): $\overline{H}(Q_S) - \underline{H}(Q_S)$

Вычисление верхней энтропии через задачу оптимизации:

$\overline{H}(Q_S) = \max_{p \in Q_S} \sum^C_{k=1} -p_k \log p_k$

при ограничениях $\sum^C_{k=1} p_k = 1$ и $p_k \in [\underline{p}_{S,k}, \overline{p}_{S,k}]$

Стратегия дистилляции

Функция потерь CED:

$\mathcal{L}_{\text{ced}} = N^{-1} \sum^N_{n=1} \left( \sum^C_{k=1} -p^{*n}_k \log p^{*n}_{S,k} + \sum^C_{k=1} (\Delta p^n_k - \Delta p^n_{S,k})^2 + (\beta^n - \beta^n_S)^2 \right)$

Три компонента:

1. Член кросс-энтропии: обучение пересечению вероятностей, сохранение производительности предсказания
2. MSE длин интервалов: обучение неточности интервалов вероятностей
3. MSE весового коэффициента: обучение весовому коэффициенту

Температурное масштабирование: применяется температурное масштабирование T=2.5 для усиления дистилляции знаний, функция потерь умножается на T²

Технические инновации

1. Первая дистилляция доверительного множества: объединение теории доверительных множеств с дистилляцией знаний, инновационное решение проблемы сохранения неопределённости при переходе от ансамбля к единой модели
2. Компактное представление: компактное представление доверительного множества через триплет (p*, Δp, β), избегая прямого хранения всех концов интервалов
3. Теоретические гарантии: математическое доказательство того, что реконструированные интервалы вероятностей удовлетворяют условиям действительности доверительного множества
4. Сквозное обучение: не требует сложного расписания скорости обучения или退火 температуры (в сравнении с EDD)
5. Вычислительная эффективность: при выводе требуется только один проход вперёд, вычислительные затраты на оптимизацию для квантификации неопределённости (при C≤10) пренебрежимо малы

Экспериментальная установка

Наборы данных

Основные эксперименты:

1. CIFAR10 vs. SVHN: стандартная пара для OOD-обнаружения
2. CIFAR10 vs. CIFAR10-C:
   • CIFAR10-C содержит 15 типов повреждений
   • Каждое повреждение имеет 5 уровней серьёзности
   • Всего 75 вариантов повреждений

Исследование на медицинских изображениях:

• Camelyon17: изображения лимфатических узлов молочной железы из гистопатологии
• Задача бинарной классификации: {Опухоль, Без опухоли}
• Сценарий с сильным сдвигом домена: ID и OOD используют разные сканеры

Метрики оценки

Производительность OOD-обнаружения (рассмотрение OOD-обнаружения как бинарной классификации):

• AUROC (площадь под кривой рабочих характеристик приёмника): оценка истинно положительного и ложно положительного коэффициентов
• AUPRC (площадь под кривой точность-полнота): оценка производительности при различных уровнях уверенности
• Более высокие значения указывают на лучшую производительность UQ

Производительность ID:

• Точность теста (ACC)
• Ожидаемая ошибка калибровки (ECE): оценка согласованности уверенности модели с истинной вероятностью

Оценка медицинских изображений:

• Кривая точность-отклонение (AR): изменение точности при выборочной классификации с изменением коэффициента отклонения
• AUARC (площадь под кривой AR): более высокое значение указывает на лучшую калибровку неопределённости

Методы сравнения

1. DE: глубокий ансамбль из 5 SNN (M=5)
2. SNN: единая стандартная нейронная сеть
3. ED: стандартная дистилляция ансамбля
4. EDD*: дистилляция распределения ансамбля с исходной конфигурацией статьи (циклическое расписание обучения, T=10,退火 температуры)
5. EDD: дистилляция распределения ансамбля с той же конфигурацией обучения, что и CED (справедливое сравнение)
6. MCDO: Монте-Карло Dropout (10 проходов вперёд)

Детали реализации

Основные эксперименты (VGG16/ResNet18):

• Обучение 15 SNN с нуля (различные случайные инициализации)
• Построение 15 DE (каждый случайно выбирает 5 SNN без повторений)
• Дистилляция 15 моделей-учеников из 15 DE
• Оптимизатор: Adam, начальная скорость обучения 0.001
• Расписание скорости обучения: снижение до 0.0001 на эпохе 80
• Количество эпох обучения: 100
• Размер пакета: 128
• Температурное масштабирование: T=2.5 (для ED, EDD, CED)
• Увеличение данных: стандартная стратегия увеличения

Эксперименты с предварительно обученными моделями (ResNet50):

• Использование ResNet50, предварительно обученного на ImageNet
• Размер входа изменён на (224, 224, 3)
• Обучение 25 эпох
• Остальные конфигурации идентичны основным экспериментам

Конфигурация EDD*:

• Стратегия циклического расписания скорости обучения (длина цикла 60/15)
• Температурное масштабирование T=10 -退火 температуры

Экспериментальные результаты

Основные результаты

Костяк VGG16 (таблица 1)

CIFAR10 vs. SVHN:

CIFAR10 vs. CIFAR10-C (среднее по 15 типам повреждений × 5 уровней серьёзности):

Производительность ID (набор тестирования CIFAR10):

Костяк ResNet50 (предварительно обученный)

CIFAR10 vs. SVHN:

• CED EU AUROC: 96.69±1.14 (vs. DE: 89.50±1.05)
• CED EU AUPRC: 98.44±0.64 (vs. DE: 92.22±1.19)

CIFAR10 vs. CIFAR10-C:

• CED EU AUROC: 96.80±2.81 (vs. DE: 87.78±2.28)
• CED EU AUPRC: 96.09±4.14 (vs. DE: 78.92±3.67)

Ключевые находки

1. Значительное улучшение оценки EU: CED последовательно превосходит все базовые методы в оценке EU во всех экспериментальных установках, с значительным улучшением как AUROC, так и AUPRC
2. Сравнимая производительность TU: оценка TU CED достигает сравнимой или превосходящей производительности, в большинстве случаев занимая место в топ-2
3. EU превосходит TU: при сравнении оценок OOD-обнаружения с использованием EU и TU, оценка EU CED в большинстве случаев даёт лучшую производительность, подчёркивая важность улучшения квантификации EU
4. Сохранение точности предсказания: дистилляция улучшает точность предсказания единой SNN, CED достигает сравнимой производительности с базовыми методами дистилляции
5. Отказ MCDO: в этой установке оценка EU MCDO становится ненадёжной (AUROC около 50%), возможно, из-за ограниченного разнообразия моделей
6. Трудности обучения EDD: использование той же конфигурации для EDD значительно снижает точность теста (VGG16: 74.56%, ResNet50: 80.38%), поэтому анализ UQ исключен

Абляционные исследования

1. Влияние размера учителя ансамбля (рисунок 4)

Тестирование M ∈ {5, 15, 25, 30}, костяк VGG16:

Наблюдения:

• DE: увеличение размера ансамбля постоянно улучшает производительность UQ
• CED и EDD*: не наблюдается явной тенденции
• CED сохраняет последовательную сильную производительность OOD-обнаружения при различных размерах ансамбля
• Подчёркивает высокий потенциал CED, особенно учитывая значительное снижение вычислительной сложности по сравнению с большим DE

2. Влияние температурного масштабирования (рисунок 5)

Тестирование T ∈ {1, 2.5, 5, 10}, костяк VGG16:

Результаты:

• Температурное масштабирование улучшает производительность UQ CED
• Слишком высокие значения (T=10) снижают производительность
• T=2.5 последовательно даёт лучшие результаты, согласуясь с выводами Hinton и соавторов

3. Проверка на костяке ResNet18

Аналогичные закономерности результатов подтверждены на ResNet18 (таблица 4 приложения):

• CIFAR10 vs. SVHN: CED EU AUROC 88.73±2.53 (vs. DE 87.63±0.57)
• CIFAR10 vs. CIFAR10-C: CED EU AUROC 97.44±1.35 (vs. DE 92.43±1.91)

Тематические исследования

Качественная оценка (рисунок 3)

Графики плотности ядра (CIFAR10 ID vs. SVHN OOD):

• CED показывает значительно более высокие значения EU и TU для образцов OOD
• Хорошее разделение распределений неопределённости между образцами ID и OOD
• Хотя EDD* показывает более выраженный пик OOD, распределение неопределённости образцов ID перекрывается с OOD в большей степени, объясняя его более низкую производительность OOD-обнаружения

Исследование на медицинских изображениях (Camelyon17)

Результаты кривой AR (рисунок 11, таблица 6):

Заключение: CED превосходит DE в реальной классификации медицинских изображений при требовании меньше вычислений

Анализ вычислительной сложности (таблица 3)

Время вывода (набор тестирования CIFAR10, одиночный GPU P100):

• DE: 5×(2.22±0.20) = 11.1 секунд
• CED: 2.26±0.23 секунд
• EDD*: 2.22±0.20 секунд

Время обучения (за эпоху, одиночный GPU P100):

• DE: 5×(130.07±0.24) = 650 секунд
• CED: 659.52±11.82 секунд
• EDD*: 684.54±5.05 секунд

Анализ:

• Эффективность вывода CED улучшена примерно в 5 раз по сравнению с DE
• Незначительное увеличение по сравнению с другими методами дистилляции (из-за дополнительных выходных узлов)
• Обучение CED проще, чем EDD* (без необходимости в сложном расписании скорости обучения или退火 температуры)

Связанные работы

1. Методы квантификации неопределённости

Байесовские нейронные сети (BNN):

• Обучение апостериорному распределению весов
• Проблемы: масштабируемость для больших наборов данных и сложных архитектур
• Чувствительность к выбору априорного распределения, функции правдоподобия и цели обучения

Глубокие ансамбли (DE):

• Объединение нескольких SNN для предсказания конечного набора распределений
• Рассматривается как сильный базовый метод UQ
• Ограничение: высокие требования к памяти и вычислениям

Методы Дирихле (DBM):

• Вывод распределения Дирихле как предсказания второго порядка
• Критика: отсутствие истинных меток, отклонение от теоретического определения EU

2. Дистилляция знаний

Дистилляция ансамбля (ED):

• Дистилляция DE в SNN, приближение среднего предсказанного распределения DE
• Ограничение: генерирует только одно распределение, ограничивая квантификацию AU

Дистилляция распределения ансамбля (EDD):

• Дистилляция в модель, выводящую распределение Дирихле
• Проблемы: трудности обучения, отсутствие истинных меток

3. Методы доверительных множеств

Классические приложения:

• Использование в более широком машинном обучении для UQ
• Недавно вновь привлекли внимание в глубоком обучении

Последние достижения:

• Моделирование весов NN и выходов как доверительных множеств
• Вывод предсказаний доверительного множества из интервалов выходных вероятностей
• Обёртывание предсказаний BNN и DE в доверительные множества

Ограничения: обычно требуют больших вычислительных ресурсов

Позиционирование данной работы

Впервые исследуется задача дистилляции доверительного ансамбля, объединяющая доверительную обёртку с дистилляцией знаний, разработка единой модели, способной обучаться и сохранять доверительную информацию ансамбля при одновременном улучшении производительности UQ.

Заключение и обсуждение

Основные выводы

1. Успешное предложение фреймворка CED: сжатие учителя DE в единую модель CREDIT, предсказывающую интервалы вероятностей классов, определяющие доверительное множество
2. Превосходная производительность UQ:
   • Оценка EU значительно превосходит базовые методы ED, EDD и DE
   • Оценка TU достигает сравнимой или превосходящей производительности
   • Проверено на нескольких эталонах OOD-обнаружения и архитектурах костяков
3. Значительное снижение вычислительных затрат при выводе: примерно 5-кратное сокращение времени вывода по сравнению с DE
4. Принципиальный подход: обеспечение более принципиального математического фреймворка для квантификации неопределённости на основе теории доверительных множеств
5. Практическая ценность: демонстрация эффективности в реальном случае классификации медицинских изображений

Ограничения

1. Проблемы масштабируемости:
   • Текущий CED сталкивается с проблемами при значительном увеличении количества классов (например, 100 или 1000)
   • Softmax учителя DE производит близкие к нулю значения вероятностей для большинства классов
   • Это может нарушить стабильность компонента регрессии функции потерь дистилляции
2. Снижение производительности калибровки:
   • ECE единой модели не так хорош, как у учителя DE
   • Необходимо интегрировать калибровку в разработку стратегии дистилляции
3. Ограничения метрики ECE:
   • Текущий ECE разработан для предсказаний единой вероятности
   • Требуется принципиальное расширение ECE для предсказаний доверительного множества
4. Вычислительные затраты оптимизации:
   • Хотя пренебрежимо малы при C≤10, большое количество классов может увеличить вычислительные затраты на квантификацию неопределённости

Направления будущих исследований

1. Улучшение масштабируемости:
   • Решение проблем классификации с большим количеством классов (100+ классов)
   • Улучшение стабильности обработки малых значений вероятностей
2. Интеграция калибровки:
   • Включение калибровки в стратегию дистилляции
   • Цель: достижение сравнимой или лучшей производительности калибровки, чем у учителя DE
3. Теоретическое расширение:
   • Разработка метрики ECE для доверительных множеств
   • Более глубокий теоретический анализ и гарантии
4. Расширение приложений:
   • Расширение на задачи регрессии
   • Исследование приложений в других областях (например, обработка естественного языка)

Глубокая оценка

Преимущества

1. Высокая инновационность:
   • Впервые объединение теории доверительных множеств с дистилляцией ансамбля
   • Предложение новой исследовательской проблемы и полного решения
   • Умная разработка компактного триплетного представления
2. Прочная теоретическая основа:
   • Обеспечение математических гарантий на основе теории доверительных множеств
   • Доказательство того, что реконструированные интервалы удовлетворяют условиям действительности
   • Использование принципиальной меры обобщённой энтропии
3. Достаточные эксперименты:
   • Несколько пар наборов данных (CIFAR10 vs. SVHN/CIFAR10-C)
   • Различные архитектуры костяков (VGG16, ResNet18, ResNet50)
   • 15 независимых запусков обеспечивают статистическую значимость
   • Подробные абляционные исследования
   • Тематическое исследование на реальных медицинских изображениях
4. Убедительные результаты:
   • Последовательное значительное превосходство оценки EU над всеми базовыми методами
   • Улучшение эффективности вывода примерно в 5 раз
   • Стабильная производительность в различных установках
5. Ясное изложение:
   • Подробное описание метода
   • Интуитивный дизайн графиков (особенно рисунок 1 с архитектурой фреймворка)
   • Ясное выражение математических формул
6. Хорошая воспроизводимость:
   • Предоставление подробных деталей реализации
   • Приложение содержит дополнительные эксперименты и конфигурации
   • Код предоставлен

Недостатки

1. Ограничения масштабируемости:
   • Авторы признают проблемы с большим количеством классов (100+)
   • Обработка малых значений вероятностей softmax может быть нестабильной
   • Это ограничивает приложения на крупномасштабных наборах данных, таких как ImageNet
2. Снижение производительности калибровки:
   • ECE всех единых моделей хуже, чем у учителя DE
   • ECE CED (6.71%) значительно выше, чем у DE (1.46%)
   • Хотя точность предсказания сравнима, калибровка уверенности требует улучшения
3. Недостаточное обсуждение вычислительных затрат оптимизации:
   • Хотя утверждается пренебрежимость при C≤10
   • Отсутствует подробный анализ времени выполнения
   • Недостаточный анализ масштабируемости для больших значений C
4. Не полностью справедливое сравнение с EDD:
   • EDD показывает крайне плохую производительность при одинаковой конфигурации (точность 74.56%)
   • Основное сравнение с EDD* (специальная конфигурация)
   • Может скрывать некоторые проблемы самого метода
5. Ограниченный теоретический анализ:
   • Отсутствие анализа сходимости
   • Недостаточное теоретическое обоснование разработки функции потерь
   • Отсутствие глубокого объяснения того, почему простое взвешивание трёх компонентов потерь эффективно
6. Неполный базовый метод MCDO:
   • Результаты MCDO не сообщены для ResNet50
   • Анализ причин плохой производительности MCDO слишком простой

Влияние

1. Академический вклад:
   • Открытие нового направления исследований дистилляции доверительного ансамбля
   • Обеспечение нового принципиального фреймворка для квантификации неопределённости
   • Ожидается стимулирование последующих исследований
2. Практическая ценность:
   • Значительное снижение вычислительных затрат (5-кратное ускорение)
   • Демонстрация ценности в критических приложениях, таких как медицинские изображения
   • Обеспечение практического решения для сценариев с ограниченными ресурсами
3. Ограничения:
   • Крупномасштабные приложения требуют дальнейших улучшений
   • Проблема калибровки требует решения
   • Практическое развёртывание может столкнуться с проблемами
4. Воспроизводимость:
   • Предоставление кода и подробных конфигураций
   • Ясная экспериментальная установка
   • Легко воспроизвести и расширить

Применимые сценарии

Рекомендуемые приложения:

1. Задачи классификации среднего и малого масштаба (C≤10):
   • Диагностика медицинских изображений (например, Camelyon17)
   • Контроль качества и обнаружение аномалий
   • Классификация сцен в автономном вождении
2. Среды с ограниченными ресурсами:
   • Развёртывание на граничных устройствах
   • Требования к выводу в реальном времени
   • Системы с ограничениями памяти
3. Сценарии, требующие надёжной оценки неопределённости:
   • Приложения, критичные по безопасности
   • Вспомогательная диагностика в медицине
   • Оценка финансовых рисков

Не рекомендуемые приложения:

1. Крупномасштабная классификация (100+ классов)
2. Сценарии с экстремальными требованиями к калибровке
3. Ситуации, когда вычислительные ресурсы достаточны и приемлемы затраты ансамбля

Библиография

Ключевые ссылки

1. Lakshminarayanan et al., 2017: Simple and scalable predictive uncertainty estimation using deep ensembles (основа DE)
2. Malinin et al., 2019: Ensemble Distribution Distillation (метод EDD)
3. Hinton et al., 2015: Distilling the knowledge in a neural network (основа дистилляции знаний)
4. Hüllermeier & Waegeman, 2021: Aleatoric and epistemic uncertainty in machine learning (теория неопределённости)
5. Wang et al., 2025a: Credal Wrapper of Model Averaging for Uncertainty Estimation (метод доверительной обёртки)
6. Cuzzolin, 2022: The intersection probability: betting with probability intervals (теория пересечения вероятностей)
7. De Campos et al., 1994: Probability intervals: A tool for uncertain reasoning (основная теория доверительных множеств)

Общая оценка: Это высококачественная исследовательская работа, предлагающая инновационный фреймворк дистилляции доверительного ансамбля с прочными теоретическими и экспериментальными вкладами. Хотя существуют ограничения в масштабируемости и калибровке, работа предоставляет ценное новое направление для области квантификации неопределённости. Особенно подходит для задач классификации среднего и малого масштаба и сценариев с ограниченными ресурсами, обладает хорошей практической ценностью и академическим влиянием.