Метрологическая база для оценки неопределённости в моделях классификации машинного обучения

Основная информация

• ID статьи: 2504.03359
• Название: A metrological framework for uncertainty evaluation in machine learning classification models
• Авторы: Samuel Bilson, Maurice Cox, Anna Pustogvar, Andrew Thompson (National Physical Laboratory, UK)
• Категория: cs.LG (Машинное обучение)
• Дата публикации: 15 октября 2025 г. (arXiv v3)
• Ссылка на статью: https://arxiv.org/abs/2504.03359

Аннотация

Модели классификации машинного обучения всё чаще используются в критически важных приложениях, таких как климатические наблюдения, медицинская диагностика и мониторинг биоаэрозолей, где результаты прогнозирования должны сопровождаться оценкой неопределённости. Выходные данные моделей классификации представляют собой классификационные переменные, называемые в Международном словаре по метрологии (VIM) номинальными свойствами. Однако ни VIM, ни Руководство по выражению неопределённости измерений (GUM) не определяют концепцию оценки неопределённости для номинальных свойств. В данной работе предложена метрологическая база для оценки неопределённости номинальных свойств, основанная на функции массы вероятности и её сводных статистиках, применимая к классификации машинного обучения. Применение базы иллюстрируется на двух практических примерах с существенным социальным воздействием: климатических наблюдениях и медицинской диагностике. Данная база позволит расширить GUM на оценку неопределённости номинальных свойств, делая оба стандарта применимыми к моделям классификации машинного обучения.

Исследовательский контекст и мотивация

Постановка проблемы

1. Растущий спрос на приложения: Модели классификации машинного обучения всё шире применяются в критических областях, таких как климатические наблюдения, медицинская диагностика и мониторинг биоаэрозолей, требуя надёжной оценки неопределённости прогнозов.
2. Отсутствие метрологических стандартов: Существующие метрологические стандарты (VIM и GUM) разработаны в основном для количественных переменных и не содержат базы для оценки неопределённости номинальных свойств, являющихся выходными данными моделей классификации.
3. Множественные источники неопределённости: Модели классификации машинного обучения включают неопределённость обучающих данных, неопределённость распределения по классам, неопределённость выбора модели, неопределённость параметров модели и неопределённость новых входных данных.

Научная мотивация

• Установить стандартизированную базу для оценки неопределённости, позволяющую моделям классификации машинного обучения интегрироваться в цепь метрологической прослеживаемости
• Обеспечить надёжную оценку неопределённости прогнозов для высокорисковых приложений (например, медицинская диагностика)
• Расширить существующую базу GUM для охвата номинальных свойств

Ограничения существующих подходов

• GUM в основном применим к непрерывным количественным переменным и не может быть напрямую применён к выходным данным классификации
• Существующие методы оценки соответствия применимы только к двоичной классификации на основе правил, а не к требующим обучения моделям машинного обучения
• Отсутствует стандартизированный метод распространения неопределённости для номинальных свойств

Основные вклады

1. Предложена метрологическая база для оценки неопределённости номинальных свойств: На основе функции массы вероятности (PMF) и сводных статистик разработан систематический метод оценки неопределённости для моделей классификации машинного обучения.
2. Установлен механизм распространения неопределённости: Продемонстрировано, как распространять неопределённость номинальных свойств через PMF в многоэтапных моделях измерений, поддерживая как аналитические, так и методы Монте-Карло.
3. Проведено систематическое сравнение статистик неопределённости: Оценены характеристики и применимость различных способов выражения неопределённости, включая коэффициент вариации Уилкокса (WVR), информационную энтропию и индекс качественной вариации (IQV).
4. Подтверждена практическая применимость базы: На двух важных практических примерах — классификации земного покрова и обнаружении фибрилляции предсердий — доказана эффективность базы при решении реальных задач.
5. Заложены основы расширения GUM: Данная база позволяет расширить GUM на оценку неопределённости номинальных свойств, совершенствуя систему метрологических стандартов.

Подробное описание методологии

Определение задачи

В работе исследуется задача оценки неопределённости моделей классификации машинного обучения:

• Входные данные: Набор входных переменных X (может включать количественные и классификационные переменные)
• Выходные данные: Классификационная переменная Y ∈ CK = {c1, ..., cK}, где K — количество классов
• Цель: Оценить неопределённость классификационного прогноза y = f(x)

Теоретическая база

1. Функция массы вероятности (PMF)

Для номинальной переменной полная информация о неопределённости выражается через PMF:

p : CK → [0,1]
ck ↦ pk := p(ck)

удовлетворяющую условию нормализации: ∑pk = 1

2. Статистики неопределённости

В работе систематически оценены семь статистик неопределённости:

Коэффициент вариации Уилкокса (WVR):

uWVR(p) = 1 - (Kp̂-1)/(K-1)

Информационная энтропия:

H(p) = -∑pk logK pk

Индекс качественной вариации (IQV):

uIQV(p) = K/(K-1)(1-∑pk²)

где p̂ — вероятность модального класса (наивысшая вероятность класса).

3. Распространение неопределённости

Для модели измерений с номинальными входными данными z = g(x,y) ожидаемое значение и дисперсия выходных данных могут быть выражены как:

E[z] = ∑pk μk
Var[z] = ∑pk(σk² + μk²) - (∑pkμk)²

Идентификация источников неопределённости

В работе выявлены пять основных источников неопределённости в классификации машинного обучения:

1. Неопределённость обучающих данных: Неопределённость измерений самих обучающих данных
2. Неопределённость распределения по классам: Присущая задаче классификационная неоднозначность
3. Неопределённость выбора модели: Неопределённость, связанная с выбором типа модели
4. Неопределённость параметров модели: Неопределённость оценки и оптимизации параметров
5. Неопределённость новых входных данных: Неопределённость измерений входных данных на этапе прогнозирования

Экспериментальная установка

Практический пример 1: Классификация земного покрова

Набор данных:

• Спутниковые данные Sentinel-2
• Регион размером 20 км × 20 км в Шотландии
• 189 142 пиксела, включающих четыре класса: лес, сельскохозяйственные земли, пастбища, жилые районы
• Данные за 2020 и 2021 годы

Метод: Байесовский квадратичный дискриминантный анализ (BQDA)

• Генеративный подход к моделированию
• Явное моделирование множественных источников неопределённости
• Предположение о многомерном гауссовском распределении

Метрики оценки:

• Потеря классификации (коэффициент ошибочной классификации)
• Потеря ожидаемой кросс-энтропии (EXE)
• Ожидаемая оценка Бриера (EBS)

Практический пример 2: Обнаружение фибрилляции предсердий

Набор данных:

• Набор данных DeepBeat PPG
• 134 пациента, более 100 000 сегментов сигнала
• Длительность 25 секунд, частота дискретизации 32 Гц
• Задача двоичной классификации (ФП/не-ФП)

Метод: Свёрточная нейронная сеть + Monte Carlo Dropout

• Дискриминативный подход к моделированию
• Архитектура варианта xresnet1d50
• Захват алеаторической и эпистемической неопределённости

Результаты экспериментов

Результаты классификации земного покрова

Производительность классификации:

• Тестирование 2020 г.: потеря=0,012, EXE=0,079, EBS=0,031
• Тестирование 2021 г.: потеря=0,057, EXE=0,567, EBS=0,151
• Значительное снижение производительности между годами отражает влияние сдвига распределения

Производительность статистик неопределённости (2020 г.):

• Огромные различия между медианой и средним значением (разница на порядок величины), указывающие на сильно левостороннее распределение
• Информационная энтропия H наиболее чувствительна к малым изменениям значений
• UVR наименее чувствительна к малым изменениям значений
• WVR, SDM, CNV показывают эквивалентную производительность при высокой уверенности прогнозов

Результаты обнаружения фибрилляции предсердий

Производительность классификации:

• Потеря классификации: 0,209
• EXE: 0,874
• EBS: 0,622

Статистики неопределённости:

• Из-за более низкой производительности классификации по сравнению с задачей классификации земного покрова значения статистик неопределённости в целом выше
• При двоичной классификации WVR, SDM, CNV математически эквивалентны
• Информационная энтропия остаётся наиболее чувствительной статистикой

Ключевые выводы

1. Порядок чувствительности статистик: Информационная энтропия > IQV > WVR/SDM/CNV > UVR
2. Эквивалентность при двоичной классификации: WVR, SDM, CNV математически эквивалентны при двоичной классификации
3. Приближение при высокой уверенности: Для многоклассовых прогнозов с высокой уверенностью несколько статистик приблизительно эквивалентны
4. Связь производительности и неопределённости: Чем ниже производительность классификации, тем выше значения статистик неопределённости

Связанные работы

Метрологические стандарты

• Серия GUM: В основном ориентирована на оценку неопределённости количественных переменных
• VIM: Определяет концепцию номинальных свойств, но не содержит методов оценки неопределённости
• Оценка соответствия: Применима только к двоичной классификации на основе правил

Оценка неопределённости в машинном обучении

• Байесовские методы: Например, байесовские нейронные сети, вариационный вывод
• Ансамблевые методы: Например, Monte Carlo Dropout, глубокие ансамбли
• Калибровка вероятностей: Улучшение надёжности предсказанных вероятностей

Связанные стандарты в других областях

• Клиническая лабораторная наука: Словарь номинальных свойств IFCC-IUPAC
• Качественный химический анализ: Руководство EURACHEM/CITAC
• Справочные материалы: Стандарт ISO 33406:2024

Заключение и обсуждение

Основные выводы

1. PMF является полным выражением неопределённости номинальных свойств: По аналогии с PDF для непрерывных переменных, PMF обеспечивает полную информацию об неопределённости классификационного прогноза.
2. Каждая статистика имеет свои преимущества: Информационная энтропия наиболее чувствительна, но может быть чрезмерно чувствительной; статистики, основанные на модальной вероятности, такие как WVR, более интуитивны; выбор должен основываться на конкретных требованиях приложения.
3. База практически применима: Два практических примера доказывают применимость базы в различных областях и типах моделей.
4. Поддерживает распространение неопределённости: Через PMF возможно распространение неопределённости номинальных свойств в многоэтапных моделях.

Ограничения

1. Предположение о независимости и одинаковом распределении: База предполагает независимость и одинаковое распределение обучающих и тестовых данных; сдвиг распределения влияет на надёжность
2. Вычислительная сложность: Некоторые методы (например, полный байесовский вывод) имеют высокие вычислительные затраты
3. Неопределённость выбора модели: Большинство методов недостаточно учитывают неопределённость, связанную с выбором архитектуры модели
4. Моделирование входной неопределённости: Явное моделирование входной неопределённости в методах глубокого обучения остаётся сложной задачей

Направления будущих исследований

1. Расширение GUM: Формальное включение оценки неопределённости номинальных свойств в базу GUM
2. Стандартизация: Разработка международных стандартов для оценки неопределённости моделей классификации машинного обучения
3. Совершенствование методов: Разработка более эффективных методов количественной оценки неопределённости
4. Расширение приложений: Проверка эффективности базы в дополнительных критических областях приложений

Глубокая оценка

Преимущества

1. Заполнение важного пробела: Впервые систематически установлена метрологическая база для оценки неопределённости моделей классификации машинного обучения, заполняя важный пробел в стандартах GUM/VIM.
2. Теоретическая строгость: На основе теории вероятностей построена полная теоретическая система от PMF к сводным статистикам, согласованная с существующими метрологическими стандартами.
3. Высокая практическая применимость: Два практических примера охватывают различные области приложений, типы данных и архитектуры моделей, доказывая широкую применимость базы.
4. Систематическое сравнение: Проведено всестороннее сравнение семи статистик неопределённости, предоставляющее руководство по выбору для практических приложений.
5. Перспективность: Обеспечивает важную поддержку для надёжного развёртывания технологий машинного обучения в высокорисковых приложениях.

Недостатки

1. Ограниченные источники неопределённости: Хотя выявлены пять источников неопределённости, в практических примерах не все они моделируются, особенно неопределённость выбора модели.
2. Условия предположений: Предположение о независимости и одинаковом распределении часто нарушается в практических приложениях, но обсуждение этого в работе недостаточно глубоко.
3. Вычислительная эффективность: Вычислительная сложность некоторых методов (например, полный байесовский вывод) ограничивает их практическое применение.
4. Ограниченная валидация: Только два практических примера; требуется проверка эффективности базы в дополнительных областях и сценариях.

Влияние

1. Разработка стандартов: Вероятно, будет способствовать обновлению международных метрологических стандартов, включая машинное обучение в официальную базу.
2. Промышленное применение: Обеспечивает гарантию надёжности для приложений машинного обучения в критических областях, таких как медицина и мониторинг окружающей среды.
3. Академическая ценность: Связывает две области — метрологию и машинное обучение, способствуя междисциплинарному сотрудничеству.
4. Воспроизводимость: Предоставляет ясную теоретическую базу и детали реализации, облегчая принятие другими исследователями.

Применимые сценарии

1. Высокорисковые приложения: Медицинская диагностика, мониторинг безопасности и другие сценарии с экстремальными требованиями к надёжности
2. Нормативная среда: Промышленные и научные приложения, требующие соответствия метрологическим стандартам
3. Многоэтапные системы: Сложные системы, где результаты классификации должны распространяться на последующие этапы обработки
4. Обеспечение качества: Производственные и сервисные системы, требующие количественной оценки надёжности прогнозов

Библиография

В работе цитируется 86 источников, охватывающих метрологические стандарты, теорию машинного обучения, методы количественной оценки неопределённости и конкретные области приложений, обеспечивая прочную теоретическую основу и широкий контекст приложений. Ключевые источники включают документы серии GUM, словарь VIM, методы байесовского машинного обучения и методы количественной оценки неопределённости.