Reconstruction-based methods, particularly those leveraging autoencoders, have been widely adopted for anomaly detection task in brain MRI. Unlike most existing works try to improve the task accuracy through architectural or algorithmic innovations, we tackle this task from image quality assessment (IQA) perspective, an under-explored direction in the field. Due to the limitations of conventional metrics such as l1 in capturing the nuanced differences in reconstructed images for medical anomaly detection, we propose fusion quality, a novel metric that wisely integrates the structure-level sensitivity of Structural Similarity Index Measure (SSIM) with the pixel-level precision of l1. The metric offers a more comprehensive assessment of reconstruction quality, considering intensity (subtractive property of l1 and divisive property of SSIM), contrast, and structural similarity. Furthermore, the proposed metric makes subtle regional variations more impactful in the final assessment. Thus, considering the inherent divisive properties of SSIM, we design an average intensity ratio (AIR)-based data transformation that amplifies the divisive discrepancies between normal and abnormal regions, thereby enhancing anomaly detection. By fusing the aforementioned two components, we devise the IQA approach. Experimental results on two distinct brain MRI datasets show that our IQA approach significantly enhances medical anomaly detection performance when integrated with state-of-the-art baselines.
- ID статьи: 2408.08228
- Название: Rethinking Medical Anomaly Detection in Brain MRI: An Image Quality Assessment Perspective
- Авторы: Zixuan Pan, Jun Xia, Zheyu Yan, Guoyue Xu, Yifan Qin, Xueyang Li, Yawen Wu, Zhenge Jia, Jianxu Chen, Yiyu Shi
- Классификация: eess.IV cs.CV
- Дата публикации: Август 2024 г. (препринт arXiv)
- Ссылка на статью: https://arxiv.org/abs/2408.08228
В данной работе задача обнаружения аномалий в МРТ головного мозга переосмысляется с позиции оценки качества изображения (IQA). Для преодоления ограничений традиционной функции потерь ℓ1 при захвате тонких различий в восстановленных изображениях предлагается метрика качества слияния (fusion quality), которая искусно объединяет структурную чувствительность индекса структурного сходства (SSIM) с пиксельной точностью ℓ1. Данная метрика обеспечивает более комплексную оценку качества восстановления по трём измерениям: интенсивность, контраст и структурное сходство. Кроме того, учитывая внутреннюю природу деления в SSIM, разработано преобразование данных на основе среднего коэффициента интенсивности (AIR) для усиления различий между нормальными и аномальными областями. Экспериментальные результаты демонстрируют значительное улучшение производительности медицинского обнаружения аномалий при использовании метода IQA.
Обнаружение аномалий в МРТ головного мозга (например, выявление опухолей) является важной задачей анализа медицинских изображений. Традиционные методы обучения с учителем требуют большого количества аннотированных данных, однако получение точных аннотаций медицинских изображений (таких как маски сегментации опухолей) является одновременно сложным и дорогостоящим.
- Дефицит аннотированных данных: Аннотирование медицинских изображений требует специальных знаний, является дорогостоящим и отнимает много времени
- Ограничения существующих методов: Методы обнаружения аномалий на основе восстановления сосредоточены на инновациях в архитектуре и алгоритмах, игнорируя важность метрик оценки качества восстановления
- Недостаточность метрик оценки: Традиционная функция потерь ℓ1 предполагает независимость пикселей, игнорирует пространственные отношения и затрудняет захват тонких аномалий
Как показано на рисунке 1, даже при использовании одинаковых результатов восстановления, применение SSIM для вычисления карты аномалий лучше идентифицирует область опухоли по сравнению с использованием функции потерь ℓ1, что мотивирует необходимость переосмысления обнаружения аномалий с позиции IQA.
- Первое предложение перспективы IQA: Введение оценки качества изображения в медицинское обнаружение аномалий с предложением функции потерь качества слияния (fusion quality loss)
- Новая метрика оценки: Объединение преимуществ SSIM и функции потерь ℓ1 для более комплексной оценки качества восстановления
- Стратегия увеличения данных: Разработка преобразования на основе AIR для усиления различий между нормальными и аномальными областями
- Значительное улучшение производительности: Повышение коэффициента DICE на 15,86% на BraTS21 T2 и на 21,41% на MSLUB T2
- Хорошая обобщаемость: Метод применим к различным модальностям и различным базовым моделям
Дано множество нормальных данных Xn={xin∈Xn}i=1N, обучение модели восстановления fθ(⋅):
minθN1∑i=1NLtrain(xin,x^in),x^in=fθ(xin′)
На этапе тестирования карта оценки аномалии определяется как:
Λj=Ltest(xja,x^ja),x^ja=fθ∗(xja′)
SSIM оценивает три измерения: яркость, контраст и структуру:
l(x,y)=μx2+μy2+C12μxμy+C1,c(x,y)=σx2+σy2+C22σxσy+C2s(x,y)=σxσy+C3σxy+C3
SSIM(x,y)=l(x,y)⋅c(x,y)⋅s(x,y)
Локальная функция потерь SSIM:
LSSIM(x,x^)=21−K1∑k=1KSSIM(xk,x^k)
Объединение преимуществ SSIM и функции потерь ℓ1:
LFQ=αLSSIM+(1−α)Lℓ1,α∈[0,1]
где α = 0,84, выбор этого параметра основан на рекомендациях предыдущих исследований 21.
AIR(X)=(μXa+μXn)−∣μXa−μXn∣(μXa+μXn)+∣μXa−μXn∣
где μXa и μXn — средняя интенсивность пикселей в аномальных и нормальных областях соответственно.
На основе статистического анализа четырёх модальностей набора данных BraTS:
- 0<μXn<μXa<1 справедливо для всех модальностей
- В T1, FLAIR и T1-CE μXn>0,5
- В T2 μXa<0,5
Разработана функция преобразования:
p(x)=x⋅I(μXn≤0,5)+(1−x)⋅I(0,5<μXn)
Это преобразование гарантирует AIR(Xˉ)≥AIR(X).
- Многомерная оценка качества: Объединение информации пиксельного уровня (ℓ1) и структурного уровня (SSIM)
- Адаптивный механизм взвешивания: Природа деления в SSIM делает структурные отношения более значимыми
- Предварительная обработка, управляемая данными: Стратегия преобразования разработана на основе статистических характеристик набора данных
- Сквозная оптимизация: Унифицированное использование функции потерь качества слияния на этапах обучения и вывода
- BraTS21: 1251 сканирование МРТ опухолей головного мозга, включающее четыре модальности: T1, T1-CE, T2, FLAIR
- MSLUB: Сканирования T1, T2, FLAIR 30 пациентов с рассеянным склерозом
- IXI: 560 пар сканирований T1-T2 здоровых мозгов
- Кросс-датасетная установка: Обучение на здоровых данных IXI, тестирование на BraTS21 и MSLUB
- Установка внутри датасета: Пятикратная перекрёстная валидация на FLAIR и T1-CE из BraTS21
- Предварительная обработка: Переискусствление, удаление черепа, регистрация
- Коэффициент DICE: Измерение точности сегментации
- AUPRC: Площадь под кривой точность-полнота
Девять базовых методов: Thresh, AE, VAE, SVAE, DAE, f-AnoGAN, DDPM, mDDPM, pDDPM и др.
- Оптимизатор: Adam, скорость обучения 1e-4, размер пакета 32
- Количество эпох: 1600
- Уровни шума: BraTS21(T2) — 500, остальные — 750
- Постобработка: Медианный фильтр (размер ядра 5) + эрозия маски мозга (3 итерации)
Результаты в кросс-датасетной установке для модальности T2:
| Метод | BraTS21 (T2) | | MSLUB (T2) | |
|---|
| DICE % | AUPRC % | DICE % | AUPRC % |
| pDDPM | 49.41±0.66 | 54.76±0.83 | 10.65±1.05 | 10.37±0.51 |
| pDDPM-IQA | 59.45±0.37 | 62.99±0.37 | 12.93±0.67 | 11.51±0.50 |
| Относительное улучшение | +20.32% | +15.03% | +21.41% | +10.99% |
На BraTS T1, MSLUB T1, BraTS FLAIR и T1-CE и других модальностях pDDPM-IQA достигает значительного улучшения (p < 0,05).
- Только LFQ: Значительное улучшение по сравнению с базовым методом
- LFQ + AIR: Дальнейшее улучшение производительности
- Синергетический эффект двух компонентов является оптимальным
Применение метода IQA к базовому методу DDPM (DDPM-IQA) достигает последовательного улучшения производительности на всех протестированных наборах данных и модальностях.
Анализ чувствительности параметра α показывает, что даже при использовании субоптимального α = 0,84 метод сохраняет надёжную производительность.
На рисунке 3 представлены качественные результаты, демонстрирующие, что карты аномалий, созданные pDDPM-IQA, более точно локализуют область опухоли по сравнению с другими методами, с более чёткими границами и меньшим количеством ложноположительных результатов.
- Методы автокодировщиков: AE, VAE страдают от проблемы размытого восстановления
- Улучшенные стратегии: Векторно-квантованный VAE, противоборствующий автокодировщик, шумоподавляющий автокодировщик
- Методы GAN: AnoGAN, f-AnoGAN, но с проблемами стабильности
- Модели диффузии: anoDDPM, pDDPM, mDDPM и другие последние достижения
- Использование SSIM вместо функции потерь ℓ2 при обнаружении дефектов в промышленности
- Функция потерь SSIM в скрытом пространстве
- Интегрированные методы SSIM
Первое применение комбинации SSIM и функции потерь ℓ1 в медицинском обнаружении аномалий на протяжении всего процесса обучения и вывода.
- Эффективность перспективы IQA: Подход с позиции оценки качества изображения значительно улучшает производительность обнаружения аномалий
- Превосходство стратегии слияния: Функция потерь качества слияния, объединяющая SSIM и ℓ1, превосходит отдельные метрики
- Важность преобразования данных: Преобразование на основе AIR эффективно усиливает различия между нормальными и аномальными областями
- Широкая применимость: Метод эффективен на множественных модальностях и базовых моделях
- Фиксированные параметры: α = 0,84 не оптимизирован для различных установок
- Специфичность преобразования: Преобразование AIR разработано на основе статистики конкретного набора данных
- Отсутствие анализа вычислительной сложности: Не сообщается о дополнительных затратах на вычисления
- Недостаток теоретического анализа: Отсутствует теоретический анализ сходимости функции потерь качества слияния
- Исследование новых метрик: Разработка метрик, лучше захватывающих аномалии, чем текущая функция потерь качества слияния
- Адаптивные механизмы взвешивания: Разработка механизма динамической регулировки α
- Теоретический анализ: Предоставление теоретических гарантий для функции потерь слияния
- Расширение приложений: Распространение на другие задачи медицинской визуализации
- Инновационная перспектива: Первое систематическое исследование медицинского обнаружения аномалий с позиции IQA
- Простой и эффективный метод: Функция потерь качества слияния хорошо разработана и проста в реализации
- Полные эксперименты: Комплексная проверка на множественных наборах данных, модальностях и базовых моделях
- Значительное улучшение производительности: Относительное улучшение превышает 15-20%, имеет практическую ценность
- Хорошая обобщаемость: Применимо к различным архитектурам и модальностям
- Слабая теоретическая база: Отсутствует глубокий теоретический анализ причин эффективности комбинации SSIM+ℓ1
- Субъективный выбор параметров: Выбор α = 0,84 требует более полной верификации
- Отсутствие анализа вычислительных затрат: Не сообщается о дополнительном времени вычисления
- Ограничения преобразования AIR: Стратегия преобразования чрезмерно зависит от статистических характеристик конкретного набора данных
- Неполное сравнение: Отсутствует сравнение с другими метриками IQA (такими как LPIPS)
- Академическая ценность: Открывает новое направление исследований в медицинском обнаружении аномалий
- Практическая ценность: Значительное улучшение производительности имеет потенциал клинического применения
- Универсальность метода: Может быть распространён на другие задачи медицинской визуализации
- Воспроизводимость: Предоставляется реализация кода, облегчающая воспроизведение и расширение
- Медицинское обнаружение аномалий: Обнаружение опухолей головного мозга, рассеянного склероза и других заболеваний
- Обучение без учителя: Задачи медицинской визуализации с дефицитом аннотированных данных
- Оценка качества: Оценка качества восстановления медицинских изображений
- Улучшение методов: Повышение производительности существующих методов на основе восстановления
Статья цитирует 42 связанные работы, охватывающие важные исследования в области глубокого обучения, анализа медицинских изображений, обнаружения аномалий и оценки качества изображения, обеспечивая прочную теоретическую основу для исследования.
Общая оценка: Это инновационная и практически ценная работа в области медицинского обнаружения аномалий. Благодаря введению перспективы IQA и искусному объединению функций потерь SSIM и ℓ1, работа достигает значительного улучшения производительности на множественных наборах данных. Хотя существуют определённые недостатки в теоретическом анализе и выборе параметров, её новаторский исследовательский подход и хорошие экспериментальные результаты делают её важным вкладом в данную область.