Сегментация опухолей на основе MIP: Подход, вдохновленный радиологией

Основная информация

• ID статьи: 2510.09326
• Название: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
• Авторы: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
• Категория: eess.IV (Электротехника и системные науки - обработка изображений и видео)
• Дата публикации: 10 октября 2025 г.
• Ссылка на статью: https://arxiv.org/abs/2510.09326v1

Аннотация

В данной работе предложен метод сегментации опухолей на основе многоугольных проекций максимальной интенсивности (Multi-Angle Maximum Intensity Projections, MIPs), при котором модели сегментации обучаются непосредственно на MIP-изображениях, а не на традиционной трёхмерной сегментации с последующей проекцией. Исследование проведено на наборе данных autoPET 2022 и демонстрирует, что при сохранении производительности, сравнимой с 3D-методами (разница по Dice ≤1%, улучшение расстояния Хаусдорфа на 26,7%), достигается значительное повышение вычислительной эффективности: сокращение времени обучения на 55,8-75,8%, снижение энергопотребления на 71,7-76% за эпоху, уменьшение объёма вычислений на два порядка величины. Для задач классификации использование всего 16 MIP превосходит производительность 3D-метода при сокращении времени обучения более чем в 10 раз.

Исследовательский контекст и мотивация

Определение проблемы

ПЭТ/КТ-визуализация является золотым стандартом в обнаружении опухолей. В клинической практике радиологи обычно сначала просматривают повёрнутые многоугольные проекции максимальной интенсивности (MIPs) для оценки случая, а затем подтверждают находки путём просмотра объёмных срезов. Этот рабочий процесс особенно трудозатратен при метастатических случаях.

Исследовательская мотивация

1. Несоответствие клинической практики и алгоритмов: Несмотря на широкое использование MIP в клинике, автоматическая сегментация опухолей по-прежнему в основном опирается на трёхмерные объёмные данные
2. Требования к вычислительной эффективности: Традиционные методы 3D-сегментации имеют высокую вычислительную сложность и длительное время обучения, что затрудняет клиническое внедрение
3. Ограничения ресурсов: Обработка крупномасштабных 3D-данных на стандартном оборудовании затруднена
4. Согласованность с предметной областью: Прямое обучение на MIP лучше соответствует диагностическому мышлению радиологов

Ограничения существующих методов

• Традиционный процесс 3D-сегментации с последующей проекцией на MIP имеет большие вычислительные затраты
• Существующие приложения MIP в основном ограничены обнаружением и классификацией, приложения для сегментации редки
• Отсутствуют эффективные решения для проблемы окклюзии в MIP
• Недостаточно используются преимущества вычислительной эффективности MIP

Основные вклады

1. Метод прямой сегментации MIP: Предложен метод прямого обучения моделей сегментации на MIP-изображениях, избегающий сложного процесса 3D-сегментации с последующей проекцией
2. Техника коррекции окклюзии: Введён новый метод коррекции окклюзии аннотаций MIP для решения проблемы окклюзии структурами высокой интенсивности
3. Значительное повышение эффективности: Достигнуто значительное снижение времени обучения, энергопотребления и объёма вычислений при сохранении сравнимой производительности
4. Анализ оптимального количества MIP: Систематически проанализировано влияние количества MIP на производительность сегментации, определено 48 углов обзора как оптимальная конфигурация

Описание метода

Определение задачи

Входные данные: Трёхмерные данные ПЭТ-сканирования Выходные данные: Результаты сегментации опухоли Цель: Прямая семантическая сегментация на многоугольных MIP, избегая обработки трёхмерного объёма

Метод генерации MIP

MIP-изображения генерируются по следующей формуле:

$F_k(i,j) = \max_d f_k(i,j,d)$

где:

• $F_k(i,j)$ — значение k-го MIP-изображения в пикселе (i,j)
• $f_k(i,j,d)$ — трёхмерные данные после поворота вокруг вертикальной оси на угол $k\Delta\Theta$
• Угловой шаг: $\Delta\Theta(N) = \frac{180°}{N}$, где N — количество MIP

Алгоритм коррекции окклюзии

Для решения проблемы окклюзии аннотаций опухолей органами высокой интенсивности (такими как мозг, сердце, почки) разработан трёхэтапный процесс обработки:

1. Обнаружение окклюзии: Проверка того, что по крайней мере 75% пикселей каждой отмеченной опухоли действительно происходят из опухоли в объёмных данных ПЭТ
2. Сегментация аннотаций: Для отмеченных областей с долей пикселей опухоли <75% сохраняются только пиксели, подтверждённые как происходящие из опухоли
3. Фильтрация низкого контраста: Удаление остатков опухоли с чрезвычайно низким контрастом, невидимых невооружённым глазом

Архитектура модели

• Модель сегментации: Attention U-Net, показавшая лучшие результаты среди различных архитектур CNN
• 3D-базовая модель: Архитектура Swin-UNETR, основанная на решении, занявшем 5-е место в конкурсе autoPET 2022
• Модель классификации: Кодировщик CNN + пулинг внимания + полносвязный слой

Технические инновации

1. Проектирование, согласованное с предметной областью: Прямое обучение на MIP-представлениях, обычно используемых радиологами, повышает клиническую релевантность
2. Оптимизация вычислительной эффективности: 16 MIP занимают примерно 4% объёмной информации, значительно снижая требования к памяти и вычислениям
3. Решение проблемы окклюзии: Первое систематическое решение проблемы окклюзии в аннотациях MIP
4. Сквозная оптимизация: Избегание двухэтапного процесса 3D-сегментации с последующей проекцией

Экспериментальная установка

Набор данных

• Источник данных: Открытый набор данных autoPET 2022
• Масштаб: 1014 ПЭТ/КТ-сканирований от 900 пациентов
• Типы заболеваний: Рак лёгкого, лимфома, меланома, здоровые контроли
• Распределение данных: Здоровые (513), лимфома (145), меланома (188), рак лёгкого (168)

Разделение данных

• Независимый тестовый набор: 15%
• 5-кратная перекрёстная валидация: 85%
• Сохранение согласованного распределения классов

Метрики оценки

Задача сегментации:

• Dice Score: метрика перекрытия
• IoU: индекс пересечения над объединением
• Hausdorff Distance: точность границ

Задача классификации:

• Accuracy, Precision, Recall, F1-score

Метрики эффективности:

• Время сходимости (CT): время достижения пиковой производительности валидации
• Время обучения за эпоху (TPE) и энергопотребление за эпоху (EPE)
• Вычислительная сложность (TFLOPs)

Методы сравнения

• 3D Swin-UNETR с сегментацией и последующей проекцией на MIP
• 3D-модель классификации с той же архитектурой CNN

Результаты экспериментов

Основные результаты

Сравнение производительности сегментации

Повышение эффективности

Результаты классификации

Анализ влияния количества MIP

Путём систематического анализа влияния 16, 32, 48, 64 и 80 MIP:

• Оптимальная конфигурация: 48 MIP обеспечивают наивысший и наиболее стабильный показатель Dice
• Статистическая значимость: Обучение на 16 и 32 MIP показывает статистически значимые различия на обучающем наборе
• Баланс эффективности: 48 MIP достигают оптимального баланса между производительностью и вычислительной эффективностью

Важные находки

1. Эквивалентность производительности: Тест знаковых рангов Уилкоксона показывает отсутствие статистически значимых различий между методом MIP и 3D-методом (p=0.22)
2. Точность границ: Метод MIP показывает лучшие результаты по расстоянию Хаусдорфа с улучшением на 26.7%
3. Эффективность коррекции окклюзии: Полностью исключены только 0.57% опухолей, сохранена полнота аннотаций
4. Масштабируемость: Снижение объёма вычислений на два порядка величины значительно повышает возможность клинического применения

Связанные работы

Применение MIP в медицинской визуализации

• Задачи обнаружения: Kawakami и др. использовали YOLOv2 для обнаружения физиологического захвата на многонаправленных MIP
• Приложения классификации: Takahashi и др. применили модель Xception для улучшения классификации рака молочной железы
• Извлечение признаков: Toosi и др. извлекали признаки из 72 MIP для прогнозирования выживаемости

Развитие методов 2D-проекции

• Улучшение 3D-сегментации: Constantino и др. доказали, что MIP может улучшить 3D ПЭТ/КТ-сегментацию
• Восстановление объёма: Toosi и др. восстанавливали объёмную сегментацию из 2D MIP
• Методы 2.75D: Wang и др. комбинировали несколько 2D-представлений для обогащения 3D-обучения

Преимущества данной работы

• Первый систематический метод прямой сегментации MIP
• Инновационная техника решения проблемы окклюзии MIP
• Комплексная оценка эффективности и производительности
• Проектирование, согласованное с клиническим рабочим процессом

Заключение и обсуждение

Основные выводы

1. Эквивалентность производительности: Прямая сегментация MIP сохраняет производительность, сравнимую с 3D-методами, при значительном повышении вычислительной эффективности
2. Оптимальная конфигурация: 48 углов обзора MIP представляют оптимальный баланс между производительностью и эффективностью
3. Клиническая применимость: Значительно сниженные требования к вычислениям делают метод более подходящим для ресурсоограниченных клинических сред
4. Универсальность метода: Метод показывает преимущества как для задач сегментации, так и для задач классификации

Ограничения

1. Единственный набор данных: Валидация проведена только на наборе данных autoPET 2022, требуется более широкая проверка
2. Специфичность для ПЭТ: Текущий метод в основном ориентирован на данные ПЭТ, интеграция КТ требует дальнейшего исследования
3. Потеря 3D-информации: Процесс проекции неизбежно приводит к потере части трёхмерной пространственной информации
4. Обработка окклюзии: Хотя улучшена, сложные случаи окклюзии могут по-прежнему влиять на производительность

Направления будущих исследований

1. Интеграция мультимодальности: Отображение информации КТ в MIP для совместного анализа ПЭТ/КТ
2. Восстановление 3D: Исследование методов восстановления 3D-аннотаций из результатов сегментации MIP
3. Расширенная валидация: Проверка эффективности метода на большем количестве наборов данных и типов заболеваний
4. Приложения реального времени: Разработка систем сегментации MIP в реальном времени для поддержки клинических решений

Глубокая оценка

Преимущества

1. Высокая инновационность: Первый систематический метод прямой сегментации MIP с высокой согласованностью с клинической практикой
2. Высокая практическая ценность: Значительное повышение эффективности обеспечивает сильный потенциал клинического применения
3. Полнота технического решения: От коррекции окклюзии до анализа оптимальных параметров, техническое решение полное
4. Достаточная валидация: Проведена комплексная оценка как для задач сегментации, так и для задач классификации
5. Хорошая воспроизводимость: Код и инструменты доступны в открытом доступе

Недостатки

1. Недостаточный теоретический анализ: Отсутствует глубокий теоретический анализ причин, по которым метод MIP достигает сравнимой производительности
2. Ограничения набора данных: Единственный набор данных может ограничить универсальность выводов
3. Отсутствие клинической валидации: Не проведена валидация в реальной клинической среде
4. Ограниченные методы сравнения: Основное сравнение с базовыми 3D-методами, отсутствует сравнение с современными SOTA-методами

Влияние

1. Академический вклад: Предложен новый высокоэффективный парадигма для сегментации медицинских изображений
2. Клиническая ценность: Может значительно улучшить эффективность автоматического анализа ПЭТ-сканирований
3. Распространение технологии: Метод может быть расширен на другие задачи анализа проекций медицинских изображений
4. Оптимизация ресурсов: Предоставляет жизнеспособное решение для ресурсоограниченных сред

Сценарии применения

1. Клинический скрининг: Быстрый предварительный анализ при крупномасштабном скрининге опухолей
2. Ресурсоограниченные среды: Медицинские учреждения с ограниченными вычислительными ресурсами
3. Приложения реального времени: Системы поддержки клинических решений, требующие быстрого ответа
4. Мобильная медицина: Анализ медицинских изображений на портативных устройствах

Список литературы

Статья цитирует 34 связанные работы, включая:

• Фреймворки обработки медицинских изображений (MONAI, PyTorch)
• Основы технологии ПЭТ/КТ-визуализации
• Методы глубокого обучения для сегментации и классификации
• Применение MIP в медицинской визуализации
• Связанные метрики оценки и наборы данных

Общая оценка: Это высококачественная статья по обработке медицинских изображений, предлагающая инновационный и практичный метод прямой сегментации MIP. Статья сочетает академическую строгость с акцентом на клиническую применимость, предоставляя новое высокоэффективное решение для приложений медицинской визуализации на основе искусственного интеллекта. Несмотря на некоторые ограничения, значительное повышение эффективности и хорошие показатели производительности придают работе важную академическую и прикладную ценность.