2025-11-15T20:58:11.863584

MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach

Zarik, Kiryati, Green et al.
PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.
academic

Segmentación de Tumores Basada en MIP: Un Enfoque Inspirado en Radiología

Información Básica

  • ID del Artículo: 2510.09326
  • Título: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
  • Autores: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
  • Clasificación: eess.IV (Ingeniería Eléctrica y Ciencia de Sistemas - Procesamiento de Imágenes y Vídeo)
  • Fecha de Publicación: 10 de octubre de 2025
  • Enlace del Artículo: https://arxiv.org/abs/2510.09326v1

Resumen

Este artículo propone un método de segmentación de tumores basado en Proyecciones de Intensidad Máxima Multi-Ángulo (Multi-Angle Maximum Intensity Projections, MIPs), que entrena modelos de segmentación directamente en MIPs en lugar del método tradicional de segmentación volumétrica 3D seguida de proyección. El estudio utiliza el conjunto de datos autoPET 2022 y mantiene un rendimiento comparable al de los métodos 3D (diferencia de Dice ≤1%, mejora de distancia de Hausdorff del 26,7%), mientras logra mejoras significativas en eficiencia computacional: reducción del tiempo de entrenamiento del 55,8-75,8%, disminución del consumo de energía por época del 71,7-76%, y reducción de dos órdenes de magnitud en la carga computacional. Para tareas de clasificación, utilizando solo 16 MIPs se supera el rendimiento 3D, con reducción del tiempo de entrenamiento superior a 10 veces.

Antecedentes y Motivación de la Investigación

Definición del Problema

La imagen PET/CT es el estándar de oro en la detección de tumores. En la práctica clínica, los radiólogos típicamente examinan primero Proyecciones de Intensidad Máxima multi-ángulo rotadas para evaluar casos, seguido de confirmación mediante cortes volumétricos. Este flujo de trabajo es especialmente tedioso en casos metastásicos.

Motivación de la Investigación

  1. Desalineación entre Práctica Clínica y Algoritmos: Aunque las MIPs se utilizan ampliamente en clínica, la segmentación automática de tumores sigue dependiendo principalmente de datos volumétricos 3D
  2. Necesidad de Eficiencia Computacional: Los métodos tradicionales de segmentación 3D tienen alta complejidad computacional y tiempos de entrenamiento prolongados, lo que dificulta el despliegue clínico
  3. Limitaciones de Recursos: Es difícil procesar datos 3D a gran escala en hardware estándar
  4. Alineación Disciplinaria: El entrenamiento directo en MIPs se alinea mejor con el pensamiento diagnóstico de los radiólogos

Limitaciones de los Métodos Existentes

  • El flujo de trabajo tradicional de segmentación volumétrica seguida de proyección a MIPs tiene gran sobrecarga computacional
  • Las aplicaciones existentes de MIP se limitan principalmente a detección y clasificación, con pocas aplicaciones de segmentación
  • Falta de soluciones efectivas para el problema de oclusión en MIP
  • Aprovechamiento insuficiente de las ventajas de eficiencia computacional de MIP

Contribuciones Principales

  1. Método de Segmentación Directa en MIP: Propone un método para entrenar modelos de segmentación directamente en MIPs, evitando el complejo flujo de segmentación 3D seguida de proyección
  2. Técnica de Corrección de Oclusión: Introduce un método novedoso de corrección de oclusión de anotaciones en MIP que resuelve el problema de oclusión por estructuras de alta intensidad
  3. Mejora Significativa de Eficiencia: Logra reducciones notables en tiempo de entrenamiento, consumo de energía y carga computacional mientras mantiene rendimiento comparable
  4. Análisis del Número Óptimo de MIPs: Analiza sistemáticamente el impacto del número de MIPs en el rendimiento de segmentación, determinando 48 ángulos de vista como configuración óptima

Explicación Detallada del Método

Definición de la Tarea

Entrada: Datos de escaneo PET 3D Salida: Resultado de segmentación de tumor Objetivo: Realizar segmentación semántica directamente en MIPs multi-ángulo, evitando procesamiento volumétrico 3D

Método de Generación de MIP

Las imágenes MIP se generan mediante la siguiente fórmula:

Fk(i,j)=maxdfk(i,j,d)F_k(i,j) = \max_d f_k(i,j,d)

Donde:

  • Fk(i,j)F_k(i,j): Valor de la k-ésima imagen MIP en el píxel (i,j)
  • fk(i,j,d)f_k(i,j,d): Datos 3D después de rotación kΔΘk\Delta\Theta alrededor del eje vertical
  • Paso angular: ΔΘ(N)=180°N\Delta\Theta(N) = \frac{180°}{N}, donde N es el número de MIPs

Algoritmo de Corrección de Oclusión

Para abordar el problema de oclusión de anotaciones de tumores por órganos de alta intensidad (como cerebro, corazón, riñones), se diseña un proceso de tres pasos:

  1. Detección de Oclusión: Verifica que al menos el 75% de los píxeles en cada tumor marcado provengan realmente de tumores en los datos PET volumétricos
  2. Segmentación de Anotaciones: Para marcas donde los píxeles tumorales representan <75%, retiene solo los píxeles confirmados como provenientes del tumor
  3. Filtrado de Bajo Contraste: Elimina residuos tumorales con contraste extremadamente bajo, imperceptibles al ojo humano

Arquitectura del Modelo

  • Modelo de Segmentación: Attention U-Net, con mejor rendimiento entre diversas arquitecturas CNN
  • Línea Base 3D: Arquitectura Swin-UNETR, basada en la solución clasificada 5ª en el desafío autoPET 2022
  • Modelo de Clasificación: Codificador CNN + agrupación de atención + cabeza completamente conectada

Puntos de Innovación Técnica

  1. Diseño Alineado con el Dominio: Entrena directamente en vistas MIP comúnmente utilizadas por radiólogos, mejorando la relevancia clínica
  2. Optimización de Eficiencia Computacional: 16 MIPs representan solo aproximadamente el 4% de la información volumétrica, reduciendo significativamente memoria y requisitos computacionales
  3. Solución del Problema de Oclusión: Primera solución sistemática del problema de oclusión en anotaciones MIP
  4. Optimización End-to-End: Evita el flujo de dos etapas de segmentación 3D seguida de proyección

Configuración Experimental

Conjunto de Datos

  • Fuente de Datos: Conjunto de datos de código abierto autoPET 2022
  • Escala: 1.014 escaneos PET/CT de 900 pacientes
  • Tipos de Enfermedad: Cáncer de pulmón, linfoma, melanoma, controles saludables
  • Distribución de Datos: Saludable (513), Linfoma (145), Melanoma (188), Cáncer de pulmón (168)

División de Datos

  • Conjunto de prueba independiente: 15%
  • Validación cruzada de 5 pliegues: 85%
  • Distribución de clases mantenida consistente

Métricas de Evaluación

Tarea de Segmentación:

  • Puntuación Dice: Medida de superposición
  • IoU: Intersección sobre Unión
  • Distancia de Hausdorff: Precisión de límites

Tarea de Clasificación:

  • Exactitud, Precisión, Recuperación, Puntuación F1

Métricas de Eficiencia:

  • Tiempo de convergencia (CT): Tiempo para alcanzar rendimiento de validación máximo
  • Tiempo de entrenamiento por época (TPE) y consumo de energía (EPE)
  • Complejidad computacional (TFLOPs)

Métodos de Comparación

  • Segmentación 3D Swin-UNETR seguida de proyección MIP
  • Modelo de clasificación 3D con arquitectura CNN idéntica

Resultados Experimentales

Resultados Principales

Comparación de Rendimiento de Segmentación

MétodoPuntuación DiceIoUDistancia de Hausdorff
Proyección 3D0,597±0,050,471±0,04139,614±8,42
OR-MIPs0,578±0,010,452±0,01102,813±9,61
OC-MIPs0,591±0,010,466±0,01102,26±9,53

Mejora de Eficiencia

MétricaMétodo 3DOC-MIPsMúltiplo de Mejora
Tiempo de Entrenamiento (horas)54,64±19,2213,18±4,14,1×
Consumo de Energía por Época (Wh)142,2±79,134,194±4,74,2×
TFLOPs317,42±144,050,97±0,29327×

Resultados de Clasificación

MétricaDatos 3D16 MIPsMejora
Exactitud (%)72,8±3,280,5±1,7+7,7%
Puntuación F1 (%)82,3±1,286,4±0,8+4,1%
Tiempo de Entrenamiento44,7±1,5 horas4,2±0,2 horas10,6×

Análisis del Impacto del Número de MIPs

Mediante análisis sistemático del impacto de 16, 32, 48, 64 y 80 MIPs:

  • Configuración Óptima: 48 MIPs proporcionan la puntuación Dice más alta y estable
  • Significancia Estadística: Los entrenamientos con 16 y 32 MIPs muestran diferencias estadísticamente significativas
  • Equilibrio de Eficiencia: 48 MIPs logran el mejor equilibrio entre rendimiento y eficiencia computacional

Hallazgos Importantes

  1. Equivalencia de Rendimiento: La prueba de rango con signo de Wilcoxon muestra que el método MIP no tiene diferencias estadísticamente significativas con el método 3D (p=0,22)
  2. Precisión de Límites: El método MIP muestra mejor rendimiento en distancia de Hausdorff, con mejora del 26,7%
  3. Efectividad de Corrección de Oclusión: Solo el 0,57% de los tumores se excluyen completamente, manteniendo la integridad de las anotaciones
  4. Escalabilidad: Reducción de dos órdenes de magnitud en carga computacional, mejorando significativamente la viabilidad de aplicación clínica

Trabajo Relacionado

Aplicaciones de MIP en Imagen Médica

  • Tareas de Detección: Kawakami et al. utilizan YOLOv2 en MIPs multidireccionales para detectar captación fisiológica
  • Aplicaciones de Clasificación: Takahashi et al. emplean modelo Xception para mejorar clasificación de cáncer de mama
  • Extracción de Características: Toosi et al. extraen características de 72 MIPs para predicción de supervivencia

Desarrollo de Métodos de Proyección 2D

  • Mejora de Segmentación 3D: Constantino et al. demuestran que MIP puede mejorar segmentación PET/CT 3D
  • Reconstrucción Volumétrica: Toosi et al. reconstruyen segmentación volumétrica a partir de MIP 2D
  • Métodos 2.75D: Wang et al. combinan múltiples vistas 2D para enriquecer aprendizaje 3D

Ventajas Relativas de Este Artículo

  • Primer método sistemático de segmentación directa en MIP
  • Técnica innovadora para resolver el problema de oclusión en MIP
  • Evaluación integral de eficiencia y rendimiento
  • Diseño alineado con flujo de trabajo clínico

Conclusiones y Discusión

Conclusiones Principales

  1. Equivalencia de Rendimiento: La segmentación directa en MIP mantiene rendimiento comparable al método 3D mientras logra mejoras significativas en eficiencia computacional
  2. Configuración Óptima: 48 ángulos de vista MIP representan el mejor punto de equilibrio entre rendimiento y eficiencia
  3. Aplicabilidad Clínica: La reducción significativa de requisitos computacionales hace el método más adecuado para entornos clínicos con recursos limitados
  4. Generalidad del Método: Muestra ventajas tanto en tareas de segmentación como de clasificación

Limitaciones

  1. Conjunto de Datos Único: Validación solo en conjunto de datos autoPET 2022, requiere validación más amplia
  2. Especialización en PET: El método actual se enfoca principalmente en datos PET, integración de CT pendiente de exploración
  3. Pérdida de Información 3D: El proceso de proyección inevitablemente pierde parte de la información espacial 3D
  4. Manejo de Oclusión: Aunque mejorado, casos complejos de oclusión aún pueden afectar el rendimiento

Direcciones Futuras

  1. Integración Multimodal: Mapear información de CT a MIP para análisis conjunto PET/CT
  2. Reconstrucción 3D: Explorar métodos para reconstruir anotaciones 3D a partir de resultados de segmentación MIP
  3. Validación Extendida: Verificar efectividad del método en más conjuntos de datos y tipos de enfermedades
  4. Aplicación en Tiempo Real: Desarrollar sistemas de segmentación MIP en tiempo real para apoyo en decisiones clínicas

Evaluación Profunda

Fortalezas

  1. Innovación Fuerte: Primer método sistemático de segmentación directa en MIP, altamente alineado con práctica clínica
  2. Alto Valor Práctico: Las mejoras significativas de eficiencia hacen el método con fuerte potencial de aplicación clínica
  3. Solución Técnica Integral: Desde corrección de oclusión hasta análisis de parámetros óptimos, la solución técnica es completa
  4. Verificación Exhaustiva: Evaluación integral en tareas de segmentación y clasificación
  5. Buena Reproducibilidad: Código y herramientas disponibles públicamente

Deficiencias

  1. Análisis Teórico Insuficiente: Falta análisis teórico profundo sobre por qué el método MIP logra rendimiento comparable
  2. Limitación de Conjunto de Datos: Un único conjunto de datos puede limitar la generalidad de las conclusiones
  3. Ausencia de Verificación Clínica: No se realizó verificación en entorno clínico real
  4. Métodos de Comparación Limitados: Comparación principalmente con métodos 3D básicos, falta comparación con métodos SOTA recientes

Impacto

  1. Contribución Académica: Proporciona nuevo paradigma de alta eficiencia para segmentación en imagen médica
  2. Valor Clínico: Tiene potencial de mejorar significativamente la eficiencia del análisis automático de escaneos PET
  3. Promoción Tecnológica: El método es extensible a otras tareas de análisis de proyecciones en imagen médica
  4. Optimización de Recursos: Proporciona solución viable para entornos con recursos computacionales limitados

Escenarios de Aplicación

  1. Cribado Clínico: Análisis preliminar rápido en cribado de tumores a gran escala
  2. Entornos con Recursos Limitados: Instituciones médicas con recursos computacionales limitados
  3. Aplicaciones en Tiempo Real: Sistemas de apoyo en decisiones clínicas que requieren respuesta rápida
  4. Medicina Móvil: Análisis de imagen médica en dispositivos portátiles

Referencias

Este artículo cita 34 referencias relacionadas, incluyendo principalmente:

  • Marcos de procesamiento de imagen médica (MONAI, PyTorch)
  • Fundamentos de tecnología de imagen PET/CT
  • Métodos de segmentación y clasificación de aprendizaje profundo
  • Aplicaciones de MIP en imagen médica
  • Métricas de evaluación y conjuntos de datos relacionados

Evaluación General: Este es un artículo de alta calidad en procesamiento de imagen médica que propone un método de segmentación directa en MIP innovador y práctico. El artículo mantiene rigor académico mientras enfatiza aplicabilidad clínica, proporcionando una nueva solución de alta eficiencia para aplicaciones de IA en imagen médica. Aunque presenta algunas limitaciones, sus mejoras significativas de eficiencia y buen rendimiento le confieren importante valor académico y de aplicación.