PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.
- ID del Artículo: 2510.09326
- Título: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
- Autores: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
- Clasificación: eess.IV (Ingeniería Eléctrica y Ciencia de Sistemas - Procesamiento de Imágenes y Vídeo)
- Fecha de Publicación: 10 de octubre de 2025
- Enlace del Artículo: https://arxiv.org/abs/2510.09326v1
Este artículo propone un método de segmentación de tumores basado en Proyecciones de Intensidad Máxima Multi-Ángulo (Multi-Angle Maximum Intensity Projections, MIPs), que entrena modelos de segmentación directamente en MIPs en lugar del método tradicional de segmentación volumétrica 3D seguida de proyección. El estudio utiliza el conjunto de datos autoPET 2022 y mantiene un rendimiento comparable al de los métodos 3D (diferencia de Dice ≤1%, mejora de distancia de Hausdorff del 26,7%), mientras logra mejoras significativas en eficiencia computacional: reducción del tiempo de entrenamiento del 55,8-75,8%, disminución del consumo de energía por época del 71,7-76%, y reducción de dos órdenes de magnitud en la carga computacional. Para tareas de clasificación, utilizando solo 16 MIPs se supera el rendimiento 3D, con reducción del tiempo de entrenamiento superior a 10 veces.
La imagen PET/CT es el estándar de oro en la detección de tumores. En la práctica clínica, los radiólogos típicamente examinan primero Proyecciones de Intensidad Máxima multi-ángulo rotadas para evaluar casos, seguido de confirmación mediante cortes volumétricos. Este flujo de trabajo es especialmente tedioso en casos metastásicos.
- Desalineación entre Práctica Clínica y Algoritmos: Aunque las MIPs se utilizan ampliamente en clínica, la segmentación automática de tumores sigue dependiendo principalmente de datos volumétricos 3D
- Necesidad de Eficiencia Computacional: Los métodos tradicionales de segmentación 3D tienen alta complejidad computacional y tiempos de entrenamiento prolongados, lo que dificulta el despliegue clínico
- Limitaciones de Recursos: Es difícil procesar datos 3D a gran escala en hardware estándar
- Alineación Disciplinaria: El entrenamiento directo en MIPs se alinea mejor con el pensamiento diagnóstico de los radiólogos
- El flujo de trabajo tradicional de segmentación volumétrica seguida de proyección a MIPs tiene gran sobrecarga computacional
- Las aplicaciones existentes de MIP se limitan principalmente a detección y clasificación, con pocas aplicaciones de segmentación
- Falta de soluciones efectivas para el problema de oclusión en MIP
- Aprovechamiento insuficiente de las ventajas de eficiencia computacional de MIP
- Método de Segmentación Directa en MIP: Propone un método para entrenar modelos de segmentación directamente en MIPs, evitando el complejo flujo de segmentación 3D seguida de proyección
- Técnica de Corrección de Oclusión: Introduce un método novedoso de corrección de oclusión de anotaciones en MIP que resuelve el problema de oclusión por estructuras de alta intensidad
- Mejora Significativa de Eficiencia: Logra reducciones notables en tiempo de entrenamiento, consumo de energía y carga computacional mientras mantiene rendimiento comparable
- Análisis del Número Óptimo de MIPs: Analiza sistemáticamente el impacto del número de MIPs en el rendimiento de segmentación, determinando 48 ángulos de vista como configuración óptima
Entrada: Datos de escaneo PET 3D
Salida: Resultado de segmentación de tumor
Objetivo: Realizar segmentación semántica directamente en MIPs multi-ángulo, evitando procesamiento volumétrico 3D
Las imágenes MIP se generan mediante la siguiente fórmula:
Fk(i,j)=maxdfk(i,j,d)
Donde:
- Fk(i,j): Valor de la k-ésima imagen MIP en el píxel (i,j)
- fk(i,j,d): Datos 3D después de rotación kΔΘ alrededor del eje vertical
- Paso angular: ΔΘ(N)=N180°, donde N es el número de MIPs
Para abordar el problema de oclusión de anotaciones de tumores por órganos de alta intensidad (como cerebro, corazón, riñones), se diseña un proceso de tres pasos:
- Detección de Oclusión: Verifica que al menos el 75% de los píxeles en cada tumor marcado provengan realmente de tumores en los datos PET volumétricos
- Segmentación de Anotaciones: Para marcas donde los píxeles tumorales representan <75%, retiene solo los píxeles confirmados como provenientes del tumor
- Filtrado de Bajo Contraste: Elimina residuos tumorales con contraste extremadamente bajo, imperceptibles al ojo humano
- Modelo de Segmentación: Attention U-Net, con mejor rendimiento entre diversas arquitecturas CNN
- Línea Base 3D: Arquitectura Swin-UNETR, basada en la solución clasificada 5ª en el desafío autoPET 2022
- Modelo de Clasificación: Codificador CNN + agrupación de atención + cabeza completamente conectada
- Diseño Alineado con el Dominio: Entrena directamente en vistas MIP comúnmente utilizadas por radiólogos, mejorando la relevancia clínica
- Optimización de Eficiencia Computacional: 16 MIPs representan solo aproximadamente el 4% de la información volumétrica, reduciendo significativamente memoria y requisitos computacionales
- Solución del Problema de Oclusión: Primera solución sistemática del problema de oclusión en anotaciones MIP
- Optimización End-to-End: Evita el flujo de dos etapas de segmentación 3D seguida de proyección
- Fuente de Datos: Conjunto de datos de código abierto autoPET 2022
- Escala: 1.014 escaneos PET/CT de 900 pacientes
- Tipos de Enfermedad: Cáncer de pulmón, linfoma, melanoma, controles saludables
- Distribución de Datos: Saludable (513), Linfoma (145), Melanoma (188), Cáncer de pulmón (168)
- Conjunto de prueba independiente: 15%
- Validación cruzada de 5 pliegues: 85%
- Distribución de clases mantenida consistente
Tarea de Segmentación:
- Puntuación Dice: Medida de superposición
- IoU: Intersección sobre Unión
- Distancia de Hausdorff: Precisión de límites
Tarea de Clasificación:
- Exactitud, Precisión, Recuperación, Puntuación F1
Métricas de Eficiencia:
- Tiempo de convergencia (CT): Tiempo para alcanzar rendimiento de validación máximo
- Tiempo de entrenamiento por época (TPE) y consumo de energía (EPE)
- Complejidad computacional (TFLOPs)
- Segmentación 3D Swin-UNETR seguida de proyección MIP
- Modelo de clasificación 3D con arquitectura CNN idéntica
| Método | Puntuación Dice | IoU | Distancia de Hausdorff |
|---|
| Proyección 3D | 0,597±0,05 | 0,471±0,04 | 139,614±8,42 |
| OR-MIPs | 0,578±0,01 | 0,452±0,01 | 102,813±9,61 |
| OC-MIPs | 0,591±0,01 | 0,466±0,01 | 102,26±9,53 |
| Métrica | Método 3D | OC-MIPs | Múltiplo de Mejora |
|---|
| Tiempo de Entrenamiento (horas) | 54,64±19,22 | 13,18±4,1 | 4,1× |
| Consumo de Energía por Época (Wh) | 142,2±79,1 | 34,194±4,7 | 4,2× |
| TFLOPs | 317,42±144,05 | 0,97±0,29 | 327× |
| Métrica | Datos 3D | 16 MIPs | Mejora |
|---|
| Exactitud (%) | 72,8±3,2 | 80,5±1,7 | +7,7% |
| Puntuación F1 (%) | 82,3±1,2 | 86,4±0,8 | +4,1% |
| Tiempo de Entrenamiento | 44,7±1,5 horas | 4,2±0,2 horas | 10,6× |
Mediante análisis sistemático del impacto de 16, 32, 48, 64 y 80 MIPs:
- Configuración Óptima: 48 MIPs proporcionan la puntuación Dice más alta y estable
- Significancia Estadística: Los entrenamientos con 16 y 32 MIPs muestran diferencias estadísticamente significativas
- Equilibrio de Eficiencia: 48 MIPs logran el mejor equilibrio entre rendimiento y eficiencia computacional
- Equivalencia de Rendimiento: La prueba de rango con signo de Wilcoxon muestra que el método MIP no tiene diferencias estadísticamente significativas con el método 3D (p=0,22)
- Precisión de Límites: El método MIP muestra mejor rendimiento en distancia de Hausdorff, con mejora del 26,7%
- Efectividad de Corrección de Oclusión: Solo el 0,57% de los tumores se excluyen completamente, manteniendo la integridad de las anotaciones
- Escalabilidad: Reducción de dos órdenes de magnitud en carga computacional, mejorando significativamente la viabilidad de aplicación clínica
- Tareas de Detección: Kawakami et al. utilizan YOLOv2 en MIPs multidireccionales para detectar captación fisiológica
- Aplicaciones de Clasificación: Takahashi et al. emplean modelo Xception para mejorar clasificación de cáncer de mama
- Extracción de Características: Toosi et al. extraen características de 72 MIPs para predicción de supervivencia
- Mejora de Segmentación 3D: Constantino et al. demuestran que MIP puede mejorar segmentación PET/CT 3D
- Reconstrucción Volumétrica: Toosi et al. reconstruyen segmentación volumétrica a partir de MIP 2D
- Métodos 2.75D: Wang et al. combinan múltiples vistas 2D para enriquecer aprendizaje 3D
- Primer método sistemático de segmentación directa en MIP
- Técnica innovadora para resolver el problema de oclusión en MIP
- Evaluación integral de eficiencia y rendimiento
- Diseño alineado con flujo de trabajo clínico
- Equivalencia de Rendimiento: La segmentación directa en MIP mantiene rendimiento comparable al método 3D mientras logra mejoras significativas en eficiencia computacional
- Configuración Óptima: 48 ángulos de vista MIP representan el mejor punto de equilibrio entre rendimiento y eficiencia
- Aplicabilidad Clínica: La reducción significativa de requisitos computacionales hace el método más adecuado para entornos clínicos con recursos limitados
- Generalidad del Método: Muestra ventajas tanto en tareas de segmentación como de clasificación
- Conjunto de Datos Único: Validación solo en conjunto de datos autoPET 2022, requiere validación más amplia
- Especialización en PET: El método actual se enfoca principalmente en datos PET, integración de CT pendiente de exploración
- Pérdida de Información 3D: El proceso de proyección inevitablemente pierde parte de la información espacial 3D
- Manejo de Oclusión: Aunque mejorado, casos complejos de oclusión aún pueden afectar el rendimiento
- Integración Multimodal: Mapear información de CT a MIP para análisis conjunto PET/CT
- Reconstrucción 3D: Explorar métodos para reconstruir anotaciones 3D a partir de resultados de segmentación MIP
- Validación Extendida: Verificar efectividad del método en más conjuntos de datos y tipos de enfermedades
- Aplicación en Tiempo Real: Desarrollar sistemas de segmentación MIP en tiempo real para apoyo en decisiones clínicas
- Innovación Fuerte: Primer método sistemático de segmentación directa en MIP, altamente alineado con práctica clínica
- Alto Valor Práctico: Las mejoras significativas de eficiencia hacen el método con fuerte potencial de aplicación clínica
- Solución Técnica Integral: Desde corrección de oclusión hasta análisis de parámetros óptimos, la solución técnica es completa
- Verificación Exhaustiva: Evaluación integral en tareas de segmentación y clasificación
- Buena Reproducibilidad: Código y herramientas disponibles públicamente
- Análisis Teórico Insuficiente: Falta análisis teórico profundo sobre por qué el método MIP logra rendimiento comparable
- Limitación de Conjunto de Datos: Un único conjunto de datos puede limitar la generalidad de las conclusiones
- Ausencia de Verificación Clínica: No se realizó verificación en entorno clínico real
- Métodos de Comparación Limitados: Comparación principalmente con métodos 3D básicos, falta comparación con métodos SOTA recientes
- Contribución Académica: Proporciona nuevo paradigma de alta eficiencia para segmentación en imagen médica
- Valor Clínico: Tiene potencial de mejorar significativamente la eficiencia del análisis automático de escaneos PET
- Promoción Tecnológica: El método es extensible a otras tareas de análisis de proyecciones en imagen médica
- Optimización de Recursos: Proporciona solución viable para entornos con recursos computacionales limitados
- Cribado Clínico: Análisis preliminar rápido en cribado de tumores a gran escala
- Entornos con Recursos Limitados: Instituciones médicas con recursos computacionales limitados
- Aplicaciones en Tiempo Real: Sistemas de apoyo en decisiones clínicas que requieren respuesta rápida
- Medicina Móvil: Análisis de imagen médica en dispositivos portátiles
Este artículo cita 34 referencias relacionadas, incluyendo principalmente:
- Marcos de procesamiento de imagen médica (MONAI, PyTorch)
- Fundamentos de tecnología de imagen PET/CT
- Métodos de segmentación y clasificación de aprendizaje profundo
- Aplicaciones de MIP en imagen médica
- Métricas de evaluación y conjuntos de datos relacionados
Evaluación General: Este es un artículo de alta calidad en procesamiento de imagen médica que propone un método de segmentación directa en MIP innovador y práctico. El artículo mantiene rigor académico mientras enfatiza aplicabilidad clínica, proporcionando una nueva solución de alta eficiencia para aplicaciones de IA en imagen médica. Aunque presenta algunas limitaciones, sus mejoras significativas de eficiencia y buen rendimiento le confieren importante valor académico y de aplicación.