2025-11-15T20:58:11.863584

MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach

Zarik, Kiryati, Green et al.
PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.
academic

Segmentazione Tumorale Basata su MIP: Un Approccio Ispirato alla Radiologia

Informazioni Fondamentali

  • ID Articolo: 2510.09326
  • Titolo: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
  • Autori: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
  • Classificazione: eess.IV (Electrical Engineering and Systems Science - Image and Video Processing)
  • Data di Pubblicazione: 10 ottobre 2025
  • Link Articolo: https://arxiv.org/abs/2510.09326v1

Riassunto

Questo articolo propone un metodo di segmentazione tumorale basato su Proiezioni di Massima Intensità Multi-Angolo (Multi-Angle Maximum Intensity Projections, MIPs), che addestra modelli di segmentazione direttamente su MIPs, anziché utilizzare il metodo tradizionale di segmentazione volumetrica 3D seguita da proiezione. Lo studio utilizza il dataset autoPET 2022 e, mantenendo prestazioni comparabili ai metodi 3D (differenza Dice ≤1%, miglioramento Hausdorff distance del 26,7%), raggiunge significativi miglioramenti in efficienza computazionale: riduzione del tempo di addestramento del 55,8-75,8%, riduzione del consumo energetico per epoca del 71,7-76%, e riduzione della complessità computazionale di due ordini di grandezza. Per i compiti di classificazione, utilizzando solo 16 MIPs si superano le prestazioni 3D, con riduzione del tempo di addestramento di oltre 10 volte.

Contesto di Ricerca e Motivazione

Definizione del Problema

L'imaging PET/CT è lo standard di riferimento per la rilevazione tumorale. Nella pratica clinica, i radiologi generalmente esaminano prima le Proiezioni di Massima Intensità multi-angolo ruotate per valutare i casi, quindi confermano i risultati attraverso sezioni volumetriche. Questo flusso di lavoro è particolarmente dispendioso in termini di tempo nei casi di metastasi.

Motivazione della Ricerca

  1. Disallineamento tra Pratica Clinica e Algoritmi: Sebbene le MIPs siano ampiamente utilizzate in clinica, la segmentazione automatica dei tumori rimane principalmente dipendente dai dati volumetrici 3D
  2. Necessità di Efficienza Computazionale: I metodi tradizionali di segmentazione 3D hanno elevata complessità computazionale e lunghi tempi di addestramento, non favorendo il deployment clinico
  3. Limitazioni di Risorse: È difficile elaborare dati 3D su larga scala con hardware standard
  4. Allineamento Disciplinare: L'addestramento diretto su MIPs è più coerente con il processo diagnostico dei radiologi

Limitazioni dei Metodi Esistenti

  • Il flusso di lavoro tradizionale di segmentazione 3D seguita da proiezione su MIPs comporta elevati costi computazionali
  • Le applicazioni MIP esistenti sono principalmente limitate a rilevazione e classificazione, con scarsa applicazione alla segmentazione
  • Mancano soluzioni efficaci per affrontare il problema dell'occlusione nelle MIPs
  • Non viene sfruttato adeguatamente il vantaggio di efficienza computazionale delle MIPs

Contributi Principali

  1. Metodo di Segmentazione Diretta su MIP: Propone un metodo per addestrare modelli di segmentazione direttamente su MIPs, evitando il complesso flusso di segmentazione 3D seguita da proiezione
  2. Tecnica di Correzione dell'Occlusione: Introduce un innovativo metodo di correzione dell'occlusione nelle annotazioni MIP per risolvere il problema dell'occlusione da parte di strutture ad alta intensità
  3. Significativo Miglioramento dell'Efficienza: Raggiunge notevole riduzione del tempo di addestramento, consumo energetico e volume computazionale mantenendo prestazioni comparabili
  4. Analisi del Numero Ottimale di MIPs: Analizza sistematicamente l'impatto del numero di MIPs sulle prestazioni di segmentazione, identificando 48 angoli di vista come configurazione ottimale

Dettagli del Metodo

Definizione del Compito

Input: Dati di scansione PET 3D Output: Risultati di segmentazione tumorale Obiettivo: Eseguire segmentazione semantica direttamente su MIPs multi-angolo, evitando l'elaborazione volumetrica 3D

Metodo di Generazione MIP

Le immagini MIP vengono generate mediante la seguente formula:

Fk(i,j)=maxdfk(i,j,d)F_k(i,j) = \max_d f_k(i,j,d)

Dove:

  • Fk(i,j)F_k(i,j): valore dell'immagine MIP k-esima al pixel (i,j)
  • fk(i,j,d)f_k(i,j,d): dati 3D ruotati di kΔΘk\Delta\Theta attorno all'asse verticale
  • Passo angolare: ΔΘ(N)=180°N\Delta\Theta(N) = \frac{180°}{N}, dove N è il numero di MIPs

Algoritmo di Correzione dell'Occlusione

Per affrontare il problema dell'occlusione di annotazioni tumorali da parte di organi ad alta intensità (come cervello, cuore, reni), è stato progettato un processo in tre fasi:

  1. Rilevamento dell'Occlusione: Verifica che almeno il 75% dei pixel in ogni tumore marcato provengano effettivamente dal tumore nei dati PET volumetrici
  2. Segmentazione dell'Annotazione: Per i marcatori con percentuale di pixel tumorali <75%, conserva solo i pixel confermati come provenienti dal tumore
  3. Filtro di Basso Contrasto: Rimuove i residui tumorali con contrasto estremamente basso, non rilevabili ad occhio nudo

Architettura del Modello

  • Modello di Segmentazione: Attention U-Net, che ha mostrato le migliori prestazioni tra varie architetture CNN
  • Baseline 3D: Architettura Swin-UNETR, basata sulla soluzione classificata 5ª nella sfida autoPET 2022
  • Modello di Classificazione: Encoder CNN + pooling con attenzione + head completamente connesso

Punti di Innovazione Tecnica

  1. Design Orientato al Dominio: Addestramento diretto su viste MIP comunemente utilizzate dai radiologi, aumentando la rilevanza clinica
  2. Ottimizzazione dell'Efficienza Computazionale: 16 MIPs rappresentano solo circa il 4% dell'informazione volumetrica, riducendo drasticamente memoria e requisiti computazionali
  3. Soluzione del Problema di Occlusione: Prima soluzione sistematica del problema di occlusione nelle annotazioni MIP
  4. Ottimizzazione End-to-End: Evita il flusso in due fasi di segmentazione 3D seguita da proiezione

Configurazione Sperimentale

Dataset

  • Fonte Dati: Dataset open-source autoPET 2022
  • Scala: 1.014 scansioni PET/CT da 900 pazienti
  • Tipi di Malattia: Cancro ai polmoni, linfoma, melanoma, controlli sani
  • Distribuzione Dati: Sani (513), Linfoma (145), Melanoma (188), Cancro ai polmoni (168)

Divisione dei Dati

  • Set di test indipendente: 15%
  • Validazione incrociata 5-fold: 85%
  • Mantenimento della distribuzione coerente per classe

Metriche di Valutazione

Compito di Segmentazione:

  • Dice Score: misura di sovrapposizione
  • IoU: rapporto intersezione-unione
  • Hausdorff Distance: accuratezza dei confini

Compito di Classificazione:

  • Accuracy, Precision, Recall, F1-score

Metriche di Efficienza:

  • Tempo di convergenza (CT): tempo per raggiungere le prestazioni di validazione di picco
  • Tempo di addestramento per epoca (TPE) e consumo energetico per epoca (EPE)
  • Complessità computazionale (TFLOPs)

Metodi di Confronto

  • Segmentazione 3D Swin-UNETR seguita da proiezione MIP
  • Modello di classificazione 3D con la stessa architettura CNN

Risultati Sperimentali

Risultati Principali

Confronto delle Prestazioni di Segmentazione

MetodoDice ScoreIoUHausdorff Distance
Proiezione 3D0,597±0,050,471±0,04139,614±8,42
OR-MIPs0,578±0,010,452±0,01102,813±9,61
OC-MIPs0,591±0,010,466±0,01102,26±9,53

Miglioramento dell'Efficienza

MetricaMetodo 3DOC-MIPsFattore di Miglioramento
Tempo di addestramento (ore)54,64±19,2213,18±4,14,1×
Consumo energetico per epoca (Wh)142,2±79,134,194±4,74,2×
TFLOPs317,42±144,050,97±0,29327×

Risultati di Classificazione

MetricaDati 3D16 MIPsMiglioramento
Accuratezza (%)72,8±3,280,5±1,7+7,7%
F1-score (%)82,3±1,286,4±0,8+4,1%
Tempo di addestramento44,7±1,5 ore4,2±0,2 ore10,6×

Analisi dell'Impatto del Numero di MIPs

Attraverso analisi sistematica dell'impatto di 16, 32, 48, 64, 80 MIPs:

  • Configurazione Ottimale: 48 MIPs forniscono il punteggio Dice più alto e stabile
  • Significatività Statistica: I training set con 16 e 32 MIPs mostrano differenze statisticamente significative
  • Equilibrio di Efficienza: 48 MIPs raggiungono il miglior equilibrio tra prestazioni e efficienza computazionale

Scoperte Importanti

  1. Equivalenza di Prestazioni: Il test dei ranghi con segno di Wilcoxon mostra nessuna differenza statisticamente significativa tra il metodo MIP e il metodo 3D (p=0,22)
  2. Accuratezza dei Confini: Il metodo MIP mostra prestazioni superiori in Hausdorff distance, con miglioramento del 26,7%
  3. Effetto della Correzione dell'Occlusione: Solo lo 0,57% dei tumori è stato completamente escluso, mantenendo l'integrità dell'annotazione
  4. Scalabilità: Riduzione della complessità computazionale di due ordini di grandezza, migliorando significativamente la fattibilità dell'applicazione clinica

Lavori Correlati

Applicazioni di MIP nell'Imaging Medico

  • Compiti di Rilevazione: Kawakami et al. utilizzano YOLOv2 su MIPs multi-direzionali per rilevare l'uptake fisiologico
  • Applicazioni di Classificazione: Takahashi et al. adottano il modello Xception per migliorare la classificazione del cancro al seno
  • Estrazione di Caratteristiche: Toosi et al. estraggono caratteristiche da 72 MIPs per la previsione della sopravvivenza

Sviluppo di Metodi di Proiezione 2D

  • Miglioramento della Segmentazione 3D: Constantino et al. dimostrano che le MIPs possono migliorare la segmentazione PET/CT 3D
  • Ricostruzione Volumetrica: Toosi et al. ricostruiscono la segmentazione volumetrica da MIPs 2D
  • Metodi 2.75D: Wang et al. combinano più viste 2D per arricchire l'apprendimento 3D

Vantaggi Relativi di Questo Articolo

  • Primo metodo sistematico di segmentazione diretta su MIP
  • Tecnica innovativa per risolvere il problema di occlusione nelle MIPs
  • Valutazione completa di efficienza e prestazioni
  • Design orientato all'allineamento del flusso di lavoro clinico

Conclusioni e Discussione

Conclusioni Principali

  1. Equivalenza di Prestazioni: La segmentazione diretta su MIP mantiene prestazioni comparabili ai metodi 3D mentre raggiunge significativi miglioramenti di efficienza computazionale
  2. Configurazione Ottimale: 48 angoli di vista MIP rappresentano il miglior punto di equilibrio tra prestazioni ed efficienza
  3. Applicabilità Clinica: La drastica riduzione dei requisiti computazionali rende il metodo più adatto agli ambienti clinici con risorse limitate
  4. Universalità del Metodo: Mostra vantaggi sia nei compiti di segmentazione che di classificazione

Limitazioni

  1. Dataset Singolo: Validazione solo su dataset autoPET 2022, necessita di validazione più ampia
  2. Specifico per PET: Il metodo attuale è principalmente orientato ai dati PET, l'integrazione con CT rimane da esplorare
  3. Perdita di Informazioni 3D: Il processo di proiezione inevitabilmente perde parte dell'informazione spaziale 3D
  4. Gestione dell'Occlusione: Sebbene migliorata, i casi di occlusione complessa potrebbero ancora influenzare le prestazioni

Direzioni Future

  1. Integrazione Multi-Modale: Mappare le informazioni CT nelle MIPs per realizzare analisi congiunta PET/CT
  2. Ricostruzione 3D: Esplorare metodi per ricostruire annotazioni 3D dai risultati di segmentazione MIP
  3. Validazione Estesa: Verificare l'efficacia del metodo su più dataset e tipi di malattia
  4. Applicazioni in Tempo Reale: Sviluppare sistemi di segmentazione MIP in tempo reale per supportare le decisioni cliniche

Valutazione Approfondita

Punti di Forza

  1. Forte Innovatività: Primo metodo sistematico di segmentazione diretta su MIP, altamente allineato con la pratica clinica
  2. Elevato Valore Pratico: Il significativo miglioramento dell'efficienza conferisce al metodo un forte potenziale di applicazione clinica
  3. Soluzione Tecnica Completa: Dalla correzione dell'occlusione all'analisi dei parametri ottimali, la soluzione tecnica è completa
  4. Valutazione Completa: Valutazione approfondita sia nei compiti di segmentazione che di classificazione
  5. Buona Riproducibilità: Codice e strumenti sono pubblicamente disponibili

Insufficienze

  1. Analisi Teorica Limitata: Manca un'analisi teorica approfondita del perché il metodo MIP raggiunge prestazioni comparabili
  2. Limitazioni del Dataset: Un singolo dataset potrebbe limitare la generalizzabilità delle conclusioni
  3. Assenza di Validazione Clinica: Non sono stati condotti studi di validazione in ambienti clinici reali
  4. Metodi di Confronto Limitati: Il confronto è principalmente con metodi 3D di base, mancano confronti con metodi SOTA recenti

Impatto

  1. Contributo Accademico: Fornisce un nuovo paradigma efficiente per la segmentazione nell'imaging medico
  2. Valore Clinico: Promette di migliorare significativamente l'efficienza dell'analisi automatica delle scansioni PET
  3. Promozione Tecnologica: Il metodo è estendibile ad altri compiti di analisi di proiezione nell'imaging medico
  4. Ottimizzazione delle Risorse: Fornisce una soluzione fattibile per ambienti con risorse computazionali limitate

Scenari di Applicazione

  1. Screening Clinico: Analisi preliminare rapida in screening tumorale su larga scala
  2. Ambienti con Risorse Limitate: Strutture mediche con risorse computazionali limitate
  3. Applicazioni in Tempo Reale: Sistemi di supporto alle decisioni cliniche che richiedono risposte rapide
  4. Medicina Mobile: Analisi dell'imaging medico su dispositivi portatili

Bibliografia

Questo articolo cita 34 riferimenti correlati, principalmente includenti:

  • Framework di elaborazione dell'imaging medico (MONAI, PyTorch)
  • Fondamenti della tecnologia di imaging PET/CT
  • Metodi di segmentazione e classificazione con deep learning
  • Applicazioni di MIP nell'imaging medico
  • Metriche di valutazione e dataset correlati

Valutazione Complessiva: Questo è un articolo di alta qualità nell'elaborazione dell'imaging medico che propone un metodo innovativo e pratico di segmentazione diretta su MIP. L'articolo, mantenendo il rigore accademico, enfatizza l'applicabilità clinica, fornendo una nuova soluzione efficiente per le applicazioni di AI nell'imaging medico. Sebbene presenti alcune limitazioni, il significativo miglioramento dell'efficienza e le buone prestazioni conferiscono all'articolo importante valore sia accademico che applicativo.