PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.
- ID Articolo: 2510.09326
- Titolo: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
- Autori: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
- Classificazione: eess.IV (Electrical Engineering and Systems Science - Image and Video Processing)
- Data di Pubblicazione: 10 ottobre 2025
- Link Articolo: https://arxiv.org/abs/2510.09326v1
Questo articolo propone un metodo di segmentazione tumorale basato su Proiezioni di Massima Intensità Multi-Angolo (Multi-Angle Maximum Intensity Projections, MIPs), che addestra modelli di segmentazione direttamente su MIPs, anziché utilizzare il metodo tradizionale di segmentazione volumetrica 3D seguita da proiezione. Lo studio utilizza il dataset autoPET 2022 e, mantenendo prestazioni comparabili ai metodi 3D (differenza Dice ≤1%, miglioramento Hausdorff distance del 26,7%), raggiunge significativi miglioramenti in efficienza computazionale: riduzione del tempo di addestramento del 55,8-75,8%, riduzione del consumo energetico per epoca del 71,7-76%, e riduzione della complessità computazionale di due ordini di grandezza. Per i compiti di classificazione, utilizzando solo 16 MIPs si superano le prestazioni 3D, con riduzione del tempo di addestramento di oltre 10 volte.
L'imaging PET/CT è lo standard di riferimento per la rilevazione tumorale. Nella pratica clinica, i radiologi generalmente esaminano prima le Proiezioni di Massima Intensità multi-angolo ruotate per valutare i casi, quindi confermano i risultati attraverso sezioni volumetriche. Questo flusso di lavoro è particolarmente dispendioso in termini di tempo nei casi di metastasi.
- Disallineamento tra Pratica Clinica e Algoritmi: Sebbene le MIPs siano ampiamente utilizzate in clinica, la segmentazione automatica dei tumori rimane principalmente dipendente dai dati volumetrici 3D
- Necessità di Efficienza Computazionale: I metodi tradizionali di segmentazione 3D hanno elevata complessità computazionale e lunghi tempi di addestramento, non favorendo il deployment clinico
- Limitazioni di Risorse: È difficile elaborare dati 3D su larga scala con hardware standard
- Allineamento Disciplinare: L'addestramento diretto su MIPs è più coerente con il processo diagnostico dei radiologi
- Il flusso di lavoro tradizionale di segmentazione 3D seguita da proiezione su MIPs comporta elevati costi computazionali
- Le applicazioni MIP esistenti sono principalmente limitate a rilevazione e classificazione, con scarsa applicazione alla segmentazione
- Mancano soluzioni efficaci per affrontare il problema dell'occlusione nelle MIPs
- Non viene sfruttato adeguatamente il vantaggio di efficienza computazionale delle MIPs
- Metodo di Segmentazione Diretta su MIP: Propone un metodo per addestrare modelli di segmentazione direttamente su MIPs, evitando il complesso flusso di segmentazione 3D seguita da proiezione
- Tecnica di Correzione dell'Occlusione: Introduce un innovativo metodo di correzione dell'occlusione nelle annotazioni MIP per risolvere il problema dell'occlusione da parte di strutture ad alta intensità
- Significativo Miglioramento dell'Efficienza: Raggiunge notevole riduzione del tempo di addestramento, consumo energetico e volume computazionale mantenendo prestazioni comparabili
- Analisi del Numero Ottimale di MIPs: Analizza sistematicamente l'impatto del numero di MIPs sulle prestazioni di segmentazione, identificando 48 angoli di vista come configurazione ottimale
Input: Dati di scansione PET 3D
Output: Risultati di segmentazione tumorale
Obiettivo: Eseguire segmentazione semantica direttamente su MIPs multi-angolo, evitando l'elaborazione volumetrica 3D
Le immagini MIP vengono generate mediante la seguente formula:
Fk(i,j)=maxdfk(i,j,d)
Dove:
- Fk(i,j): valore dell'immagine MIP k-esima al pixel (i,j)
- fk(i,j,d): dati 3D ruotati di kΔΘ attorno all'asse verticale
- Passo angolare: ΔΘ(N)=N180°, dove N è il numero di MIPs
Per affrontare il problema dell'occlusione di annotazioni tumorali da parte di organi ad alta intensità (come cervello, cuore, reni), è stato progettato un processo in tre fasi:
- Rilevamento dell'Occlusione: Verifica che almeno il 75% dei pixel in ogni tumore marcato provengano effettivamente dal tumore nei dati PET volumetrici
- Segmentazione dell'Annotazione: Per i marcatori con percentuale di pixel tumorali <75%, conserva solo i pixel confermati come provenienti dal tumore
- Filtro di Basso Contrasto: Rimuove i residui tumorali con contrasto estremamente basso, non rilevabili ad occhio nudo
- Modello di Segmentazione: Attention U-Net, che ha mostrato le migliori prestazioni tra varie architetture CNN
- Baseline 3D: Architettura Swin-UNETR, basata sulla soluzione classificata 5ª nella sfida autoPET 2022
- Modello di Classificazione: Encoder CNN + pooling con attenzione + head completamente connesso
- Design Orientato al Dominio: Addestramento diretto su viste MIP comunemente utilizzate dai radiologi, aumentando la rilevanza clinica
- Ottimizzazione dell'Efficienza Computazionale: 16 MIPs rappresentano solo circa il 4% dell'informazione volumetrica, riducendo drasticamente memoria e requisiti computazionali
- Soluzione del Problema di Occlusione: Prima soluzione sistematica del problema di occlusione nelle annotazioni MIP
- Ottimizzazione End-to-End: Evita il flusso in due fasi di segmentazione 3D seguita da proiezione
- Fonte Dati: Dataset open-source autoPET 2022
- Scala: 1.014 scansioni PET/CT da 900 pazienti
- Tipi di Malattia: Cancro ai polmoni, linfoma, melanoma, controlli sani
- Distribuzione Dati: Sani (513), Linfoma (145), Melanoma (188), Cancro ai polmoni (168)
- Set di test indipendente: 15%
- Validazione incrociata 5-fold: 85%
- Mantenimento della distribuzione coerente per classe
Compito di Segmentazione:
- Dice Score: misura di sovrapposizione
- IoU: rapporto intersezione-unione
- Hausdorff Distance: accuratezza dei confini
Compito di Classificazione:
- Accuracy, Precision, Recall, F1-score
Metriche di Efficienza:
- Tempo di convergenza (CT): tempo per raggiungere le prestazioni di validazione di picco
- Tempo di addestramento per epoca (TPE) e consumo energetico per epoca (EPE)
- Complessità computazionale (TFLOPs)
- Segmentazione 3D Swin-UNETR seguita da proiezione MIP
- Modello di classificazione 3D con la stessa architettura CNN
| Metodo | Dice Score | IoU | Hausdorff Distance |
|---|
| Proiezione 3D | 0,597±0,05 | 0,471±0,04 | 139,614±8,42 |
| OR-MIPs | 0,578±0,01 | 0,452±0,01 | 102,813±9,61 |
| OC-MIPs | 0,591±0,01 | 0,466±0,01 | 102,26±9,53 |
| Metrica | Metodo 3D | OC-MIPs | Fattore di Miglioramento |
|---|
| Tempo di addestramento (ore) | 54,64±19,22 | 13,18±4,1 | 4,1× |
| Consumo energetico per epoca (Wh) | 142,2±79,1 | 34,194±4,7 | 4,2× |
| TFLOPs | 317,42±144,05 | 0,97±0,29 | 327× |
| Metrica | Dati 3D | 16 MIPs | Miglioramento |
|---|
| Accuratezza (%) | 72,8±3,2 | 80,5±1,7 | +7,7% |
| F1-score (%) | 82,3±1,2 | 86,4±0,8 | +4,1% |
| Tempo di addestramento | 44,7±1,5 ore | 4,2±0,2 ore | 10,6× |
Attraverso analisi sistematica dell'impatto di 16, 32, 48, 64, 80 MIPs:
- Configurazione Ottimale: 48 MIPs forniscono il punteggio Dice più alto e stabile
- Significatività Statistica: I training set con 16 e 32 MIPs mostrano differenze statisticamente significative
- Equilibrio di Efficienza: 48 MIPs raggiungono il miglior equilibrio tra prestazioni e efficienza computazionale
- Equivalenza di Prestazioni: Il test dei ranghi con segno di Wilcoxon mostra nessuna differenza statisticamente significativa tra il metodo MIP e il metodo 3D (p=0,22)
- Accuratezza dei Confini: Il metodo MIP mostra prestazioni superiori in Hausdorff distance, con miglioramento del 26,7%
- Effetto della Correzione dell'Occlusione: Solo lo 0,57% dei tumori è stato completamente escluso, mantenendo l'integrità dell'annotazione
- Scalabilità: Riduzione della complessità computazionale di due ordini di grandezza, migliorando significativamente la fattibilità dell'applicazione clinica
- Compiti di Rilevazione: Kawakami et al. utilizzano YOLOv2 su MIPs multi-direzionali per rilevare l'uptake fisiologico
- Applicazioni di Classificazione: Takahashi et al. adottano il modello Xception per migliorare la classificazione del cancro al seno
- Estrazione di Caratteristiche: Toosi et al. estraggono caratteristiche da 72 MIPs per la previsione della sopravvivenza
- Miglioramento della Segmentazione 3D: Constantino et al. dimostrano che le MIPs possono migliorare la segmentazione PET/CT 3D
- Ricostruzione Volumetrica: Toosi et al. ricostruiscono la segmentazione volumetrica da MIPs 2D
- Metodi 2.75D: Wang et al. combinano più viste 2D per arricchire l'apprendimento 3D
- Primo metodo sistematico di segmentazione diretta su MIP
- Tecnica innovativa per risolvere il problema di occlusione nelle MIPs
- Valutazione completa di efficienza e prestazioni
- Design orientato all'allineamento del flusso di lavoro clinico
- Equivalenza di Prestazioni: La segmentazione diretta su MIP mantiene prestazioni comparabili ai metodi 3D mentre raggiunge significativi miglioramenti di efficienza computazionale
- Configurazione Ottimale: 48 angoli di vista MIP rappresentano il miglior punto di equilibrio tra prestazioni ed efficienza
- Applicabilità Clinica: La drastica riduzione dei requisiti computazionali rende il metodo più adatto agli ambienti clinici con risorse limitate
- Universalità del Metodo: Mostra vantaggi sia nei compiti di segmentazione che di classificazione
- Dataset Singolo: Validazione solo su dataset autoPET 2022, necessita di validazione più ampia
- Specifico per PET: Il metodo attuale è principalmente orientato ai dati PET, l'integrazione con CT rimane da esplorare
- Perdita di Informazioni 3D: Il processo di proiezione inevitabilmente perde parte dell'informazione spaziale 3D
- Gestione dell'Occlusione: Sebbene migliorata, i casi di occlusione complessa potrebbero ancora influenzare le prestazioni
- Integrazione Multi-Modale: Mappare le informazioni CT nelle MIPs per realizzare analisi congiunta PET/CT
- Ricostruzione 3D: Esplorare metodi per ricostruire annotazioni 3D dai risultati di segmentazione MIP
- Validazione Estesa: Verificare l'efficacia del metodo su più dataset e tipi di malattia
- Applicazioni in Tempo Reale: Sviluppare sistemi di segmentazione MIP in tempo reale per supportare le decisioni cliniche
- Forte Innovatività: Primo metodo sistematico di segmentazione diretta su MIP, altamente allineato con la pratica clinica
- Elevato Valore Pratico: Il significativo miglioramento dell'efficienza conferisce al metodo un forte potenziale di applicazione clinica
- Soluzione Tecnica Completa: Dalla correzione dell'occlusione all'analisi dei parametri ottimali, la soluzione tecnica è completa
- Valutazione Completa: Valutazione approfondita sia nei compiti di segmentazione che di classificazione
- Buona Riproducibilità: Codice e strumenti sono pubblicamente disponibili
- Analisi Teorica Limitata: Manca un'analisi teorica approfondita del perché il metodo MIP raggiunge prestazioni comparabili
- Limitazioni del Dataset: Un singolo dataset potrebbe limitare la generalizzabilità delle conclusioni
- Assenza di Validazione Clinica: Non sono stati condotti studi di validazione in ambienti clinici reali
- Metodi di Confronto Limitati: Il confronto è principalmente con metodi 3D di base, mancano confronti con metodi SOTA recenti
- Contributo Accademico: Fornisce un nuovo paradigma efficiente per la segmentazione nell'imaging medico
- Valore Clinico: Promette di migliorare significativamente l'efficienza dell'analisi automatica delle scansioni PET
- Promozione Tecnologica: Il metodo è estendibile ad altri compiti di analisi di proiezione nell'imaging medico
- Ottimizzazione delle Risorse: Fornisce una soluzione fattibile per ambienti con risorse computazionali limitate
- Screening Clinico: Analisi preliminare rapida in screening tumorale su larga scala
- Ambienti con Risorse Limitate: Strutture mediche con risorse computazionali limitate
- Applicazioni in Tempo Reale: Sistemi di supporto alle decisioni cliniche che richiedono risposte rapide
- Medicina Mobile: Analisi dell'imaging medico su dispositivi portatili
Questo articolo cita 34 riferimenti correlati, principalmente includenti:
- Framework di elaborazione dell'imaging medico (MONAI, PyTorch)
- Fondamenti della tecnologia di imaging PET/CT
- Metodi di segmentazione e classificazione con deep learning
- Applicazioni di MIP nell'imaging medico
- Metriche di valutazione e dataset correlati
Valutazione Complessiva: Questo è un articolo di alta qualità nell'elaborazione dell'imaging medico che propone un metodo innovativo e pratico di segmentazione diretta su MIP. L'articolo, mantenendo il rigore accademico, enfatizza l'applicabilità clinica, fornendo una nuova soluzione efficiente per le applicazioni di AI nell'imaging medico. Sebbene presenti alcune limitazioni, il significativo miglioramento dell'efficienza e le buone prestazioni conferiscono all'articolo importante valore sia accademico che applicativo.