PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.
- ID de l'article : 2510.09326
- Titre : MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
- Auteurs : Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
- Classification : eess.IV (Génie Électrique et Science des Systèmes - Traitement d'Images et Vidéos)
- Date de Publication : 10 octobre 2025
- Lien de l'article : https://arxiv.org/abs/2510.09326v1
Cet article propose une méthode de segmentation de tumeurs basée sur les projections d'intensité maximale multi-angles (Multi-Angle Maximum Intensity Projections, MIPs), qui entraîne directement les modèles de segmentation sur les MIPs plutôt que d'utiliser l'approche traditionnelle de segmentation volumétrique 3D suivie d'une projection. L'étude utilise l'ensemble de données autoPET 2022 et démontre que, tout en maintenant des performances comparables aux méthodes 3D (différence de Dice ≤ 1 %, amélioration de la distance de Hausdorff de 26,7 %), elle améliore considérablement l'efficacité computationnelle : réduction du temps d'entraînement de 55,8 à 75,8 %, réduction de la consommation énergétique par époque de 71,7 à 76 %, et réduction de la complexité computationnelle de deux ordres de grandeur. Pour les tâches de classification, l'utilisation de seulement 16 MIPs surpasse les performances 3D, avec une réduction du temps d'entraînement de plus de 10 fois.
L'imagerie PET/CT est l'étalon-or pour la détection des tumeurs. Dans la pratique clinique, les radiologues examinent généralement d'abord les projections d'intensité maximale multi-angles (MIPs) en rotation pour évaluer les cas, puis confirment les découvertes par examen des coupes volumétriques. Ce flux de travail est particulièrement chronophage dans les cas de métastases.
- Décalage entre la pratique clinique et les algorithmes : Bien que les MIPs soient largement utilisés en clinique, la segmentation automatisée des tumeurs repose principalement sur les données volumétriques 3D
- Besoin d'efficacité computationnelle : Les méthodes de segmentation 3D traditionnelles présentent une complexité computationnelle élevée et des temps d'entraînement longs, ce qui entrave le déploiement clinique
- Limitations des ressources : Difficultés à traiter les données 3D à grande échelle sur du matériel standard
- Alignement du domaine : L'entraînement direct sur les MIPs s'aligne mieux avec la pensée diagnostique des radiologues
- Le flux de travail traditionnel de segmentation volumétrique 3D suivie d'une projection vers les MIPs entraîne une surcharge computationnelle importante
- Les applications MIP existantes se limitent principalement à la détection et la classification, avec peu d'applications de segmentation
- Absence de solutions efficaces pour traiter le problème d'occlusion dans les MIPs
- Sous-exploitation des avantages d'efficacité computationnelle des MIPs
- Méthode de segmentation MIP directe : Proposition d'une méthode d'entraînement de modèles de segmentation directement sur les MIPs, évitant le flux de travail complexe de segmentation 3D suivie d'une projection
- Technique de correction d'occlusion : Introduction d'une méthode novatrice de correction d'occlusion des annotations MIP, résolvant le problème d'occlusion par les structures de haute intensité
- Amélioration significative de l'efficacité : Réalisation de réductions importantes du temps d'entraînement, de la consommation énergétique et de la charge computationnelle tout en maintenant des performances comparables
- Analyse du nombre optimal de MIPs : Analyse systématique de l'impact du nombre de MIPs sur les performances de segmentation, déterminant 48 angles de vue comme configuration optimale
Entrée : Données de balayage PET 3D
Sortie : Résultats de segmentation de tumeur
Objectif : Effectuer directement une segmentation sémantique sur les MIPs multi-angles, en évitant le traitement volumétrique 3D
Les images MIP sont générées selon la formule suivante :
Fk(i,j)=maxdfk(i,j,d)
Où :
- Fk(i,j) : Valeur de la k-ième image MIP au pixel (i,j)
- fk(i,j,d) : Données 3D après rotation de kΔΘ autour de l'axe vertical
- Pas angulaire : ΔΘ(N)=N180°, N étant le nombre de MIPs
Pour résoudre le problème d'occlusion des annotations de tumeurs par les organes de haute intensité (cerveau, cœur, reins), un processus de traitement en trois étapes a été conçu :
- Détection d'occlusion : Vérification que chaque tumeur annotée contient au moins 75 % de pixels provenant effectivement de la tumeur dans les données PET volumétriques
- Segmentation des annotations : Pour les annotations où les pixels tumoraux représentent moins de 75 %, seuls les pixels confirmés comme provenant de la tumeur sont conservés
- Filtrage du faible contraste : Suppression des résidus tumoraux présentant un contraste extrêmement faible et imperceptibles à l'œil nu
- Modèle de segmentation : Attention U-Net, présentant les meilleures performances parmi diverses architectures CNN
- Référence 3D : Architecture Swin-UNETR, basée sur la solution classée 5e du défi autoPET 2022
- Modèle de classification : Encodeur CNN + pooling d'attention + tête entièrement connectée
- Conception d'alignement du domaine : Entraînement direct sur les vues MIP couramment utilisées par les radiologues, améliorant la pertinence clinique
- Optimisation de l'efficacité computationnelle : 16 MIPs ne représentent qu'environ 4 % de l'information volumétrique, réduisant considérablement la mémoire et les besoins computationnels
- Résolution du problème d'occlusion : Première approche systématique pour résoudre le problème d'occlusion dans les annotations MIP
- Optimisation bout à bout : Évite le flux de travail en deux étapes de segmentation 3D suivie d'une projection
- Source des données : Ensemble de données open-source autoPET 2022
- Échelle : 1 014 balayages PET/CT provenant de 900 patients
- Types de maladies : Cancer du poumon, lymphome, mélanome, témoins sains
- Distribution des données : Sains (513), lymphome (145), mélanome (188), cancer du poumon (168)
- Ensemble de test indépendant : 15 %
- Validation croisée 5 fois : 85 %
- Maintien de la distribution cohérente de chaque classe
Tâche de segmentation :
- Score Dice : Mesure de chevauchement
- IoU : Ratio intersection-union
- Distance de Hausdorff : Précision des frontières
Tâche de classification :
- Accuracy, Precision, Recall, F1-score
Métriques d'efficacité :
- Temps de convergence (CT) : Temps pour atteindre les performances de validation maximales
- Temps d'entraînement par époque (TPE) et consommation énergétique (EPE)
- Complexité computationnelle (TFLOPs)
- Segmentation Swin-UNETR 3D suivie d'une projection MIP
- Modèle de classification 3D avec la même architecture CNN
| Méthode | Score Dice | IoU | Distance de Hausdorff |
|---|
| Projection 3D | 0,597±0,05 | 0,471±0,04 | 139,614±8,42 |
| OR-MIPs | 0,578±0,01 | 0,452±0,01 | 102,813±9,61 |
| OC-MIPs | 0,591±0,01 | 0,466±0,01 | 102,26±9,53 |
| Métrique | Méthode 3D | OC-MIPs | Facteur d'Amélioration |
|---|
| Temps d'entraînement (heures) | 54,64±19,22 | 13,18±4,1 | 4,1× |
| Consommation énergétique par époque (Wh) | 142,2±79,1 | 34,194±4,7 | 4,2× |
| TFLOPs | 317,42±144,05 | 0,97±0,29 | 327× |
| Métrique | Données 3D | 16 MIPs | Amélioration |
|---|
| Précision (%) | 72,8±3,2 | 80,5±1,7 | +7,7% |
| Score F1 (%) | 82,3±1,2 | 86,4±0,8 | +4,1% |
| Temps d'entraînement | 44,7±1,5 heures | 4,2±0,2 heures | 10,6× |
Analyse systématique de l'impact de 16, 32, 48, 64 et 80 MIPs :
- Configuration optimale : 48 MIPs fournissent le score Dice le plus élevé et le plus stable
- Signification statistique : Les entraînements avec 16 et 32 MIPs montrent des différences statistiquement significatives sur l'ensemble d'entraînement
- Équilibre d'efficacité : 48 MIPs atteignent le meilleur équilibre entre performance et efficacité computationnelle
- Équivalence de performance : Le test de rang signé de Wilcoxon montre aucune différence statistiquement significative entre la méthode MIP et la méthode 3D (p=0,22)
- Précision des frontières : La méthode MIP montre de meilleures performances en distance de Hausdorff, avec une amélioration de 26,7 %
- Efficacité de la correction d'occlusion : Seulement 0,57 % des tumeurs sont complètement exclues, préservant l'intégrité des annotations
- Scalabilité : Réduction de deux ordres de grandeur de la charge computationnelle, améliorant considérablement la faisabilité de l'application clinique
- Tâches de détection : Kawakami et al. utilisent YOLOv2 pour détecter les captations physiologiques sur les MIPs multi-directionnels
- Applications de classification : Takahashi et al. emploient le modèle Xception pour améliorer la classification du cancer du sein
- Extraction de caractéristiques : Toosi et al. extraient des caractéristiques à partir de 72 MIPs pour la prédiction de survie
- Amélioration de la segmentation 3D : Constantino et al. démontrent que les MIPs peuvent améliorer la segmentation PET/CT 3D
- Reconstruction volumétrique : Toosi et al. reconstruisent la segmentation volumétrique à partir des MIPs 2D
- Méthodes 2,75D : Wang et al. combinent plusieurs vues 2D pour enrichir l'apprentissage 3D
- Première approche systématique de segmentation MIP directe
- Technique innovante pour résoudre le problème d'occlusion dans les MIPs
- Évaluation complète de l'efficacité et des performances
- Conception alignée avec le flux de travail clinique
- Équivalence de performance : La segmentation MIP directe maintient des performances comparables aux méthodes 3D tout en améliorant considérablement l'efficacité computationnelle
- Configuration optimale : 48 angles de vue MIP représentent le meilleur équilibre entre performance et efficacité
- Applicabilité clinique : La réduction significative des besoins computationnels rend la méthode plus adaptée aux environnements cliniques aux ressources limitées
- Généralité de la méthode : La méthode montre des avantages tant pour les tâches de segmentation que de classification
- Ensemble de données unique : Validation effectuée uniquement sur l'ensemble de données autoPET 2022, nécessitant une validation plus large
- Spécificité au PET : La méthode actuelle cible principalement les données PET, l'intégration du CT reste à explorer
- Perte d'information 3D : Le processus de projection entraîne inévitablement une perte partielle d'information spatiale 3D
- Traitement d'occlusion : Bien qu'amélioré, les cas d'occlusion complexes peuvent toujours affecter les performances
- Intégration multimodale : Cartographier les informations CT dans les MIPs pour réaliser une analyse conjointe PET/CT
- Reconstruction 3D : Explorer les méthodes de reconstruction d'annotations 3D à partir des résultats de segmentation MIP
- Validation étendue : Valider la méthode sur davantage d'ensembles de données et de types de maladies
- Applications en temps réel : Développer des systèmes de segmentation MIP en temps réel pour soutenir la prise de décision clinique
- Innovation forte : Première approche systématique de segmentation MIP directe, hautement alignée avec la pratique clinique
- Valeur pratique élevée : Les améliorations significatives d'efficacité confèrent à la méthode un fort potentiel d'application clinique
- Solution technique complète : De la correction d'occlusion à l'analyse des paramètres optimaux, la solution technique est complète
- Évaluation complète : Évaluation exhaustive sur les tâches de segmentation et de classification
- Bonne reproductibilité : Code et outils disponibles publiquement
- Analyse théorique insuffisante : Manque d'analyse théorique approfondie expliquant pourquoi la méthode MIP atteint des performances comparables
- Limitations de l'ensemble de données : Un ensemble de données unique peut limiter la généralité des conclusions
- Absence de validation clinique : Pas de validation en environnement clinique réel
- Comparaisons limitées : Comparaisons principalement avec des méthodes 3D de base, manque de comparaisons avec les méthodes SOTA récentes
- Contribution académique : Propose un nouveau paradigme efficace pour la segmentation en imagerie médicale
- Valeur clinique : Susceptible d'améliorer considérablement l'efficacité de l'analyse automatisée des balayages PET
- Promotion technologique : La méthode peut s'étendre à d'autres tâches d'analyse de projection en imagerie médicale
- Optimisation des ressources : Fournit une solution viable pour les environnements aux ressources limitées
- Dépistage clinique : Analyse initiale rapide dans les dépistages de tumeurs à grande échelle
- Environnements aux ressources limitées : Institutions médicales avec ressources computationnelles limitées
- Applications en temps réel : Systèmes d'aide à la décision clinique nécessitant une réponse rapide
- Médecine mobile : Analyse d'imagerie médicale sur appareils portables
Cet article cite 34 références connexes, incluant principalement :
- Cadres de traitement d'imagerie médicale (MONAI, PyTorch)
- Fondamentaux de la technologie d'imagerie PET/CT
- Méthodes de segmentation et classification par apprentissage profond
- Applications des MIPs en imagerie médicale
- Métriques d'évaluation et ensembles de données connexes
Évaluation Globale : Ceci est un article de haute qualité en traitement d'imagerie médicale, proposant une méthode innovante et pratique de segmentation MIP directe. L'article maintient la rigueur académique tout en soulignant l'applicabilité clinique, offrant une nouvelle solution efficace pour les applications d'IA en imagerie médicale. Bien que présentant certaines limitations, les améliorations significatives d'efficacité et les bonnes performances en font un travail d'importance académique et applicative considérable.