2025-11-15T20:58:11.863584

MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach

Zarik, Kiryati, Green et al.

PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.

academic

MIP-आधारित ट्यूमर विभाजन: एक रेडियोलॉजिस्ट-प्रेरित दृष्टिकोण

मूल जानकारी

पेपर ID: 2510.09326
शीर्षक: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
लेखक: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
वर्गीकरण: eess.IV (विद्युत अभियांत्रिकी और प्रणाली विज्ञान - छवि और वीडियो प्रसंस्करण)
प्रकाशन समय: 25 अक्टूबर 10, 2025
पेपर लिंक: https://arxiv.org/abs/2510.09326v1

सारांश

यह पेपर बहु-कोण अधिकतम तीव्रता प्रक्षेपण (Multi-Angle Maximum Intensity Projections, MIPs) के आधार पर ट्यूमर विभाजन की एक विधि प्रस्तावित करता है, जो MIPs पर सीधे विभाजन मॉडल को प्रशिक्षित करता है, न कि पारंपरिक 3D वॉल्यूम विभाजन के बाद प्रक्षेपण के तरीके को। अध्ययन autoPET 2022 डेटासेट का उपयोग करता है, 3D विधि के साथ तुलनीय प्रदर्शन बनाए रखते हुए (Dice अंतर ≤1%, Hausdorff दूरी में 26.7% सुधार), कम्प्यूटेशनल दक्षता में उल्लेखनीय सुधार: प्रशिक्षण समय में 55.8-75.8% की कमी, प्रति चक्र ऊर्जा खपत में 71.7-76% की कमी, कम्प्यूटेशनल जटिलता में दो परिमाण की कमी। वर्गीकरण कार्य के लिए, केवल 16 MIPs का उपयोग करके 3D प्रदर्शन से आगे निकल गया, प्रशिक्षण समय में 10 गुना से अधिक की कमी।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

PET/CT इमेजिंग ट्यूमर का पता लगाने का स्वर्ण मानक है। नैदानिक अभ्यास में, रेडियोलॉजिस्ट आमतौर पर पहले घूर्णन बहु-कोण अधिकतम तीव्रता प्रक्षेपण (MIPs) को देखते हैं ताकि मामले का मूल्यांकन किया जा सके, फिर वॉल्यूम स्लाइस के माध्यम से निष्कर्षों की पुष्टि की जा सके। यह कार्यप्रवाह मेटास्टेटिक मामलों में विशेष रूप से समय लेने वाला है।

अनुसंधान प्रेरणा

नैदानिक अभ्यास और एल्गोरिदम का असंतुलन: हालांकि MIPs नैदानिक रूप से व्यापक रूप से उपयोग किए जाते हैं, स्वचालित ट्यूमर विभाजन मुख्य रूप से 3D वॉल्यूम डेटा पर निर्भर करता है
कम्प्यूटेशनल दक्षता की आवश्यकता: पारंपरिक 3D विभाजन विधियों में उच्च कम्प्यूटेशनल जटिलता है, लंबे प्रशिक्षण समय के साथ, नैदानिक तैनाती के लिए अनुकूल नहीं
संसाधन सीमाएं: मानक हार्डवेयर पर बड़े पैमाने पर 3D डेटा को संभालना मुश्किल है
डोमेन संरेखण: MIPs पर सीधे प्रशिक्षण रेडियोलॉजिस्ट की निदान सोच के साथ अधिक संरेखित है

मौजूदा विधियों की सीमाएं

3D वॉल्यूम विभाजन के बाद MIPs में प्रक्षेपण की पारंपरिक प्रक्रिया बड़ी कम्प्यूटेशनल ओवरहेड है
मौजूदा MIP अनुप्रयोग मुख्य रूप से पहचान और वर्गीकरण तक सीमित हैं, विभाजन अनुप्रयोग कम हैं
MIP अस्पष्टता समस्या के लिए प्रभावी समाधान की कमी
MIP की कम्प्यूटेशनल दक्षता लाभों का पूर्ण उपयोग नहीं

मुख्य योगदान

प्रत्यक्ष MIP विभाजन विधि: MIPs पर सीधे विभाजन मॉडल को प्रशिक्षित करने की विधि प्रस्तावित करता है, 3D विभाजन के बाद प्रक्षेपण की जटिल प्रक्रिया से बचता है
अस्पष्टता सुधार तकनीक: MIP एनोटेशन अस्पष्टता सुधार के लिए एक नई विधि पेश करता है, उच्च तीव्रता संरचना अस्पष्टता समस्या को हल करता है
दक्षता में बड़ा सुधार: तुलनीय प्रदर्शन बनाए रखते हुए, प्रशिक्षण समय, ऊर्जा खपत और कम्प्यूटेशनल जटिलता में उल्लेखनीय कमी प्राप्त करता है
इष्टतम MIP संख्या विश्लेषण: MIP संख्या के विभाजन प्रदर्शन पर प्रभाव का व्यवस्थित विश्लेषण, 48 दृश्य को इष्टतम कॉन्फ़िगरेशन के रूप में निर्धारित करता है

विधि विवरण

कार्य परिभाषा

इनपुट: 3D PET स्कैन डेटा आउटपुट: ट्यूमर विभाजन परिणाम उद्देश्य: बहु-कोण MIPs पर सीधे सिमेंटिक विभाजन करना, 3D वॉल्यूम प्रसंस्करण से बचना

MIP जनरेशन विधि

MIP छवि निम्नलिखित सूत्र द्वारा उत्पन्न होती है:

$F_k(i,j) = \max_d f_k(i,j,d)$

जहां:

$F_k(i,j)$ : k-वें MIP छवि में पिक्सल (i,j) पर मान
$f_k(i,j,d)$ : ऊर्ध्वाधर अक्ष के चारों ओर $k\Delta\Theta$ कोण से घुमाए गए 3D डेटा
कोण चरण: $\Delta\Theta(N) = \frac{180°}{N}$ , N MIP संख्या है

अस्पष्टता सुधार एल्गोरिदम

उच्च तीव्रता अंगों (जैसे मस्तिष्क, हृदय, गुर्दे) द्वारा ट्यूमर एनोटेशन को अस्पष्ट करने की समस्या के लिए, एक तीन-चरणीय प्रसंस्करण प्रवाह डिजाइन किया गया है:

अस्पष्टता पहचान: प्रत्येक चिह्नित ट्यूमर में कम से कम 75% पिक्सल वास्तव में वॉल्यूम PET डेटा में ट्यूमर से आते हैं, यह सत्यापित करता है
एनोटेशन विभाजन: ट्यूमर पिक्सल अनुपात <75% वाले चिह्नों के लिए, केवल ट्यूमर से आने वाले पिक्सल को बनाए रखता है
कम विपरीत फ़िल्टरिंग: अत्यंत कम विपरीत, नेत्रहीन अपरिहार्य ट्यूमर अवशेषों को हटाता है

मॉडल आर्किटेक्चर

विभाजन मॉडल: Attention U-Net, विभिन्न CNN आर्किटेक्चर में सर्वश्रेष्ठ प्रदर्शन
3D आधारभूत: Swin-UNETR आर्किटेक्चर, autoPET 2022 चुनौती में 5वें स्थान की योजना पर आधारित
वर्गीकरण मॉडल: CNN एनकोडर + ध्यान पूलिंग + पूर्ण कनेक्टेड हेड

तकनीकी नवाचार बिंदु

डोमेन संरेखण डिजाइन: रेडियोलॉजिस्ट द्वारा आमतौर पर उपयोग किए जाने वाले MIP दृश्य पर सीधे प्रशिक्षण, नैदानिक प्रासंगिकता बढ़ाता है
कम्प्यूटेशनल दक्षता अनुकूलन: 16 MIP केवल वॉल्यूम जानकारी का लगभग 4% है, मेमोरी और कम्प्यूटेशनल आवश्यकताओं में बड़ी कमी
अस्पष्टता समस्या समाधान: MIP एनोटेशन में अस्पष्टता समस्या को व्यवस्थित रूप से हल करने वाली पहली विधि
एंड-टू-एंड अनुकूलन: 3D विभाजन के बाद प्रक्षेपण की दो-चरणीय प्रक्रिया से बचता है

प्रायोगिक सेटअप

डेटासेट

डेटा स्रोत: autoPET 2022 ओपन-सोर्स डेटासेट
स्केल: 1,014 PET/CT स्कैन, 900 रोगियों से
रोग प्रकार: फेफड़ों का कैंसर, लिम्फोमा, मेलेनोमा, स्वस्थ नियंत्रण
डेटा वितरण: स्वस्थ (513), लिम्फोमा (145), मेलेनोमा (188), फेफड़ों का कैंसर (168)

डेटा विभाजन

स्वतंत्र परीक्षण सेट: 15%
5-गुना क्रॉस-सत्यापन: 85%
प्रत्येक वर्ग वितरण को सुसंगत रखता है

मूल्यांकन मेट्रिक्स

विभाजन कार्य:

Dice Score: ओवरलैप माप
IoU: प्रतिच्छेदन-संघ अनुपात
Hausdorff Distance: सीमा सटीकता

वर्गीकरण कार्य:

Accuracy, Precision, Recall, F1-score

दक्षता मेट्रिक्स:

अभिसरण समय (CT): शिखर सत्यापन प्रदर्शन तक पहुंचने का समय
प्रति चक्र प्रशिक्षण समय (TPE) और ऊर्जा खपत (EPE)
कम्प्यूटेशनल जटिलता (TFLOPs)

तुलना विधियां

3D Swin-UNETR विभाजन के बाद MIP प्रक्षेपण
समान CNN आर्किटेक्चर की 3D वर्गीकरण विधि

प्रायोगिक परिणाम

मुख्य परिणाम

विभाजन प्रदर्शन तुलना

विधि	Dice Score	IoU	Hausdorff Distance
3D प्रक्षेपण	0.597±0.05	0.471±0.04	139.614±8.42
OR-MIPs	0.578±0.01	0.452±0.01	102.813±9.61
OC-MIPs	0.591±0.01	0.466±0.01	102.26±9.53

दक्षता सुधार

मेट्रिक	3D विधि	OC-MIPs	सुधार गुणक
प्रशिक्षण समय (घंटे)	54.64±19.22	13.18±4.1	4.1×
प्रति चक्र ऊर्जा खपत (Wh)	142.2±79.1	34.194±4.7	4.2×
TFLOPs	317.42±144.05	0.97±0.29	327×

वर्गीकरण परिणाम

मेट्रिक	3D डेटा	16 MIPs	सुधार
सटीकता (%)	72.8±3.2	80.5±1.7	+7.7%
F1 स्कोर (%)	82.3±1.2	86.4±0.8	+4.1%
प्रशिक्षण समय	44.7±1.5 घंटे	4.2±0.2 घंटे	10.6×

MIP संख्या प्रभाव विश्लेषण

16, 32, 48, 64, 80 MIPs के प्रभाव का व्यवस्थित विश्लेषण:

इष्टतम कॉन्फ़िगरेशन: 48 MIP सर्वोच्च और सबसे स्थिर Dice स्कोर प्रदान करता है
सांख्यिकीय महत्व: 16 और 32 MIP प्रशिक्षण सेट में सांख्यिकीय महत्वपूर्ण अंतर दिखाते हैं
दक्षता संतुलन: 48 MIP प्रदर्शन और कम्प्यूटेशनल दक्षता के बीच सर्वश्रेष्ठ संतुलन प्राप्त करता है

महत्वपूर्ण निष्कर्ष

प्रदर्शन समतुल्यता: Wilcoxon हस्ताक्षरित रैंक परीक्षण से पता चलता है कि MIP विधि 3D विधि के साथ कोई सांख्यिकीय महत्वपूर्ण अंतर नहीं है (p=0.22)
सीमा सटीकता: MIP विधि Hausdorff दूरी पर बेहतर प्रदर्शन करता है, 26.7% सुधार
अस्पष्टता सुधार प्रभाव: केवल 0.57% ट्यूमर पूरी तरह से बाहर रखे गए, एनोटेशन पूर्णता बनाए रखता है
स्केलेबिलिटी: कम्प्यूटेशनल जटिलता में दो परिमाण की कमी, नैदानिक अनुप्रयोग व्यवहार्यता में उल्लेखनीय सुधार

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

प्रदर्शन समतुल्यता: MIP प्रत्यक्ष विभाजन 3D विधि के साथ तुलनीय प्रदर्शन बनाए रखते हुए कम्प्यूटेशनल दक्षता में उल्लेखनीय सुधार करता है
इष्टतम कॉन्फ़िगरेशन: 48 MIP दृश्य प्रदर्शन और दक्षता का सर्वश्रेष्ठ संतुलन बिंदु है
नैदानिक प्रयोज्यता: कम्प्यूटेशनल आवश्यकताओं में बड़ी कमी विधि को संसाधन-सीमित नैदानिक वातावरण के लिए अधिक उपयुक्त बनाती है
विधि सार्वभौमिकता: विभाजन और वर्गीकरण कार्य दोनों पर लाभ दिखाता है

सीमाएं

एकल डेटासेट: केवल autoPET 2022 डेटासेट पर सत्यापित, व्यापक सत्यापन की आवश्यकता है
PET विशिष्ट: वर्तमान विधि मुख्य रूप से PET डेटा के लिए है, CT एकीकरण की खोज की जानी है
3D जानकारी हानि: प्रक्षेपण प्रक्रिया अनिवार्य रूप से कुछ 3D स्थानिक जानकारी खो देती है
अस्पष्टता प्रसंस्करण: हालांकि सुधार हुआ है, जटिल अस्पष्टता स्थितियां अभी भी प्रदर्शन को प्रभावित कर सकती हैं

भविष्य की दिशाएं

बहु-मोडल एकीकरण: CT जानकारी को MIP में मैप करना, PET/CT संयुक्त विश्लेषण प्राप्त करना
3D पुनर्निर्माण: MIP विभाजन परिणामों से 3D एनोटेशन पुनर्निर्माण की विधि की खोज करना
विस्तारित सत्यापन: अधिक डेटासेट और रोग प्रकारों पर विधि प्रभावशीलता सत्यापित करना
वास्तविक समय अनुप्रयोग: नैदानिक निर्णय समर्थन के लिए वास्तविक समय MIP विभाजन प्रणाली विकसित करना

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: प्रत्यक्ष MIP विभाजन की पहली व्यवस्थित विधि, नैदानिक अभ्यास के साथ उच्च संरेखण
उच्च व्यावहारिक मूल्य: दक्षता में उल्लेखनीय सुधार विधि को मजबूत नैदानिक अनुप्रयोग क्षमता देता है
व्यापक तकनीक: अस्पष्टता सुधार से इष्टतम पैरामीटर विश्लेषण तक, तकनीकी समाधान पूर्ण है
पर्याप्त सत्यापन: विभाजन और वर्गीकरण कार्य दोनों पर व्यापक मूल्यांकन
अच्छी पुनरुत्पादनशीलता: कोड और उपकरण सार्वजनिक रूप से उपलब्ध हैं

कमियां

अपर्याप्त सैद्धांतिक विश्लेषण: MIP विधि समान प्रदर्शन क्यों प्राप्त कर सकती है, इसके गहन सैद्धांतिक विश्लेषण की कमी
डेटासेट सीमाएं: एकल डेटासेट निष्कर्षों की सार्वभौमिकता को सीमित कर सकता है
नैदानिक सत्यापन की कमी: वास्तविक नैदानिक वातावरण में सत्यापन अध्ययन नहीं किया गया
सीमित तुलना विधियां: मुख्य रूप से बुनियादी 3D विधि के साथ तुलना, नवीनतम SOTA विधियों के साथ तुलना की कमी

प्रभाव

शैक्षणिक योगदान: चिकित्सा इमेजिंग विभाजन के लिए नई उच्च-दक्षता प्रतिमान प्रदान करता है
नैदानिक मूल्य: PET स्कैन के स्वचालित विश्लेषण दक्षता में उल्लेखनीय सुधार की संभावना है
तकनीकी प्रचार: विधि अन्य चिकित्सा इमेजिंग प्रक्षेपण विश्लेषण कार्यों तक विस्तारित की जा सकती है
संसाधन अनुकूलन: संसाधन-सीमित वातावरण के लिए व्यवहार्य समाधान प्रदान करता है

लागू परिदृश्य

नैदानिक स्क्रीनिंग: बड़े पैमाने पर ट्यूमर स्क्रीनिंग में तेजी से प्रारंभिक विश्लेषण
संसाधन-सीमित वातावरण: कम्प्यूटेशनल संसाधन वाली चिकित्सा संस्थाएं
वास्तविक समय अनुप्रयोग: तेजी से प्रतिक्रिया की आवश्यकता वाली नैदानिक निर्णय समर्थन प्रणाली
मोबाइल चिकित्सा: पोर्टेबल उपकरणों पर चिकित्सा इमेजिंग विश्लेषण

संदर्भ

यह पेपर 34 संबंधित संदर्भों का हवाला देता है, मुख्य रूप से:

चिकित्सा इमेजिंग प्रसंस्करण ढांचा (MONAI, PyTorch)
PET/CT इमेजिंग तकनीक आधार
गहन सीखने विभाजन और वर्गीकरण विधि
चिकित्सा इमेजिंग में MIP अनुप्रयोग
संबंधित मूल्यांकन मेट्रिक्स और डेटासेट

समग्र मूल्यांकन: यह चिकित्सा इमेजिंग प्रसंस्करण का एक उच्च-गुणवत्ता वाला पेपर है, जो नई और व्यावहारिक MIP प्रत्यक्ष विभाजन विधि प्रस्तावित करता है। पेपर शैक्षणिक कठोरता बनाए रखते हुए नैदानिक व्यावहारिकता पर जोर देता है, चिकित्सा इमेजिंग AI अनुप्रयोग के लिए नई उच्च-दक्षता समाधान प्रदान करता है। हालांकि कुछ सीमाएं हैं, इसकी दक्षता में उल्लेखनीय सुधार और अच्छा प्रदर्शन इसे महत्वपूर्ण शैक्षणिक और अनुप्रयोग मूल्य देता है।