2025-11-15T20:58:11.863584

MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach

Zarik, Kiryati, Green et al.

PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.

academic

MIP-ভিত্তিক টিউমার বিভাজন: একটি রেডিওলজিস্ট-অনুপ্রাণিত পদ্ধতি

মৌলিক তথ্য

পেপার আইডি: 2510.09326
শিরোনাম: MIP-ভিত্তিক টিউমার বিভাজন: একটি রেডিওলজিস্ট-অনুপ্রাণিত পদ্ধতি
লেখক: রোমারিও জারিক, নাহুম কিরিয়াটি, মাইকেল গ্রীন, লিরান ডোমাচেভস্কি, আর্নালডো মেয়ার
শ্রেণীবিভাগ: eess.IV (বৈদ্যুতিক প্রকৌশল এবং সিস্টেম বিজ্ঞান - চিত্র এবং ভিডিও প্রক্রিয়াকরণ)
প্রকাশনার সময়: ২০২৫ সালের ১০ অক্টোবর
পেপার লিঙ্ক: https://arxiv.org/abs/2510.09326v1

সারসংক্ষেপ

এই পেপারটি বহু-কোণ সর্বোচ্চ তীব্রতা প্রজেকশন (Multi-Angle Maximum Intensity Projections, MIPs) এর উপর ভিত্তি করে একটি টিউমার বিভাজন পদ্ধতি প্রস্তাব করে। এই পদ্ধতিটি ঐতিহ্যবাহী ৩D ভলিউম বিভাজনের পরিবর্তে সরাসরি MIPs-এ বিভাজন মডেল প্রশিক্ষণ করে। গবেষণায় autoPET ২০২২ ডেটাসেট ব্যবহার করা হয়েছে এবং ৩D পদ্ধতির সাথে তুলনীয় কর্মক্ষমতা বজায় রেখে (Dice পার্থক্য ≤১%, Hausdorff দূরত্ব ২৬.৭% উন্নতি) উল্লেখযোগ্য গণনামূলক দক্ষতা বৃদ্ধি অর্জন করেছে: প্রশিক্ষণ সময় ৫৫.৮-৭৫.৮% হ্রাস, প্রতি রাউন্ড শক্তি খরচ ৭১.৭-৭৬% হ্রাস, গণনামূলক পরিমাণ দুই অর্ডার কমানো হয়েছে। শ্রেণীবিভাগ কাজের জন্য, মাত্র ১৬টি MIPs ব্যবহার করে ৩D কর্মক্ষমতা অতিক্রম করা হয়েছে, প্রশিক্ষণ সময় ১০ গুণেরও বেশি হ্রাস পেয়েছে।

গবেষণার পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

PET/CT ইমেজিং টিউমার সনাক্তকরণের জন্য স্বর্ণমান। ক্লিনিকাল অনুশীলনে, রেডিওলজিস্টরা সাধারণত প্রথমে ঘূর্ণায়মান বহু-কোণ সর্বোচ্চ তীব্রতা প্রজেকশন (MIPs) দেখেন রোগীর মূল্যায়ন করতে, তারপর ভলিউমেট্রিক স্লাইসের মাধ্যমে আবিষ্কার নিশ্চিত করেন। এই কর্মপ্রবাহ বিশেষত মেটাস্ট্যাটিক ক্ষেত্রে সময়সাপেক্ষ।

গবেষণার প্রেরণা

১. ক্লিনিকাল অনুশীলন এবং অ্যালগরিদমের অমিল: যদিও MIPs ক্লিনিকাল অনুশীলনে ব্যাপকভাবে ব্যবহৃত হয়, স্বয়ংক্রিয় টিউমার বিভাজন এখনও প্রধানত ৩D ভলিউম ডেটার উপর নির্ভর করে ২. গণনামূলক দক্ষতার প্রয়োজনীয়তা: ঐতিহ্যবাহী ৩D বিভাজন পদ্ধতি উচ্চ গণনামূলক জটিলতা সম্পন্ন, দীর্ঘ প্রশিক্ষণ সময় প্রয়োজন, ক্লিনিকাল স্থাপনার জন্য অনুপযুক্ত ३. সম্পদ সীমাবদ্ধতা: মান হার্ডওয়্যারে বড় আকারের ৩D ডেটা প্রক্রিয়া করা কঠিন ४. ডোমেইন সারিবদ্ধতা: সরাসরি MIPs-এ প্রশিক্ষণ রেডিওলজিস্টদের ডায়াগনস্টিক চিন্তাভাবনার সাথে আরও ভালভাবে সামঞ্জস্যপূর্ণ

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

৩D ভলিউম বিভাজন থেকে MIPs-এ প্রজেকশনের ঐতিহ্যবাহী প্রবাহ বড় গণনামূলক ওভারহেড রয়েছে
বিদ্যমান MIP প্রয়োগ প্রধানত সনাক্তকরণ এবং শ্রেণীবিভাগে সীমাবদ্ধ, বিভাজন প্রয়োগ কম
MIP অবরোধ সমস্যার জন্য কার্যকর সমাধানের অভাব
MIP-এর গণনামূলক দক্ষতা সুবিধা সম্পূর্ণভাবে ব্যবহার করা হয়নি

মূল অবদান

१. সরাসরি MIP বিভাজন পদ্ধতি: MIPs-এ সরাসরি বিভাজন মডেল প্রশিক্ষণের পদ্ধতি প্রস্তাব করে, ৩D বিভাজন থেকে প্রজেকশনের জটিল প্রবাহ এড়ায় २. অবরোধ সংশোধন কৌশল: উচ্চ তীব্রতার কাঠামো অবরোধ সমস্যা সমাধানের জন্য নতুন MIP লেবেলিং অবরোধ সংশোধন পদ্ধতি প্রবর্তন করে ३. দক্ষতা উল্লেখযোগ্যভাবে উন্নত: তুলনীয় কর্মক্ষমতা বজায় রেখে প্রশিক্ষণ সময়, শক্তি খরচ এবং গণনামূলক পরিমাণে উল্লেখযোগ্য হ্রাস অর্জন করে ४. সর্বোত্তম MIP সংখ্যা বিশ্লেষণ: MIP সংখ্যার বিভাজন কর্মক্ষমতার উপর প্রভাব সিস্টেমেটিকভাবে বিশ্লেষণ করে, ৪৮টি দৃষ্টিভঙ্গি সর্বোত্তম কনফিগারেশন হিসাবে নির্ধারণ করে

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

ইনপুট: ৩D PET স্ক্যান ডেটা আউটপুট: টিউমার বিভাজন ফলাফল লক্ষ্য: বহু-কোণ MIPs-এ সরাসরি সিমান্টিক বিভাজন সম্পাদন করা, ৩D ভলিউম প্রক্রিয়াকরণ এড়ানো

MIP উৎপাদন পদ্ধতি

MIP চিত্র নিম্নলিখিত সূত্র দ্বারা উৎপাদিত হয়:

$F_k(i,j) = \max_d f_k(i,j,d)$

যেখানে:

$F_k(i,j)$ : k-তম MIP চিত্র পিক্সেল (i,j)-এ মূল্য
$f_k(i,j,d)$ : উল্লম্ব অক্ষের চারপাশে $k\Delta\Theta$ কোণ দ্বারা ঘোরানো ৩D ডেটা
কোণ পদক্ষেপ: $\Delta\Theta(N) = \frac{180°}{N}$ , N হল MIP সংখ্যা

অবরোধ সংশোধন অ্যালগরিদম

উচ্চ তীব্রতার অঙ্গ (যেমন মস্তিষ্ক, হৃদয়, কিডনি) টিউমার লেবেলিং অবরোধ করার সমস্যার সমাধানের জন্য, তিন-ধাপের প্রক্রিয়াকরণ প্রবাহ ডিজাইন করা হয়েছে:

१. অবরোধ সনাক্তকরণ: প্রতিটি চিহ্নিত টিউমারে কমপক্ষে ৭৫% পিক্সেল প্রকৃতপক্ষে ভলিউম PET ডেটায় টিউমার থেকে আসে তা যাচাই করে २. লেবেলিং বিভাজন: টিউমার পিক্সেল অনুপাত <७५% সহ চিহ্নিত লেবেলের জন্য, শুধুমাত্র টিউমার থেকে আসা নিশ্চিত পিক্সেল রাখে ३. কম বৈপরীত্য ফিল্টারিং: অত্যন্ত কম বৈপরীত্য, চোখে অদৃশ্য টিউমার অবশেষ সরিয়ে দেয়

মডেল আর্কিটেকচার

বিভাজন মডেল: Attention U-Net, বিভিন্ন CNN আর্কিটেকচারের মধ্যে সর্বোত্তম কর্মক্ষমতা প্রদর্শন করে
৩D বেসলাইন: Swin-UNETR আর্কিটেকচার, autoPET ২০२२ চ্যালেঞ্জের ৫ম স্থানের সমাধানের উপর ভিত্তি করে
শ্রেণীবিভাগ মডেল: CNN এনকোডার + মনোযোগ পুলিং + সম্পূর্ণ সংযুক্ত হেড

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. ডোমেইন সারিবদ্ধতা ডিজাইন: রেডিওলজিস্টদের দ্বারা সাধারণত ব্যবহৃত MIP ভিউতে সরাসরি প্রশিক্ষণ, ক্লিনিকাল প্রাসঙ্গিকতা বৃদ্ধি করে २. গণনামূলক দক্ষতা অপ্টিমাইজেশন: ১৬টি MIP শুধুমাত্র ভলিউম তথ্যের প্রায় ४% দখল করে, মেমরি এবং গণনামূলক প্রয়োজনীয়তা উল্লেখযোগ্যভাবে হ্রাস করে ३. অবরোধ সমস্যা সমাধান: প্রথমবারের মতো MIP লেবেলিংয়ে অবরোধ সমস্যার সিস্টেমেটিক সমাধান ४. এন্ড-টু-এন্ড অপ্টিমাইজেশন: ३D বিভাজন থেকে প্রজেকশনের দুই-পর্যায়ের প্রবাহ এড়ায়

পরীক্ষামূলক সেটআপ

ডেটাসেট

ডেটা উৎস: autoPET २०२२ ওপেন সোর্স ডেটাসেট
স্কেল: ९०० জন রোগীর কাছ থেকে १,०१४টি PET/CT স্ক্যান
রোগের ধরন: ফুসফুসের ক্যান্সার, লিম্ফোমা, মেলানোমা, স্বাস্থ্যকর নিয়ন্ত্রণ
ডেটা বিতরণ: স্বাস্থ্যকর (५१३), লিম্ফোমা (१४५), মেলানোমা (१८८), ফুসফুসের ক্যান্সার (१६८)

ডেটা বিভাজন

স্বাধীন পরীক্ষা সেট: १५%
५-ফোল্ড ক্রস-ভ্যালিডেশন: ८५%
প্রতিটি শ্রেণীর বিতরণ সামঞ্জস্যপূর্ণ রাখে

মূল্যায়ন মেট্রিক্স

বিভাজন কাজ:

Dice স্কোর: ওভারল্যাপ পরিমাপ
IoU: ইন্টারসেকশন ওভার ইউনিয়ন
Hausdorff দূরত্ব: সীমানা নির্ভুলতা

শ্রেণীবিভাগ কাজ:

নির্ভুলতা, নির্ভুলতা, স্মরণ, F१-স্কোর

দক্ষতা মেট্রিক্স:

সংগ্রহ সময় (CT): শীর্ষ যাচাইকরণ কর্মক্ষমতায় পৌঁছানোর সময়
প্রতি রাউন্ড প্রশিক্ষণ সময় (TPE) এবং শক্তি খরচ (EPE)
গণনামূলক জটিলতা (TFLOPs)

তুলনামূলক পদ্ধতি

३D Swin-UNETR বিভাজন থেকে MIP প্রজেকশন
একই CNN আর্কিটেকচারের ३D শ্রেণীবিভাগ মডেল

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

বিভাজন কর্মক্ষমতা তুলনা

পদ্ধতি	Dice স্কোর	IoU	Hausdorff দূরত্ব
३D প্রজেকশন	०.५९७±०.०५	०.४७१±०.०४	१३९.६१४±८.४२
OR-MIPs	०.५७८±०.०१	०.४५२±०.०१	१०२.८१३±९.६१
OC-MIPs	०.५९१±०.०१	०.४६६±०.०१	१०२.२६±९.५३

দক্ষতা উন্নতি

মেট্রিক	३D পদ্ধতি	OC-MIPs	উন্নতি গুণক
প্রশিক্ষণ সময় (ঘণ্টা)	५४.६४±१९.२२	१३.१८±४.१	४.१×
প্রতি রাউন্ড শক্তি খরচ (Wh)	१४२.२±७९.१	३४.१९४±४.७	४.२×
TFLOPs	३१७.४२±१४४.०५	०.९७±०.२९	३२७×

শ্রেণীবিভাগ ফলাফল

মেট্রিক	३D ডেটা	१६ MIPs	উন্নতি
নির্ভুলতা (%)	७२.८±३.२	८०.५±१.७	+७.७%
F१ স্কোর (%)	८२.३±१.२	८६.४±०.८	+४.१%
প্রশিক্ষণ সময়	४४.७±१.५ ঘণ্টা	४.२±०.२ ঘণ্টা	१०.६×

MIP সংখ্যার প্রভাব বিশ্লেষণ

१६, ३२, ४८, ६४, ८० MIPs-এর প্রভাব সিস্টেমেটিকভাবে বিশ্লেষণ করে:

সর্বোত্তম কনফিগারেশন: ४८টি MIP সর্বোচ্চ এবং সবচেয়ে স্থিতিশীল Dice স্কোর প্রদান করে
পরিসংখ্যানগত তাৎপর্য: १६ এবং ३२ MIP প্রশিক্ষণ সেটে পরিসংখ্যানগত উল্লেখযোগ্য পার্থক্য দেখায়
দক্ষতা ভারসাম্য: ४८ MIP কর্মক্ষমতা এবং গণনামূলক দক্ষতার মধ্যে সর্বোত্তম ভারসাম্য অর্জন করে

গুরুত্বপূর্ণ আবিষ্কার

१. কর্মক্ষমতা সমতা: Wilcoxon স্বাক্ষরিত র‍্যাঙ্ক পরীক্ষা দেখায় MIP পদ্ধতি এবং ३D পদ্ধতির মধ্যে কোন পরিসংখ্যানগত উল্লেখযোগ্য পার্থক্য নেই (p=०.२२) २. সীমানা নির্ভুলতা: MIP পদ্ধতি Hausdorff দূরত্বে উন্নত কর্মক্ষমতা প্রদর্শন করে, २६.७% উন্নতি ३. অবরোধ সংশোধন প্রভাব: শুধুমাত্র ०.५७% টিউমার সম্পূর্ণভাবে বাদ দেওয়া হয়, লেবেলিং সম্পূর্ণতা বজায় রাখে ४. স্কেলেবিলিটি: গণনামূলক পরিমাণ দুই অর্ডার হ্রাস, ক্লিনিকাল প্রয়োগ সম্ভাব্যতা উল্লেখযোগ্যভাবে উন্নত করে

সিদ্ধান্ত এবং আলোচনা

প্রধান সিদ্ধান্ত

१. কর্মক্ষমতা সমতা: MIP সরাসরি বিভাজন ३D পদ্ধতির সাথে তুলনীয় কর্মক্ষমতা বজায় রেখে গণনামূলক দক্ষতা উল্লেখযোগ্যভাবে উন্নত করে २. সর্বোত্তম কনফিগারেশন: ४८টি MIP দৃষ্টিভঙ্গি কর্মক্ষমতা এবং দক্ষতার সর্বোত্তম ভারসাম্য বিন্দু ३. ক্লিনিকাল প্রযোজ্যতা: উল্লেখযোগ্যভাবে হ্রাসকৃত গণনামূলক প্রয়োজনীয়তা পদ্ধতিকে সম্পদ-সীমাবদ্ধ ক্লিনিকাল পরিবেশের জন্য আরও উপযুক্ত করে তোলে ४. পদ্ধতি সার্বজনীনতা: বিভাজন এবং শ্রেণীবিভাগ কাজ উভয়েই সুবিধা প্রদর্শন করে

সীমাবদ্ধতা

१. একক ডেটাসেট: শুধুমাত্র autoPET २०२२ ডেটাসেটে যাচাই করা হয়েছে, আরও ব্যাপক যাচাইকরণের প্রয়োজন २. PET বিশেষ: বর্তমান পদ্ধতি প্রধানত PET ডেটার জন্য, CT একীকরণ অন্বেষণের জন্য অপেক্ষা করছে ३. ३D তথ্য হ্রাস: প্রজেকশন প্রক্রিয়া অনিবার্যভাবে কিছু ३D স্থানিক তথ্য হারায় ४. অবরোধ প্রক্রিয়াকরণ: উন্নতি সত্ত্বেও, জটিল অবরোধ পরিস্থিতি এখনও কর্মক্ষমতা প্রভাবিত করতে পারে

ভবিষ্যত দিকনির্দেশনা

१. মাল্টি-মোডালিটি একীকরণ: CT তথ্য MIP-এ ম্যাপ করা, PET/CT যৌথ বিশ্লেষণ বাস্তবায়ন করা २. ३D পুনর্নির্মাণ: MIP বিভাজন ফলাফল থেকে ३D লেবেলিং পুনর্নির্মাণের পদ্ধতি অন্বেষণ করা ३. সম্প্রসারিত যাচাইকরণ: আরও ডেটাসেট এবং রোগের ধরনে পদ্ধতির কার্যকারিতা যাচাই করা ४. রিয়েল-টাইম প্রয়োগ: ক্লিনিকাল সিদ্ধান্ত সমর্থনের জন্য রিয়েল-টাইম MIP বিভাজন সিস্টেম বিকাশ করা

গভীর মূল্যায়ন

সুবিধা

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো সরাসরি MIP বিভাজনের সিস্টেমেটিক পদ্ধতি, ক্লিনিকাল অনুশীলনের সাথে উচ্চ সারিবদ্ধতা २. উচ্চ ব্যবহারিক মূল্য: উল্লেখযোগ্য দক্ষতা উন্নতি পদ্ধতিকে শক্তিশালী ক্লিনিকাল প্রয়োগ সম্ভাবনা প্রদান করে ३. প্রযুক্তি ব্যাপক: অবরোধ সংশোধন থেকে সর্বোত্তম প্যারামিটার বিশ্লেষণ পর্যন্ত, প্রযুক্তি সমাধান সম্পূর্ণ ४. যাচাইকরণ পর্যাপ্ত: বিভাজন এবং শ্রেণীবিভাগ কাজ উভয়েই ব্যাপক মূল্যায়ন পরিচালিত হয়েছে ५. পুনরুৎপাদনযোগ্যতা ভাল: কোড এবং সরঞ্জাম জনসাধারণের জন্য উপলব্ধ

অপূর্ণতা

१. তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: কেন MIP পদ্ধতি তুলনীয় কর্মক্ষমতা অর্জন করতে পারে তার গভীর তাত্ত্বিক বিশ্লেষণের অভাব २. ডেটাসেট সীমাবদ্ধতা: একক ডেটাসেট সিদ্ধান্তের সার্বজনীনতা সীমাবদ্ধ করতে পারে ३. ক্লিনিকাল যাচাইকরণ অনুপস্থিত: প্রকৃত ক্লিনিকাল পরিবেশে যাচাইকরণ গবেষণা পরিচালিত হয়নি ४. তুলনামূলক পদ্ধতি সীমিত: প্রধানত মৌলিক ३D পদ্ধতির সাথে তুলনা, সর্বশেষ SOTA পদ্ধতির সাথে তুলনার অভাব

প্রভাব

१. একাডেমিক অবদান: চিকিৎসা ইমেজ বিভাজনের জন্য নতুন উচ্চ-দক্ষ প্যারাডাইম প্রদান করে २. ক্লিনিকাল মূল্য: PET স্ক্যানের স্বয়ংক্রিয় বিশ্লেষণ দক্ষতা উল্লেখযোগ্যভাবে উন্নত করার সম্ভাবনা রাখে ३. প্রযুক্তি প্রচার: পদ্ধতি অন্যান্য চিকিৎসা ইমেজ প্রজেকশন বিশ্লেষণ কাজে প্রসারিত করা যায় ४. সম্পদ অপ্টিমাইজেশন: সম্পদ-সীমাবদ্ধ পরিবেশের জন্য সম্ভাব্য সমাধান প্রদান করে

প্রযোজ্য পরিস্থিতি

१. ক্লিনিকাল স্ক্রিনিং: বড় আকারের টিউমার স্ক্রিনিংয়ে দ্রুত প্রাথমিক বিশ্লেষণ २. সম্পদ-সীমাবদ্ধ পরিবেশ: সীমিত গণনামূলক সম্পদ সহ চিকিৎসা প্রতিষ্ঠান ३. রিয়েল-টাইম প্রয়োগ: দ্রুত প্রতিক্রিয়া প্রয়োজন এমন ক্লিনিকাল সিদ্ধান্ত সমর্থন সিস্টেম ४. মোবাইল চিকিৎসা: পোর্টেবল ডিভাইসে চিকিৎসা ইমেজ বিশ্লেষণ

সংদর্ভ

এই পেপারটি ३४টি সম্পর্কিত সংদর্ভ উদ্ধৃত করে, প্রধানত অন্তর্ভুক্ত:

চিকিৎসা ইমেজ প্রক্রিয়াকরণ ফ্রেমওয়ার্ক (MONAI, PyTorch)
PET/CT ইমেজিং প্রযুক্তি ভিত্তি
গভীর শেখার বিভাজন এবং শ্রেণীবিভাগ পদ্ধতি
চিকিৎসা ইমেজিংয়ে MIP-এর প্রয়োগ
সম্পর্কিত মূল্যায়ন মেট্রিক্স এবং ডেটাসেট

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ মানের চিকিৎসা ইমেজ প্রক্রিয়াকরণ পেপার যা উদ্ভাবনী এবং ব্যবহারিক MIP সরাসরি বিভাজন পদ্ধতি প্রস্তাব করে। পেপারটি একাডেমিক কঠোরতা বজায় রেখে ক্লিনিকাল ব্যবহারিকতার উপর জোর দেয়, চিকিৎসা ইমেজ AI প্রয়োগের জন্য নতুন উচ্চ-দক্ষ সমাধান প্রদান করে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এর উল্লেখযোগ্য দক্ষতা উন্নতি এবং ভাল কর্মক্ষমতা এটিকে গুরুত্বপূর্ণ একাডেমিক এবং প্রয়োগ মূল্য প্রদান করে।