2025-11-24T09:43:19.398688

nnY-Net: Swin-NeXt with Cross-Attention for 3D Medical Images Segmentation

Liu, Tao, Dong et al.

This paper provides a novel 3D medical image segmentation model structure called nnY-Net. This name comes from the fact that our model adds a cross-attention module at the bottom of the U-net structure to form a Y structure. We integrate the advantages of the two latest SOTA models, MedNeXt and SwinUNETR, and use Swin Transformer as the encoder and ConvNeXt as the decoder to innovatively design the Swin-NeXt structure. Our model uses the lowest-level feature map of the encoder as Key and Value and uses patient features such as pathology and treatment information as Query to calculate the attention weights in a Cross Attention module. Moreover, we simplify some pre- and post-processing as well as data enhancement methods in 3D image segmentation based on the dynUnet and nnU-net frameworks. We integrate our proposed Swin-NeXt with Cross-Attention framework into this framework. Last, we construct a DiceFocalCELoss to improve the training efficiency for the uneven data convergence of voxel classification.

academic

nnY-Net: 3D চিকিৎসা চিত্র বিভাজনের জন্য Swin-NeXt ক্রস-অ্যাটেনশন সহ

মৌলিক তথ্য

পেপার আইডি: 2501.01406
শিরোনাম: nnY-Net: Swin-NeXt with Cross-Attention for 3D Medical Images Segmentation
লেখক: Haixu Liu¹, Zerui Tao¹, Wenzhen Dong², Qiuzhuang Sun¹
প্রতিষ্ঠান: ¹সিডনি বিশ্ববিদ্যালয়, ²হংকং চীনেজ বিশ্ববিদ্যালয়
শ্রেণীবিভাগ: cs.CV (কম্পিউটার ভিশন)
পেপার লিঙ্ক: https://arxiv.org/abs/2501.01406

সারসংক্ষেপ

এই পেপারে nnY-Net নামক একটি নতুন 3D চিকিৎসা চিত্র বিভাজন মডেল স্থাপত্য প্রস্তাব করা হয়েছে। মডেলটি U-Net স্থাপত্যের নীচে ক্রস-অ্যাটেনশন মডিউল যোগ করে Y-আকৃতির কাঠামো তৈরি করে নামকরণ করা হয়েছে। লেখকরা দুটি সর্বশেষ SOTA মডেল MedNeXt এবং SwinUNETR এর সুবিধাগুলি একীভূত করেছেন, Swin Transformer কে এনকোডার হিসাবে এবং ConvNeXt কে ডিকোডার হিসাবে ব্যবহার করে, উদ্ভাবনীভাবে Swin-NeXt কাঠামো ডিজাইন করেছেন। মডেলটি এনকোডারের সর্বনিম্ন স্তরের বৈশিষ্ট্য মানচিত্রকে Key এবং Value হিসাবে ব্যবহার করে, রোগীর বৈশিষ্ট্য যেমন প্যাথলজি এবং চিকিৎসা তথ্যকে Query হিসাবে ব্যবহার করে ক্রস-অ্যাটেনশন ওজন গণনা করে। অতিরিক্তভাবে, dynUnet এবং nnU-net ফ্রেমওয়ার্কের উপর ভিত্তি করে 3D চিত্র বিভাজনের প্রাক-প্রক্রিয়াকরণ এবং পোস্ট-প্রক্রিয়াকরণ পদ্ধতি সরলীকৃত করা হয়েছে এবং অসম ভক্সেল শ্রেণীবিভাজনের প্রশিক্ষণ দক্ষতা উন্নত করতে DiceFocalCELoss তৈরি করা হয়েছে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

যকৃত টিউমার CT 3D চিত্র বিভাজন চিকিৎসা চিত্র বিভাজনে একটি গুরুত্বপূর্ণ কাজ। নির্ভুল CT চিত্র বিভাজন ডাক্তারদের টিউমারের আয়তন অনুমান করতে এবং যুক্তিসঙ্গত চিকিৎসা পরিকল্পনা তৈরি করতে সহায়তা করতে পারে।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

ঐতিহ্যবাহী পদ্ধতির সীমাবদ্ধতা: 2016 এর আগে প্রধানত অঞ্চল বৃদ্ধি ইত্যাদি অপর্যবেক্ষিত অ্যালগরিদম ব্যবহার করা হত, যার নির্ভুলতা সীমিত ছিল
একক স্থাপত্য ত্রুটি: বিদ্যমান পদ্ধতিগুলি হয় বিশুদ্ধ কনভোলিউশনের উপর ভিত্তি করে (যেমন nnU-Net) বা বিশুদ্ধ Transformer এর উপর ভিত্তি করে (যেমন SwinUNETR), উভয়ের সুবিধাগুলি সম্পূর্ণভাবে একত্রিত করতে ব্যর্থ
মাল্টি-মোডাল ফিউশন অপর্যাপ্ত: বিদ্যমান পদ্ধতিগুলি প্রধানত চিত্র তথ্য প্রক্রিয়া করে, রোগীর প্যাথলজি এবং চিকিৎসা তথ্য কার্যকরভাবে ব্যবহার করতে পারে না
শ্রেণী অসন্তুলন সমস্যা: পটভূমি লেবেল 90% এর বেশি পিক্সেল দখল করে, যা প্রশিক্ষণকে কঠিন করে তোলে

গবেষণা প্রেরণা

এই পেপারটি Transformer এবং কনভোলিউশনাল নিউরাল নেটওয়ার্কের সুবিধাগুলি একীভূত করে, এমন একটি মাল্টি-মোডাল বিভাজন মডেল ডিজাইন করার লক্ষ্য রাখে যা 3D চিত্র এবং রোগীর ক্লিনিকাল তথ্য উভয়ই প্রক্রিয়া করতে পারে, চিকিৎসা চিত্র বিভাজনের নির্ভুলতা এবং ব্যবহারিকতা উন্নত করতে।

মূল অবদান

Swin-NeXt স্থাপত্য প্রস্তাব: SwinUNETR এর এনকোডারকে MedNeXt এর ডিকোডারের সাথে উদ্ভাবনীভাবে একত্রিত করে, বৈশিষ্ট্য নিষ্কাশনে Transformer এবং পিক্সেল-স্তরের ডিকোডিংয়ে কনভোলিউশনের সুবিধাগুলি সম্পূর্ণভাবে ব্যবহার করে
ক্রস-অ্যাটেনশন ফিউশন মেকানিজম ডিজাইন: তিনটি বৈশিষ্ট্য ফিউশন পদ্ধতি প্রস্তাব করে, আবিষ্কার করে যে ক্রস-অ্যাটেনশন মেকানিজম মাল্টি-মোডাল ফিউশনে সর্বোত্তম পারফরম্যান্স দেখায়, মডেল পারফরম্যান্স স্থিরভাবে উন্নত করতে পারে
DiceFocalCELoss ক্ষতি ফাংশন তৈরি: DiceLoss, FocalLoss এবং ক্রস-এন্ট্রপি ক্ষতি একত্রিত করে, ভক্সেল শ্রেণীবিভাজনে শ্রেণী অসন্তুলন সমস্যা কার্যকরভাবে সমাধান করে
প্রাক-প্রক্রিয়াকরণ প্রবাহ সরলীকরণ: dynUnet এবং nnU-Net ফ্রেমওয়ার্কের উপর ভিত্তি করে, 3D চিত্র বিভাজনের প্রাক-প্রক্রিয়াকরণ এবং পোস্ট-প্রক্রিয়াকরণ পদ্ধতি সরলীকৃত এবং অপ্টিমাইজ করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ইনপুট:

3D CT স্ক্যান চিত্র χ ∈ R^(H×W×D×C)
রোগীর ক্লিনিকাল তথ্য (প্যাথলজি, চিকিৎসা তথ্য ইত্যাদি)

আউটপুট: মাল্টি-ক্লাস বিভাজন মাস্ক, যকৃত, টিউমার, রক্তনালী, মহাধমনী ইত্যাদি কাঠামো সহ

সীমাবদ্ধতা: উচ্চ-রেজোলিউশন 3D চিত্রের মেমরি সীমাবদ্ধতা প্রক্রিয়া করা, শ্রেণী অত্যন্ত অসন্তুলিত বিভাজন কাজ

মডেল স্থাপত্য

1. Swin Transformer এনকোডার

এনকোডার হিসাবে 3D Swin Transformer ব্যবহার করে, নির্দিষ্ট বাস্তবায়ন:

প্যাচ বিভাজন: ইনপুট চিত্রকে M×M×M আকারের 3D উইন্ডোতে বিভক্ত করে

উইন্ডো অ্যাটেনশন মেকানিজম:

z^l = W-MSA(LN(z^(l-1))) + z^(l-1)
z^l = MLP(LN(z^l)) + z^l
z^(l+1) = SW-MSA(LN(z^l)) + z^l
z^(l+1) = MLP(LN(z^(l+1))) + z^(l+1)

অ্যাটেনশন গণনা:

Attention(Q,K,V) = Softmax(QK^T/√d + B)V

2. ConvNeXt ডিকোডার

MedNeXt এর ডিকোডার কাঠামো ব্যবহার করে:

ট্রান্সপোজ কনভোলিউশন আপসাম্পলিং:
```
Y_{i,j,k} = ∑∑∑ K_{p,q,r} · X_{(expanded)}_{i+p,j+q,k+r}
```
GELU অ্যাক্টিভেশন ফাংশন:
```
GELU(x) = x/2[1 + erf(x/√2)]
```

3. ক্রস-অ্যাটেনশন ফিউশন মডিউল

এনকোডার বটলনেক স্তরে মাল্টি-মোডাল তথ্য একীভূত করে:

Key এবং Value: এনকোডারের সর্বনিম্ন স্তরের বৈশিষ্ট্য মানচিত্র
Query: রোগীর ক্লিনিকাল বৈশিষ্ট্য ভেক্টর
ফিউশন কৌশল: সম্পূর্ণ সংযুক্ত স্তরের মাধ্যমে ক্লিনিকাল বৈশিষ্ট্যগুলি উপযুক্ত মাত্রায় ম্যাপ করে, তারপর ক্রস-অ্যাটেনশন গণনা সম্পাদন করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

হাইব্রিড স্থাপত্য ডিজাইন: প্রথমবারের মতো Swin Transformer এনকোডারকে ConvNeXt ডিকোডারের সাথে একত্রিত করে, প্রতিটির সুবিধা কাজে লাগায়
মাল্টি-মোডাল ক্রস-অ্যাটেনশন: উদ্ভাবনীভাবে চিত্র বৈশিষ্ট্য এবং ক্লিনিকাল তথ্য একীভূত করতে ক্রস-অ্যাটেনশন মেকানিজম ব্যবহার করে
সমন্বিত ক্ষতি ফাংশন: চিকিৎসা চিত্র বিভাজনে শ্রেণী অসন্তুলন সমস্যা সমাধান করতে DiceFocalCELoss ডিজাইন করে

পরীক্ষামূলক সেটআপ

ডেটাসেট

চিত্র ডেটা: 98 জন রোগীর 110টি যকৃত CT স্ক্যান চিত্র
ক্লিনিকাল ডেটা: রোগীর প্যাথলজি এবং চিকিৎসা তথ্যের 56টি ভেরিয়েবল
ডেটা পরিষ্কার: সমস্যাযুক্ত 4টি গ্রুপ ডেটা মুছে ফেলা হয়েছে (HCC 017, 008, 025, 009)
অনুপস্থিত মান প্রক্রিয়াকরণ: মেশিন লার্নিং মডেল ব্যবহার করে অনুপস্থিত মান পূরণ করা হয়েছে

মূল্যায়ন মেট্রিক্স

Dice সহগুণক: Dice = 2×|X∩Y|/(|X|+|Y|)
গড় IoU: MIoU = (1/N)∑|X_i∩Y_i|/|X_i∪Y_i|
Hausdorff দূরত্ব (HD95): Hausdorff দূরত্বের 95 শতাংশ
নির্ভুলতা, রিকল, নির্ভুলতা: মান শ্রেণীবিভাজন মেট্রিক্স

তুলনামূলক পদ্ধতি

U-Net
UNETR
SwinUNETR
MedNeXt
প্রস্তাবিত Swin-NeXt এবং এর ভেরিয়েন্ট

বাস্তবায়ন বিবরণ

ফ্রেমওয়ার্ক: MONAI এর উপর ভিত্তি করে, Jupyter Notebook এর সাথে সামঞ্জস্যপূর্ণ
প্রাক-প্রক্রিয়াকরণ: চিত্র ক্রপিং, নর্মালাইজেশন, রিস্যাম্পলিং, ডেটা অগমেন্টেশন
প্রশিক্ষণ কৌশল: স্লাইডিং উইন্ডো কৌশল, মেমরি ওভারফ্লো এড়াতে খণ্ড প্রক্রিয়াকরণ

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

যকৃত টিউমার বিভাজন কাজে কর্মক্ষমতা তুলনা:

মডেল	শ্রেণী	Dice	MIoU	HD95	নির্ভুলতা	রিকল	নির্ভুলতা
U-Net	সামগ্রিক	0.709	0.614	16.847	0.991	0.770	0.704
SwinUNETR	সামগ্রিক	0.656	0.55	37.3	0.983	0.733	0.64
MedNeXt	সামগ্রিক	0.683	0.583	21.6	0.99	0.752	0.674
Swin-NeXt	সামগ্রিক	0.662	0.569	14.614	0.992	0.714	0.684

অ্যাবলেশন পরীক্ষা

বৈশিষ্ট্য ফিউশন পদ্ধতি তুলনা:

ফিউশন পদ্ধতি	মডেল	Dice	MIoU	HD95
Add	SwinUNETR	0.662	0.562	26.956
Concat	SwinUNETR	0.641	0.537	39.197
Cross Attention	SwinUNETR	0.666	0.564	32.883
Cross Attention	MedNeXt	0.683	0.589	26.428
Cross Attention	Swin-NeXt	0.657	0.565	11.28

মূল আবিষ্কার:

ক্রস-অ্যাটেনশন মেকানিজম সমস্ত মডেলে স্থিতিশীল কর্মক্ষমতা উন্নতি প্রদান করতে পারে
Add এবং Concat পদ্ধতি ট্রান্সপোজ কনভোলিউশন ব্যবহারকারী মডেলে (MedNeXt, Swin-NeXt) সংযুক্ত হতে পারে না
ক্রস-অ্যাটেনশন মেকানিজম ট্রান্সপোজ কনভোলিউশন কাঠামোর সাথে আরও ভাল সামঞ্জস্যপূর্ণ

কেস বিশ্লেষণ

রোগী HCC066 এর CT স্লাইস ভিজ্যুয়ালাইজেশন ফলাফলের মাধ্যমে দেখা যায়, যদিও Swin-NeXt সংখ্যাগত সূচকে সর্বোত্তম অর্জন করেনি, তবে বিভাজন আকৃতি এবং আকারে প্রকৃত লেবেলের সবচেয়ে কাছাকাছি, আরও ভাল ক্লিনিকাল ব্যবহারিক মূল্য রয়েছে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

স্থাপত্য ফিউশন কার্যকর: Swin Transformer এনকোডার এবং ConvNeXt ডিকোডারের সমন্বয় কার্যকর
ক্রস-অ্যাটেনশন উচ্চতর: মাল্টি-মোডাল ফিউশনে, ক্রস-অ্যাটেনশন মেকানিজম সাধারণ সংযোজন এবং সংযোগ পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে ভাল
সমন্বিত ক্ষতি ফাংশন কার্যকর: DiceFocalCELoss শ্রেণী অসন্তুলন সমস্যার প্রশিক্ষণ সংযোগ উন্নত করতে পারে

সীমাবদ্ধতা

প্যারামিটার সেটিং রক্ষণশীল: ন্যায্য তুলনার জন্য প্যারামিটার পরিমাণ হ্রাস করা হয়েছে, সর্বোত্তম 1:1:3:1 বৈশিষ্ট্য নিষ্কাশন ব্লক অনুপাত ব্যবহার করা হয়নি
গণনা সম্পদ সীমাবদ্ধতা: সার্ভার সারিবদ্ধকরণ ইত্যাদি কারণে, সমস্ত পরিকল্পিত পরীক্ষা সম্পূর্ণ করতে পারেনি
ডেটাসেট স্কেল: তুলনামূলকভাবে ছোট ডেটাসেট মডেলের সাধারণীকরণ ক্ষমতা সীমিত করতে পারে

ভবিষ্যত দিকনির্দেশনা

আরও সর্বোত্তম নেটওয়ার্ক স্থাপত্য অনুপাত ডিজাইন অন্বেষণ করুন
বৃহত্তর স্কেল ডেটাসেটে পদ্ধতির কার্যকারিতা যাচাই করুন
অন্যান্য চিকিৎসা চিত্র বিভাজন কাজের প্রযোজ্যতা অধ্যয়ন করুন

গভীর মূল্যায়ন

শক্তি

শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো Swin Transformer এবং ConvNeXt এর সুবিধাগুলি সিস্টেমেটিকভাবে একত্রিত করে
মাল্টি-মোডাল ফিউশন: ক্লিনিকাল তথ্য কার্যকরভাবে চিত্র বিভাজন সহায়তা করতে ব্যবহার করে
পরীক্ষা সম্পূর্ণ: বিস্তারিত অ্যাবলেশন পরীক্ষা এবং তুলনামূলক বিশ্লেষণ অন্তর্ভুক্ত করে
উচ্চ ব্যবহারিক মূল্য: চিকিৎসা চিত্র বিভাজনের প্রকৃত চাহিদা অনুযায়ী ডিজাইন করা হয়েছে

অপর্যাপ্ততা

সীমিত কর্মক্ষমতা উন্নতি: বেসলাইন পদ্ধতির তুলনায়, সংখ্যাগত উন্নতি যথেষ্ট নয়
অসামঞ্জস্যপূর্ণ পরীক্ষা শর্ত: বিভিন্ন মডেলের প্রশিক্ষণ সময় এবং শর্তে পার্থক্য রয়েছে
অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: কেন ক্রস-অ্যাটেনশন আরও কার্যকর তার গভীর তাত্ত্বিক বিশ্লেষণ অভাব
অজানা সাধারণীকরণ: শুধুমাত্র যকৃত টিউমার বিভাজনে যাচাই করা হয়েছে, অন্যান্য কাজের কর্মক্ষমতা অজানা

প্রভাব

পদ্ধতিগত অবদান: 3D চিকিৎসা চিত্র বিভাজনের জন্য নতুন স্থাপত্য ডিজাইন চিন্তাভাবনা প্রদান করে
মাল্টি-মোডাল ফিউশন: চিকিৎসা চিত্র বিশ্লেষণে মাল্টি-মোডাল তথ্য ফিউশনের জন্য কার্যকর সমাধান প্রদান করে
ব্যবহারিক মূল্য: ক্লিনিকাল তথ্য বিবেচনা করা বিভাজন পদ্ধতি প্রকৃত চিকিৎসা চাহিদার সাথে আরও সামঞ্জস্যপূর্ণ

প্রযোজ্য দৃশ্য

3D চিকিৎসা চিত্র বিভাজন: বিশেষত ক্লিনিকাল তথ্য একত্রিত করার প্রয়োজন এমন দৃশ্যে
মাল্টি-মোডাল চিকিৎসা বিশ্লেষণ: চিত্র এবং কাঠামোগত ডেটা সমন্বয়ের কাজ
শ্রেণী অসন্তুলিত বিভাজন: পটভূমি প্রভাবশালী বিভাজন কাজ

রেফারেন্স

পেপারটি এই ক্ষেত্রের গুরুত্বপূর্ণ কাজগুলি উদ্ধৃত করেছে, যার মধ্যে রয়েছে:

3D U-Net: 3D চিকিৎসা চিত্র বিভাজনের ভিত্তি কাজ
nnU-Net: স্বয়ংক্রিয় চিকিৎসা চিত্র বিভাজন ফ্রেমওয়ার্ক
SwinUNETR: চিকিৎসা চিত্র বিভাজনে Swin Transformer এর প্রয়োগ
MedNeXt: ConvNeXt এর উপর ভিত্তি করে চিকিৎসা চিত্র বিভাজন পদ্ধতি

সামগ্রিক মূল্যায়ন: এটি 3D চিকিৎসা চিত্র বিভাজন ক্ষেত্রে একটি নির্দিষ্ট উদ্ভাবনী কাজ, বিশেষত মাল্টি-মোডাল ফিউশন এবং স্থাপত্য ডিজাইনে। যদিও কর্মক্ষমতা উন্নতি তুলনামূলকভাবে সীমিত, পদ্ধতির ব্যবহারিকতা এবং ক্ষেত্রের অবদান স্বীকৃতির যোগ্য।