NAP: Attention-Based Late Fusion for Automatic Sleep Staging
Rossi, van der Meer, Schmidt et al.
Polysomnography signals are highly heterogeneous, varying in modality composition (e.g., EEG, EOG, ECG), channel availability (e.g., frontal, occipital EEG), and acquisition protocols across datasets and clinical sites. Most existing models that process polysomnography data rely on a fixed subset of modalities or channels and therefore neglect to fully exploit its inherently multimodal nature. We address this limitation by introducing NAP (Neural Aggregator of Predictions), an attention-based model which learns to combine multiple prediction streams using a tri-axial attention mechanism that captures temporal, spatial, and predictor-level dependencies. NAP is trained to adapt to different input dimensions. By aggregating outputs from frozen, pretrained single-channel models, NAP consistently outperforms individual predictors and simple ensembles, achieving state-of-the-art zero-shot generalization across multiple datasets. While demonstrated in the context of automated sleep staging from polysomnography, the proposed approach could be extended to other multimodal physiological applications.
academic
NAP: স্বয়ংক্রিয় ঘুমের পর্যায় নির্ধারণের জন্য মনোযোগ-ভিত্তিক দেরী সংমিশ্রণ
পলিসোমনোগ্রাফি (PSG) সংকেত অত্যন্ত বৈচিত্র্যময়, যা মোডালিটি গঠন (যেমন EEG, EOG, ECG), চ্যানেল উপলব্ধতা (যেমন ফ্রন্টাল, অক্সিপিটাল EEG) এবং বিভিন্ন ডেটাসেট ও ক্লিনিক্যাল কেন্দ্রের সংগ্রহ প্রোটোকলে পার্থক্য প্রদর্শন করে। বহু-চ্যানেল PSG ডেটা পরিচালনাকারী বেশিরভাগ বিদ্যমান মডেল নির্দিষ্ট মোডালিটি বা চ্যানেল সাবসেটের উপর নির্ভর করে, তাই এর অন্তর্নিহিত মাল্টিমোডাল বৈশিষ্ট্যগুলি সম্পূর্ণভাবে কাজে লাগাতে ব্যর্থ হয়। এই পেপারটি NAP (Neural Aggregator of Predictions) প্রবর্তন করে এই সীমাবদ্ধতা সমাধান করে, যা একটি মনোযোগ-ভিত্তিক মডেল যা তিন-অক্ষ মনোযোগ প্রক্রিয়া ব্যবহার করে একাধিক পূর্বাভাস প্রবাহ একত্রিত করতে শেখে, সময়গত, স্থানিক এবং পূর্বাভাসকারী-স্তরের নির্ভরতা ক্যাপচার করে। NAP বিভিন্ন ইনপুট মাত্রা সামঞ্জস্য করার জন্য প্রশিক্ষিত। হিমায়িত প্রাক-প্রশিক্ষিত একক-চ্যানেল মডেলের আউটপুট একত্রিত করে, NAP ধারাবাহিকভাবে একক পূর্বাভাসকারী এবং সাধারণ সমন্বয় পদ্ধতিকে ছাড়িয়ে যায়, একাধিক ডেটাসেটে অত্যাধুনিক শূন্য-শট সাধারণীকরণ কর্মক্ষমতা অর্জন করে।
মূল সমস্যা: পলিসোমনোগ্রাফি (PSG) ডেটার বৈচিত্র্যের সমস্যা, যার মধ্যে রয়েছে বিভিন্ন মোডালিটি গঠন, চ্যানেল কনফিগারেশন এবং সংগ্রহ প্রোটোকল, বিদ্যমান মডেলগুলি এর মাল্টিমোডাল বৈশিষ্ট্যগুলি সম্পূর্ণভাবে কাজে লাগাতে পারে না।
ম্যানুয়াল ঘুমের পর্যায় নির্ধারণ সময়সাপেক্ষ এবং বিষয়গত পক্ষপাত রয়েছে
মাল্টিমোডাল তথ্য ঘুমের গতিশীলতার আরও ব্যাপক দৃশ্য প্রদান করে, রোগীর স্বাস্থ্য অবস্থা আরও ভালভাবে বোঝার জন্য সহায়তা করে
বিদ্যমান পদ্ধতির সীমাবদ্ধতা:
বেশিরভাগ মডেল নির্দিষ্ট মোডালিটি বা চ্যানেল সাবসেটের উপর নির্ভর করে
সাধারণ সফট ভোটিং সমন্বয় পদ্ধতি গড়কে যথেষ্ট একত্রীকরণ ফাংশন হিসাবে অনুমান করে
সমস্ত অবদানকারীকে সমানভাবে নির্ভরযোগ্য হিসাবে বিবেচনা করে
epoch-স্তরে কাজ করে, সময়গত নির্ভরতা উপেক্ষা করে
গবেষণা প্রেরণা: এমন একটি মডেল বিকাশ করা যা বিভিন্ন ইনপুট মাত্রা নমনীয়ভাবে পরিচালনা করতে, মাল্টিমোডাল পূর্বাভাস প্রবাহ কার্যকরভাবে একত্রিত করতে এবং মডুলারিটি বজায় রাখতে পারে।
NAP মডেল প্রস্তাব: একটি হালকা-ওজনের মনোযোগ-ভিত্তিক মেটা-মডেল যা সময়গত, স্থানিক/চ্যানেল, মডেল-স্তর এবং ক্রস-মোডাল নির্ভরতা স্পষ্টভাবে ক্যাপচার করে প্রাক-প্রশিক্ষিত একক-চ্যানেল মডেলের পূর্বাভাস একত্রিত করতে শেখে।
ক্রস-অ্যাটেনশন মেকানিজম সম্প্রসারণ: ক্রিস-ক্রস মনোযোগ প্রক্রিয়াকে স্থানিক-সময়গত মাত্রা থেকে তিন-অক্ষ মনোযোগ প্রক্রিয়ায় সাধারণীকরণ করা, একটি কার্যকর সংমিশ্রণ কৌশল হিসাবে।
মাত্রা-অভিযোজিত প্রশিক্ষণ: বিভিন্ন ক্রম দৈর্ঘ্য, চ্যানেল সংখ্যা, মডেল সংখ্যা এবং মোডালিটি সংখ্যা গতিশীলভাবে নমুনা করার জন্য মাত্রা-অভিযোজিত প্রশিক্ষণ সম্প্রসারণ।
SOTA শূন্য-শট কর্মক্ষমতা: একাধিক ডেটাসেটে অত্যাধুনিক শূন্য-শট সাধারণীকরণ কর্মক্ষমতা অর্জন করা, ব্যক্তিগত পূর্বাভাসকারী এবং সাধারণ সমন্বয় পদ্ধতির চেয়ে উল্লেখযোগ্যভাবে ভাল।
তিন-অক্ষ মনোযোগ প্রক্রিয়া: মনোযোগ গণনাকে স্থানিক, সময়গত এবং পূর্বাসকারী তিনটি মাত্রায় বিয়োজিত করা, ঐতিহ্যবাহী যৌথ মনোযোগের চেয়ে আরও দক্ষ এবং লক্ষ্যবস্তু।
গতিশীল মাত্রা অভিযোজন: প্রশিক্ষণের সময় বিভিন্ন সময়ের ধাপ, মোডালিটি সেট, চ্যানেল সংখ্যা এবং বেস পূর্বাসকারী র্যান্ডমলি নমুনা করা, মডেলের সাধারণীকরণ ক্ষমতা উন্নত করে।
গ্রেডিয়েন্ট সংগ্রহ কৌশল: G টি বিভিন্ন ব্যাচে গ্রেডিয়েন্ট সংগ্রহ করা, প্যাডিং এবং মাস্কিং অপারেশন এড়ানো, গণনা দক্ষতা উন্নত করে।
যদিও পেপারটিতে বিস্তারিত অ্যাবলেশন পরীক্ষা নেই, সাধারণ সফট ভোটিং (SOMNUS) এর সাথে তুলনার মাধ্যমে, সাধারণ গড়ের তুলনায় মনোযোগ প্রক্রিয়ার সুবিধা যাচাই করা হয়েছে।
পেপারটি ঘুম চিকিৎসা, গভীর শিক্ষা এবং মাল্টিমোডাল সংমিশ্রণ ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:
Berry et al. (2017): AASM ঘুমের পর্যায় নির্ধারণ মান
Perslev et al. (2021): U-Sleep মডেল
Phan et al. (2022): SleepTransformer
Huang et al. (2019): Criss-cross মনোযোগ মূল কাজ
Zhang et al. (2018, 2024): NSRR ডেটা সম্পদ
সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের মেশিন লার্নিং পেপার যা ক্লিনিক্যালি গুরুত্বপূর্ণ সমস্যার জন্য উদ্ভাবনী সমাধান প্রস্তাব করে। তিন-অক্ষ মনোযোগ প্রক্রিয়ার ডিজাইন চতুর, পরীক্ষামূলক ফলাফল বিশ্বাসযোগ্য। যদিও তাত্ত্বিক বিশ্লেষণ এবং অ্যাবলেশন পরীক্ষায় উন্নতির অবকাশ রয়েছে, তবে এর ব্যবহারিক মূল্য এবং প্রযুক্তিগত উদ্ভাবন এটিকে মাল্টিমোডাল শারীরবৃত্তীয় সংকেত প্রক্রিয়াকরণ ক্ষেত্রের একটি গুরুত্বপূর্ণ অবদান করে তোলে।