MedFuse: Multiplicative Embedding Fusion For Irregular Clinical Time Series
Hsieh, Chien, Huang et al.
Clinical time series derived from electronic health records (EHRs) are inherently irregular, with asynchronous sampling, missing values, and heterogeneous feature dynamics. While numerical laboratory measurements are highly informative, existing embedding strategies usually combine feature identity and value embeddings through additive operations, which constrains their ability to capture value-dependent feature interactions. We propose MedFuse, a framework for irregular clinical time series centered on the MuFuse (Multiplicative Embedding Fusion) module. MuFuse fuses value and feature embeddings through multiplicative modulation, preserving feature-specific information while modeling higher-order dependencies across features. Experiments on three real-world datasets covering both intensive and chronic care show that MedFuse consistently outperforms state-of-the-art baselines on key predictive tasks. Analysis of the learned representations further demonstrates that multiplicative fusion enhances expressiveness and supports cross-dataset pretraining. These results establish MedFuse as a generalizable approach for modeling irregular clinical time series.
academic
MedFuse: الدمج الضربي للتضمينات للسلاسل الزمنية السريرية غير المنتظمة
تتميز السلاسل الزمنية السريرية في السجلات الصحية الإلكترونية (EHR) بعدم انتظام متأصل، يشمل العينات غير المتزامنة والقيم المفقودة والديناميكيات المتغايرة للميزات. عادة ما تجمع استراتيجيات التضمين الحالية بين هوية الميزة والتضمينات الرقمية من خلال العمليات الجمعية، مما يحد من القدرة على التقاط التفاعلات بين الميزات التي تعتمد على القيمة. تقترح هذه الورقة إطار عمل MedFuse، الذي يركز على وحدة MuFuse (الدمج الضربي للتضمينات). يدمج MuFuse التضمينات الرقمية والميزات من خلال التعديل الضربي، مما يحافظ على المعلومات الخاصة بالميزة أثناء نمذجة التبعيات من الدرجة الأعلى. تُظهر التجارب على ثلاث مجموعات بيانات من العالم الحقيقي أن MedFuse يتفوق باستمرار على أحدث الخطوط الأساسية في مهام التنبؤ الحرجة. يثبت التحليل الإضافي للتمثيلات المكتسبة أن الدمج الضربي يعزز القدرة التعبيرية ويدعم التدريب المسبق عبر مجموعات البيانات.
تواجه نمذجة السلاسل الزمنية السريرية ثلاث تحديات رئيسية:
العينات غير المنتظمة: قد تتم مراقبة العلامات الحيوية بشكل متكرر، بينما تُجرى الاختبارات المخبرية فقط عند الحاجة السريرية، وقد يفتقد المرضى الزيارات المجدولة
معدل فقدان مرتفع: يصل متوسط معدل الفقدان في مجموعات البيانات إلى 73.77%-88.14%
صعوبة التمثيل الرقمي: تشفر القيم المخبرية معلومات معقدة في نطاق مستمر، مما يتطلب من حيث المبدأ عددًا لا نهائيًا من التمثيلات
تعتمد طرق EVAT (Each Value As Token) الموجودة بشكل أساسي على الدمج الجمعي:
تعامل التضمينات الرقمية كإزاحة جمعية لتضمينات الميزة
تحد من القدرة التعبيرية: يصعب التقاط التفاعلات غير الخطية التي تعتمد على القيمة
فقدان الدلالات السريرية: عدم القدرة على التمييز بين الانحرافات الصغيرة والكبيرة في الاختبارات المخبرية (مثل الارتفاع الطفيف للكرياتينين مقابل الارتفاع الحاد)
الدمج الضربي للقيمة والميزة: اقتراح وحدة MuFuse التي تنفذ تعديلاً غير خطي وخاص بالميزة من خلال الدمج الضربي المشروط بالقيمة، دون الحاجة إلى توسيع جدول مفردات التضمين
إطار عمل عام بدون احتساب: بناء MedFuse على أساس MuFuse، باستخدام مخطط ترميز ثلاثي (ميزة، قيمة، طابع زمني) لنمذجة القياسات غير المنتظمة بشكل مباشر
التحقق الشامل والقابلية للنقل:
تفوق مستمر على الخطوط الأساسية القوية على مجموعات بيانات وحدة العناية المركزة والأمراض المزمنة
تؤكد دراسات الاستئصال أن الدمج الضربي يتفوق على الدمج الجمعي
تُظهر تجارب النقل أن تضمينات الميزة المكتسبة يمكن إعادة استخدامها عبر مجموعات البيانات
الرؤى النظرية: إثبات أن طريقة SOTA الحديثة SCANE هي في الواقع حالة خاصة من MuFuse (d'=1)، مما يؤسس آلية دمج أكثر عمومية
يضرب SCANE مباشرة القيمة المرصودة بـ تضمين الميزة، وهو في الواقع حالة خاصة من MuFuse (d'=1، بدون تحويل قيمة). يوفر MuFuse قدرة تعبيرية أقوى من خلال اختيار الأبعاد المرن والإسقاط غير الخطي.
MedFuse هي ورقة ذات مساهمة جوهرية في مجال نمذجة السلاسل الزمنية السريرية. الابتكار الأساسي - الدمج الضربي للتضمينات (MuFuse) - لا يعمم فقط طريقة SOTA الموجودة بأناقة من الناحية النظرية، بل يحقق أيضًا تحسنًا متسقًا في الأداء على مجموعات بيانات حقيقية متعددة. يتميز تصميم التجارب بالشمول، من مقارنات الأداء الرئيسية إلى دراسات الاستئصال وتحليل الأبعاد والتعلم بنقل، مما يتحقق بشكل منهجي من فعالية الطريقة.
يستحق الثناء بشكل خاص رؤية الورقة حول التكافؤ الطبي (medical equifinality) - نمذجة الظاهرة الطبيعية حيث قد تتوافق انحرافات شذوذ مختلفة مع نفس المخاطر السريرية من خلال تأثير الإخفاء للدمج الضربي، مما يدل على فهم عميق للمجال السريري.
ومع ذلك، تعاني الورقة من بعض أوجه القصور: التكلفة الحسابية العالية، تجارب النقل المحدودة، وعدم نشر الكود. بالرغم من ذلك، يوفر MedFuse إطار عمل قويًا وعامًا لنمذجة السلاسل الزمنية السريرية غير المنتظمة، مما له أهمية كبيرة في تعزيز تطور مجال الذكاء الاصطناعي الطبي. نتطلع إلى رؤية تقدم في الأعمال اللاحقة في التوسع متعدد الأنماط والقابلية للتفسير والنشر السريري الفعلي.