MedFuse: Fusión Multiplicativa de Incrustaciones para Series Temporales Clínicas Irregulares

Información Básica

• ID del Artículo: 2511.09247
• Título: MedFuse: Multiplicative Embedding Fusion For Irregular Clinical Time Series
• Autores: Yi-Hsien Hsieh, Ta-Jung Chien, Chun-Kai Huang, Shao-Hua Sun, Che Lin (Universidad Nacional de Taiwán)
• Clasificación: cs.AI
• Fecha de Publicación: 12 de noviembre de 2025 (envío a arXiv)
• Estado del Artículo: En proceso de envío
• Enlace del Artículo: https://arxiv.org/abs/2511.09247

Resumen

Las series temporales clínicas en registros electrónicos de salud (EHR) presentan irregularidades inherentes, incluyendo muestreo asincrónico, valores faltantes y dinámicas de características heterogéneas. Las estrategias de incrustación existentes típicamente combinan identidades de características e incrustaciones numéricas mediante operaciones aditivas, lo que limita la capacidad de capturar interacciones de características dependientes del valor. Este artículo propone el marco MedFuse, cuyo núcleo es el módulo MuFuse (Fusión de Incrustaciones Multiplicativas). MuFuse fusiona incrustaciones numéricas y de características mediante modulación multiplicativa, modelando dependencias de orden superior mientras preserva información específica de características. Los experimentos en tres conjuntos de datos del mundo real demuestran que MedFuse supera consistentemente los métodos de última generación en tareas de predicción crítica. El análisis de las representaciones aprendidas confirma que la fusión multiplicativa mejora la capacidad expresiva y respalda el preentrenamiento entre conjuntos de datos.

Contexto de Investigación y Motivación

1. Problema Central

El modelado de series temporales clínicas enfrenta tres desafíos principales:

• Muestreo Irregular: Los signos vitales pueden monitorearse frecuentemente, mientras que los análisis de laboratorio se realizan solo cuando es clínicamente necesario; los pacientes pueden perder visitas programadas
• Alta Tasa de Valores Faltantes: Los conjuntos de datos presentan tasas de valores faltantes promedio de 73.77%-88.14%
• Dificultad en la Representación Numérica: Los valores de laboratorio codificados en rangos continuos contienen información compleja que, en principio, requiere infinitas representaciones

2. Importancia del Problema

• Las series temporales clínicas son fundamentales para tareas de predicción médica y monitoreo
• El modelado efectivo es crítico para tareas médicas clave como predicción de mortalidad en UCI, evaluación de riesgo de enfermedades crónicas, etc.
• La irregularidad y los valores faltantes hacen que los métodos tradicionales sean difíciles de aplicar directamente

3. Limitaciones de Métodos Existentes

Los métodos EVAT (Each Value As Token) existentes emplean principalmente fusión aditiva:

• Utilizan incrustaciones numéricas como desplazamientos aditivos de incrustaciones de características
• Capacidad Expresiva Limitada: Difícil capturar interacciones no lineales dependientes del valor
• Pérdida de Semántica Clínica: Incapaz de distinguir diferencias cualitativas en desviaciones de pruebas de laboratorio (p. ej., aumento leve de creatinina vs. aumento abrupto)

4. Motivación de la Investigación

• La fusión multiplicativa ha demostrado proporcionar integración semántica más fuerte que la aditiva o concatenación en otros dominios
• La naturaleza especial de los datos clínicos (p. ej., equifinalidad médica: diferentes desviaciones anormales pueden corresponder al mismo riesgo clínico) requiere mecanismos de fusión más flexibles
• Se necesita un marco universal que no requiera imputación y pueda procesar directamente observaciones irregulares

Contribuciones Principales

1. Fusión Multiplicativa Valor-Característica: Propone el módulo MuFuse que realiza modulación no lineal y específica de características mediante fusión multiplicativa condicionada por valores, sin necesidad de expandir el vocabulario de incrustaciones
2. Marco Universal sin Imputación: Construye MedFuse basado en MuFuse, adoptando un esquema de tokenización de tripletas (característica, valor, marca de tiempo) para modelar directamente mediciones irregulares
3. Validación Integral y Transferibilidad:
   • Supera consistentemente líneas base sólidas en conjuntos de datos de UCI y enfermedades crónicas
   • Los estudios de ablación confirman que la multiplicación supera la fusión aditiva
   • Los experimentos de transferencia muestran que las incrustaciones de características aprendidas pueden reutilizarse entre conjuntos de datos
4. Perspectivas Teóricas: Demuestra que el método SOTA reciente SCANE es en realidad un caso especial de MuFuse (d'=1), estableciendo un mecanismo de fusión más universal

Explicación Detallada del Método

Definición de Tarea

Dado un conjunto de observaciones O = {(f, v, t)}:

• Entrada: f ∈ {1,...,F} identidad de característica (p. ej., tipo de prueba de laboratorio), v ∈ ℝ valor registrado, t ∈ ℝ⁺ marca de tiempo
• Salida: etiqueta de tarea de predicción (p. ej., mortalidad en UCI, riesgo de carcinoma hepatocelular)
• Restricción: procesar solo registros de observaciones reales (Mf,t = 1), sin necesidad de imputar valores faltantes

Arquitectura del Modelo

Arquitectura General (MedFuse)

Tripleta de observación (f,v,t) 
    ↓
Módulo de incrustación MuFuse
    ├─ Incrustación de identidad de característica: ef ∈ ℝᵈ
    ├─ Incrustación numérica: ev ∈ ℝᵈ'
    └─ Fusión multiplicativa: ef,v = ef ⊙ ev
    ↓
Codificación temporal aditiva: ef,v,t = ef,v + pt
    ↓
Codificador Transformer (N capas)
    ↓
Cabeza de clasificación lineal + Softmax

Módulo Principal: MuFuse

1. Incrustación de Identidad de Característica

ef ∈ ℝᵈ  (tabla de búsqueda estándar)

2. Incrustación Numérica

zv = φ(v) ∈ ℝᵈ'           # Proyector no lineal compartido
ev|f = γf ⊙ zv + βf       # Transformación afín específica de característica

donde γf, βf ∈ ℝᵈ' son parámetros específicos de característica aprendibles

3. Fusión Multiplicativa

Cuando d' = d:

MuFuse(ef, ev) = ef ⊙ ev = ef,v

Cuando d ≠ d' (asumiendo d = d' × k):

• Dividir ef en k bloques consecutivos: ef = e⁽¹⁾f; e⁽²⁾f; ...; e⁽ᵏ⁾f
• Cada entrada de ev se convierte en puerta mediante sigmoid: g(vj) = σ(vj) ∈ (0,1)
• La puerta escalar se aplica al bloque correspondiente: e⁽ⁱ⁾f,v = g(vj) · e⁽ⁱ⁾f

4. Procesamiento de Características Categóricas

ef,c = Wcat · Concat(ef, ec) ∈ ℝᵈ

5. Incrustación Temporal (Codificación de Posición Sinusoidal)

pt[2i] = sin(t/ωi)
pt[2i+1] = cos(t/ωi)
ef,v,t = ef,v + pt

Puntos de Innovación Técnica

1. Ventajas de la Fusión Multiplicativa

Expresión Matemática:

MuFuse: ef,v = ef ⊙ ev = ef ⊙ (1 + e'v) = ef + ef ⊙ e'v
Fusión aditiva: ef,v = ef + ev

• MuFuse introduce un término de interacción ef ⊙ e'v, haciendo que la modulación numérica dependa de la identidad de característica
• En fusión aditiva, ev actúa como término independiente, sin ser influenciado por ef

2. Modelado de Equifinalidad Médica (Enmascaramiento y Colapso)

Escenario clínico: tanto la hiponatremia como la hipernatremia pueden causar convulsiones

• Fusión aditiva: necesita asignar la misma incrustación para diferentes rangos de valores, perdiendo flexibilidad
• MuFuse: mediante multiplicación elemento a elemento, incluso con ev diferente, puede colapsar diferentes incrustaciones en la misma representación a través de ef como máscara

3. Relación con SCANE

SCANE multiplica directamente el valor de observación escalar por la incrustación de característica, siendo en realidad un caso especial de MuFuse (d'=1, sin transformación de valor). MuFuse proporciona mayor capacidad expresiva mediante selección flexible de dimensiones y proyección no lineal.

4. ¿Por Qué la Codificación Temporal Usa Adición?

Los experimentos muestran que la codificación temporal aditiva supera la multiplicativa (AUPRC: 0.6717 vs 0.6495):

• Adición: preserva la amplitud de señal AC y patrones espectrales de la codificación sinusoidal, con incrustaciones de características solo como desplazamiento DC
• Multiplicación: altera la amplitud AC y composición espectral, destruyendo la regularidad de la representación de codificación de posición ordenada

Configuración Experimental

Conjuntos de Datos

Protocolo de Preprocesamiento:

• Tareas de UCI: ventana de observación de 48 horas, agregación de 2 horas (24 marcas de tiempo)
• Tarea HCC: ventana de observación de 1 año, agregación de 90 días (4 marcas de tiempo)
• Variables numéricas toman mediana, variables categóricas toman moda
• Sin imputación, solo valores observados generan tokens

Métricas de Evaluación

• Métrica Principal: AUPRC (Área Bajo la Curva de Precisión-Recuperación) - más adecuada para desbalance de clases
• Métricas Auxiliares: AUROC, Precisión (UCI) / índice c (HCC)
• Significancia Estadística: Intervalo de confianza del 95%, estimado mediante bootstrap de 1000 iteraciones

Métodos de Comparación

1. Conjuntos Tradicionales: Random Forest, XGBoost
2. Modelos de Secuencia Universal: Codificador Transformer, TCN
3. Especializado en Series Temporales Clínicas:
   • SAnD: autoatención enmascarada
   • mTAN: atención de tiempo continuo
   • STraTS: aprendizaje de tripletas autosupervisado
   • SUMMIT (SCANE): SOTA actual, mecanismo de escalado numérico

Detalles de Implementación

• Optimizador: Adam
• Tasa de Aprendizaje: 3e-5 (MedFuse), 5e-4 (mayoría de líneas base)
• Ajuste de Hiperparámetros: Optuna (conjunto de validación)
• Parada Temprana: 30-380 épocas (dependiente del conjunto de datos)
• Dimensiones del Modelo: d=144, d' variable (estudios de ablación)
• Número de Capas Transformer: 32 capas (MedFuse)

Resultados Experimentales

Resultados Principales

Tabla 1: Comparación de Rendimiento (Mejor en negrita, Segundo mejor subrayado)

Hallazgos Clave:

• MedFuse logra el mejor rendimiento en la métrica principal AUPRC en los tres conjuntos de datos
• Mejora respecto a SUMMIT: MI3 +3.9%, P12 +2.0%, HCC +0.9%
• AUROC y Precisión también alcanzan lo mejor en MI3 (0.9078 y 0.9153)

Estudios de Ablación

Tabla 2: Ablación de Estrategia de Fusión Característica-Valor (P12)

Conclusión: La fusión multiplicativa mejora 5.5% en AUPRC respecto a la aditiva, confirmando la efectividad de la modulación multiplicativa condicionada por valores

Impacto del Factor de División de Dimensiones k

Configuración Experimental: Fijar d=144, variar k (es decir, d'=d/k)

Resultados en P12:

• k=1 (d'=144): AUPRC 0.539
• k=9 (d'=16): AUPRC 0.561 (óptimo)
• k=144 (d'=1, equivalente a SCANE): AUPRC 0.548

Perspectivas:

• La división de dimensiones media proporciona el mejor equilibrio
• Demasiado grueso (k pequeño): parametrización insuficiente del efecto de valor
• Demasiado fino (k grande): sobreajuste de interacción característica-valor
• Valida el diseño de alineación flexible del producto Hadamard transmitido

Aprendizaje de Transferencia Entre Conjuntos de Datos

Protocolo Experimental:

1. Preentrenamiento en conjunto de datos fuente
2. Transferir solo incrustaciones de identidad de característica de características superpuestas (F∩)
3. P12 y MI3 comparten 25 características (59.5% de P12, 18.9% de MI3)

Tabla 3: Resultados de Transferencia Entre Conjuntos de Datos

Hallazgos Clave:

• El tamaño del conjunto de datos fuente es crítico: transferencia positiva de conjunto grande a pequeño
• La identidad del conjunto de datos no es el factor principal: submuestra MI3→P12 aún muestra transferencia negativa
• Las incrustaciones de características capturan semántica reutilizable e independiente de la cohorte

Visualización de Incrustaciones

Visualización t-SNE (Conjunto de Datos HCC):

• Antes de Fusión: Agrupamiento claro de tokens del mismo tipo de característica
• Después de Primera Capa Transformer: Propiedades de agrupamiento se mantienen, confirmando robustez de MuFuse

Trabajo Relacionado

1. Fundamentos de Modelos de Secuencia

• RNN Clásicas: LSTM, GRU - establecen líneas base
• Transformer: capturan dependencias de largo alcance
• Variantes Eficientes: Informer (autoatención dispersa)

2. Modelado de Series Temporales Médicas

• Métodos de Imputación: BRITS (aprendizaje conjunto de imputación y predicción)
• Remuestreo en Cuadrícula: SAnD (autoatención enmascarada, requiere cuadrícula regular)
• Atención de Tiempo Continuo: mTAN (procesa directamente observaciones irregulares)

3. Paradigma EVAT

• STraTS: aprendizaje de tripletas autosupervisado
• SCANE/SUMMIT: mecanismo de escalado numérico (SOTA)
• Contribución del Artículo: demuestra que SCANE es caso especial de MuFuse, proporciona marco más universal

4. Investigación de Operaciones de Fusión

• Chrysos et al. (2025): ventajas del producto Hadamard en aprendizaje profundo
• Este artículo: primera aplicación sistemática de fusión multiplicativa al modelado numérico de EHR clínicos

Conclusiones y Discusión

Conclusiones Principales

1. La Fusión Multiplicativa Supera la Aditiva: MuFuse logra interacciones no lineales específicas de características mediante modulación condicionada por valores
2. Marco Universal sin Imputación: MedFuse es efectivo en escenarios de UCI y enfermedades crónicas
3. Transferibilidad: Las incrustaciones de características aprendidas respaldan adaptación entre conjuntos de datos (requiere tamaño suficiente de conjunto fuente)
4. Unificación Teórica: MuFuse generaliza SCANE, proporcionando principios de diseño más claros

Limitaciones

1. Costo Computacional: 32 capas Transformer puede limitar aplicaciones en tiempo real
2. Condiciones de Transferencia: La transferencia entre conjuntos de datos requiere conjunto fuente de gran escala
3. Superposición de Características: La transferencia depende de superposición suficiente de características (18.9%-59.5% en este experimento)
4. Interpretabilidad: La semántica clínica de interacciones multiplicativas requiere exploración adicional
5. Extensión Multimodal: Actualmente solo procesa características numéricas y categóricas, no cubre texto e imágenes

Direcciones Futuras

1. Preentrenamiento Multimodal a Gran Escala: extender a notas clínicas e imágenes médicas
2. Inferencia Causal: integrar análisis contrafáctico para mejorar interpretabilidad
3. Soporte de Decisión Clínica Confiable: desplegar en entornos clínicos reales
4. Arquitecturas Eficientes: explorar variantes ligeras para escenarios con recursos limitados
5. Mejora de Codificación Temporal: investigar codificaciones de posición más adecuadas para muestreo irregular

Evaluación Profunda

Fortalezas

1. Innovación del Método (★★★★★)

• Innovación Central Sólida: Fusión multiplicativa tiene motivación teórica clara (equifinalidad médica, término de interacción)
• Generalización de SOTA: Demuestra elegantemente que SCANE es caso especial (d'=1), proporciona marco unificado
• Diseño Flexible: Producto Hadamard transmitido respalda proporciones de dimensiones arbitrarias

2. Suficiencia Experimental (★★★★★)

• Conjuntos de Datos Diversos: Cubre escenarios de UCI (agudo) y HCC (crónico)
• Ablación Integral: Tres dimensiones de estrategia de fusión, factor de dimensión, aprendizaje de transferencia
• Rigor Estadístico: Intervalos de confianza Bootstrap, evaluación multi-métrica
• Análisis de Visualización: t-SNE valida calidad de incrustación

3. Claridad de Escritura (★★★★☆)

• Estructura clara, motivación bien articulada
• Expresión matemática precisa (ecuaciones 4-11)
• Apéndice detallado (hiperparámetros, estadísticas de conjuntos de datos, experimentos adicionales)
• Deficiencia Menor: Algunos términos clínicos podrían necesitar más explicación

4. Valor Práctico (★★★★☆)

• Sin necesidad de imputación, reduce complejidad de preprocesamiento
• Código no publicado (en proceso de envío), pero descripción de método detallada
• Costo computacional relativamente alto (32 capas Transformer)

Deficiencias

1. Limitaciones del Método

• Contradicción en Codificación Temporal: Reconoce que fusión multiplicativa no es adecuada para codificación temporal, pero carece de explicación teórica profunda
• Selección de Dimensiones: El valor óptimo de k depende del conjunto de datos, falta mecanismo de selección automática
• Procesamiento de Características Categóricas: Concatenación simple + transformación lineal, no explora completamente potencial de fusión multiplicativa

2. Defectos Experimentales

• Experimentos de Transferencia Limitados: Solo prueba entre dos conjuntos de datos de UCI, HCC no participa
• Superposición de Características Baja: Solo 18.9% de superposición de características en lado MI3, limita evaluación de potencial de transferencia
• Falta Análisis de Costo Computacional: No reporta tiempo de entrenamiento, consumo de memoria
• Sensibilidad de Hiperparámetros: Diferentes conjuntos de datos requieren ajuste significativo de capas (1-32 capas)

3. Análisis Insuficiente

• Visualización de Interacción de Características: Falta análisis de interacción de características clínicas específicas
• Análisis de Casos de Fallo: No discute casos donde predicciones del modelo son erróneas
• Comparación Insuficiente con SCANE: Aunque demuestra que es caso especial, falta comparación directa de rendimiento con diferentes configuraciones de d'

4. Problemas de Reproducibilidad

• Código No Publicado: Afecta verificación de resultados
• Conjunto de Datos Privado: Conjunto de datos HCC no puede ser accesible públicamente
• Semillas Aleatorias: No especifica claramente si están fijadas

Evaluación de Impacto

Contribución al Campo (★★★★☆)

• Contribución Teórica: Establece base teórica de fusión multiplicativa en modelado de EHR
• Contribución de Método: Proporciona marco universal, extensible a otras series temporales irregulares
• Contribución Empírica: Establece nuevo SOTA en puntos de referencia estándar

Valor Práctico (★★★☆☆)

• Ventajas: Sin necesidad de imputación, procesa directamente datos irregulares
• Limitaciones: Costo computacional alto, requiere conjunto fuente de gran escala para respaldar transferencia
• Escenarios Aplicables: Adecuado para instituciones de investigación e instituciones médicas grandes con recursos computacionales suficientes

Reproducibilidad (★★★☆☆)

• Descripción de Método Detallada: Fórmulas y arquitectura claras
• Falta de Código: Reduce reproducibilidad
• Disponibilidad Parcial de Datos: P12 y MI3 públicos, HCC privado

Escenarios Aplicables

Más Adecuado Para

1. Escenarios de Alta Tasa de Valores Faltantes (>70%): Ventaja clara de no requerir imputación
2. Muestreo Irregular: Monitoreo en UCI, seguimiento ambulatorio y otros datos asincrónico
3. Dominado por Características Numéricas: Análisis de laboratorio, signos vitales y otras mediciones continuas
4. Con Necesidades de Preentrenamiento: Puede aprovechar conjuntos de datos fuente de gran escala

Menos Adecuado Para

1. Predicción en Tiempo Real: Latencia de inferencia relativamente alta con 32 capas Transformer
2. Escenarios de Pocas Muestras: Aprendizaje de transferencia requiere conjunto fuente de gran escala
3. Características Puramente Categóricas: Ventaja de fusión multiplicativa no es evidente
4. Entornos con Recursos Limitados: Dispositivos periféricos, aplicaciones de salud móvil

Sugerencias de Mejora

1. Selección de Dimensiones Adaptativa: Desarrollar método para determinar automáticamente k (p. ej., búsqueda de arquitectura neuronal)
2. Variantes Ligeras: Explorar destilación de conocimiento o poda para reducir costo computacional
3. Extensión Multimodal: Integrar notas clínicas, datos de imágenes médicas
4. Mejora de Interpretabilidad: Proporcionar explicación de semántica clínica de interacciones de características
5. Código y Modelos Públicos: Promover verificación comunitaria y aplicación

Referencias Seleccionadas

1. Huang et al. (2024): SCANE/SUMMIT - línea base SOTA mejorada en este artículo
2. Chrysos et al. (2025): Revisión de producto Hadamard en aprendizaje profundo
3. Tipirneni & Reddy (2022): STraTS - trabajo representativo del paradigma EVAT
4. Shukla & Marlin (2021): mTAN - mecanismo de atención de tiempo continuo
5. Vaswani et al. (2017): Transformer - arquitectura backbone de este artículo
6. Johnson et al. (2016): Base de datos MIMIC-III - conjunto de datos de evaluación clave

Resumen

MedFuse es un artículo con contribuciones sustanciales en el campo del modelado de series temporales clínicas. Su innovación central —fusión de incrustaciones multiplicativas (MuFuse)— no solo generaliza elegantemente el método SOTA existente desde una perspectiva teórica, sino que también logra mejoras de rendimiento consistentes en múltiples conjuntos de datos del mundo real. El diseño experimental del artículo es integral, desde comparación de rendimiento principal hasta estudios de ablación, análisis de dimensiones e investigación de aprendizaje de transferencia, validando sistemáticamente la efectividad del método.

Particularmente digno de elogio es la perspectiva del artículo sobre equifinalidad médica (medical equifinality) —modelar naturalmente a través del efecto de enmascaramiento de fusión multiplicativa el fenómeno donde diferentes desviaciones anormales corresponden al mismo riesgo clínico— demostrando comprensión profunda del dominio clínico por parte de los autores.

Sin embargo, el artículo también presenta algunas deficiencias: costo computacional relativamente alto, experimentos de transferencia limitados, código no publicado, etc. A pesar de esto, MedFuse proporciona un marco potente y universal para modelado de series temporales clínicas irregulares, con importancia significativa para avanzar el desarrollo del campo de IA médica. Se espera ver progreso en futuras investigaciones en extensión multimodal, interpretabilidad y despliegue clínico real.

Índice de Recomendación: 8.5/10