2025-11-30T04:01:18.568934

Combined power management and congestion control in High-Speed Ethernet-based Networks for Supercomputers and Data Centers

de la Rosa, andújar, Escudero-Sahuquillo et al.
The demand for computer in our daily lives has led to the proliferation of Datacenters that power indispensable many services. On the other hand, computing has become essential for some research for various scientific fields, that require Supercomputers with vast computing capabilities to produce results in reasonable time. The scale and complexity of these systems, compared to our day-to-day devices, are like comparing a cell to a living organism. To make them work properly, we need state-of-the-art technology and engineering, not just raw resources. Interconnecting the different computer nodes that make up a whole is a delicate task, as it can become the bottleneck for the whole infrastructure. In this work, we explore two aspects of the network: how to prevent degradation under heavy use with congestion control, and how to save energy when idle with power management; and how the two may interact.
academic

Gestión de potencia combinada y control de congestión en redes Ethernet de alta velocidad para supercomputadoras y centros de datos

Información Básica

  • ID del Artículo: 2511.10159
  • Título: Combined power management and congestion control in High-Speed Ethernet-based Networks for Supercomputers and Data Centers
  • Autores: Miguel Sánchez de la Rosa, Francisco J. Andújar, Jesus Escudero-Sahuquillo, José L. Sánchez, Francisco J. Alfaro-Cortés
  • Instituciones: Universidad de Castilla-La Mancha (España), Universidad de Valladolid (España)
  • Clasificación: cs.AR (Arquitectura de Computadores)
  • Fecha de Publicación: 13 de noviembre de 2025 (preimpresión en arXiv)
  • Enlace del Artículo: https://arxiv.org/abs/2511.10159

Resumen

Con la expansión continua de la escala de centros de datos y supercomputadoras, las redes de interconexión se han convertido en un cuello de botella potencial de todo el sistema. Este artículo investiga la optimización conjunta de dos aspectos críticos en redes Ethernet de alta velocidad: (1) prevención de la degradación del rendimiento bajo cargas pesadas mediante control de congestión; (2) ahorro de energía durante períodos inactivos mediante gestión de potencia; (3) exploración de las interacciones entre ambos. Los resultados demuestran que la combinación apropiada de esquemas de colas estáticas (SQS) con técnicas de gestión de potencia dinámica (como PerfBound) puede minimizar la pérdida de rendimiento mientras se reduce el consumo de energía.

Contexto y Motivación de la Investigación

1. Problema de Investigación

Este artículo aborda cómo lograr simultáneamente en redes de interconexión Ethernet de alta velocidad para supercomputadoras y centros de datos:

  • Optimización de eficiencia energética: reducción de potencia durante períodos inactivos de la red
  • Control de congestión: mantenimiento del rendimiento de la red bajo cargas altas
  • Cooperación entre ambos: comprensión de los efectos de interacción entre gestión de potencia y control de congestión

2. Importancia del Problema

  • Aumento de la proporción de consumo de energía: a medida que las CPU se vuelven más eficientes en energía, la proporción de potencia consumida por las redes de interconexión respecto al consumo total del sistema aumenta continuamente
  • Cuello de botella de rendimiento: la congestión de la red causa bloqueo Head-of-Line (HoL), degradando severamente el rendimiento general
  • Características de aplicaciones: las aplicaciones HPC típicamente alternan entre fases de computación y comunicación, proporcionando ventanas de oportunidad para ahorro de energía
  • Necesidad práctica: la potencia de los enlaces es independiente de la actividad de la red, consumiendo la misma energía incluso durante períodos inactivos

3. Limitaciones de Métodos Existentes

En gestión de potencia:

  • PDT fijo (Power-down Threshold): todos los enlaces utilizan el mismo umbral, incapaz de adaptarse a patrones de uso diferentes en distintos enlaces
  • Requiere preajuste: necesita ejecución previa de cargas de trabajo para ajuste de parámetros, consumiendo energía adicional
  • Degradación de rendimiento: existen retrasos en la entrada y salida de estados de baja potencia (LPI)

En control de congestión:

  • Bloqueo HoL: los flujos calientes (hot flows) monopolizan recursos compartidos, causando degradación severa de rendimiento en flujos fríos (cold flows)
  • Propagación de congestión: la congestión se propaga hacia las fuentes a través de mecanismos de parada-inicio o basados en créditos
  • Falta de diseño cooperativo: la gestión de potencia y el control de congestión típicamente se investigan de manera independiente

4. Motivación de la Investigación

  • Oportunidades de optimización conjunta: la gestión de potencia y el control de congestión pueden influirse mutuamente, requiriendo diseño conjunto
  • Necesidad práctica: tanto InfiniBand como Ethernet poseen mecanismos de ahorro de energía estándar (IBTA y EEE), pero frecuentemente se deshabilitan en busca del máximo rendimiento
  • Llenar vacío de investigación: falta investigación sistemática sobre los efectos de usar ambas técnicas en combinación

Contribuciones Principales

  1. Primer estudio sistemático de los efectos sinérgicos entre esquemas de colas estáticas (SQS) y técnicas de gestión de potencia, revelando la influencia dual del control de congestión en consumo de energía y rendimiento
  2. Evaluación experimental de 4 esquemas SQS (1Q, BBQ, DBBM, Flow2SL) combinados con múltiples estrategias de gestión de potencia (PDT fijo y PerfBound dinámico)
  3. Descubrimiento de ventajas de DBBM: Destination-Based Buffer Management demuestra ventajas significativas cuando se combina con gestión de potencia, minimizando sobrecarga de latencia y tiempo de ejecución mientras se reduce consumo de energía
  4. Orientación práctica: proporciona evidencia experimental y recomendaciones de configuración para optimización conjunta de gestión de potencia y control de congestión en diseño de redes para supercomputadoras y centros de datos

Detalles de la Metodología

Definición de Tareas

Entrada:

  • Topología de red y patrones de tráfico
  • Configuración de esquema de colas estáticas (SQS)
  • Parámetros de gestión de potencia (valores PDT o configuración PerfBound)

Salida:

  • Consumo de energía de la red
  • Latencia de la red
  • Tiempo de ejecución de aplicaciones

Restricciones:

  • Degradación de rendimiento debe mantenerse dentro de rangos aceptables
  • Mantener características de red sin pérdidas (lossless)

Componentes Técnicos

1. Esquemas de Colas Estáticas (SQS)

Utilizados para mitigar bloqueo HoL, dispersando congestión a través de canales virtuales diferentes (Virtual Channels, VCs):

  • 1Q (Cola única): esquema de línea base, todos los flujos comparten una única cola
  • BBQ (Bubble-Based Queuing): mecanismo de encolamiento basado en burbujas, reduciendo bloqueo HoL en topología Dragonfly
  • DBBM (Destination-Based Buffer Management): asignación de búferes según destino, aislando congestión de diferentes flujos
  • Flow2SL (Flow to Service Level): mapeo de flujos a diferentes niveles de servicio, implementando gestión de colas de granularidad más fina

2. Técnicas de Gestión de Potencia

Método PDT Fijo
  • Principio: después de la transmisión de paquetes, el enlace permanece activo durante un tiempo fijo (PDT)
  • Parámetros: se probaron PDT = 1e-0s a 1e-9s así como PDT=0s (suspensión inmediata)
  • Ventajas: implementación simple
  • Desventajas: incapaz de adaptarse a patrones de uso diferentes en distintos enlaces
Método Dinámico PerfBound
  • Principio: calcula dinámicamente el valor PDT para cada puerto, satisfaciendo límites de degradación de rendimiento preestablecidos
  • Mecanismo: basado en estructura de datos de gestión de histogramas
  • Tres estrategias:
    • Histograma Regular: histograma convencional
    • Histograma Circular: histograma circular
    • Histograma Autolimpiable: histograma con autolimpieza
  • Ventajas: ajuste adaptativo, sin necesidad de preajuste

Puntos de Innovación Técnica

  1. Marco de evaluación cooperativo: primer estudio que evalúa SQS y gestión de potencia como sistema acoplado, en lugar de optimización independiente
  2. Análisis multidimensional: examen simultáneo de tres indicadores clave: consumo de energía, latencia de red y tiempo de ejecución
  3. Descubrimiento de efectos sinérgicos de DBBM: revelación de ventajas especiales de DBBM en escenarios de gestión de potencia:
    • Gestión de búferes mejorada reduce despertares innecesarios de enlaces
    • Aislamiento de tráfico por destino permite que más enlaces entren en suspensión
  4. Orientación hacia practicidad: basado en tecnología estandarizada (EEE), los resultados pueden aplicarse directamente a sistemas reales

Configuración Experimental

Entorno de Prueba

  • Plataforma de prueba: simulador de red Ethernet de alta velocidad basado en BXIv3
  • Tipo de red: red sin pérdidas (lossless network)
  • Mecanismo de control de flujo: soporte para canales virtuales (VCs) y control de flujo basado en prioridades (PFC)

Métricas de Evaluación

  1. Consumo de Energía (Energy Consumption):
    • Porcentaje de consumo relativo a línea base sin ahorro de energía
    • Menor es mejor
  2. Latencia de Red (Network Latency):
    • Aumento porcentual promedio de latencia de red a nivel de aplicación
    • Medido relativamente a línea base sin ahorro de energía
  3. Aumento de Tiempo de Ejecución (Execution Time Increase):
    • Aumento porcentual del tiempo total de ejecución de aplicaciones
    • Refleja impacto general en rendimiento

Esquemas de Comparación

Esquemas SQS:

  • 1Q (línea base)
  • BBQ
  • DBBM
  • Flow2SL

Esquemas de gestión de potencia:

  • Sin ahorro de energía (No powersaving)
  • PDT fijo (8 valores diferentes: 1e-0s a 1e-9s, así como 0s)
  • PerfBound (3 estrategias de gestión de histogramas)

Detalles de Implementación

  • Rango PDT: desde 1 segundo a 1 nanosegundo, cubriendo múltiples órdenes de magnitud
  • Configuración PerfBound: establecimiento de límites de degradación de rendimiento, ajuste dinámico de PDT
  • Escenarios de prueba: simulación de cargas de trabajo típicas de HPC, incluyendo fases alternas de computación y comunicación

Resultados Experimentales

Resultados Principales

1. Análisis de Consumo de Energía (Figura 1)

Efecto PDT Fijo (Figura 1a):

  • Factor dominante: el valor PDT es el determinante principal del consumo de energía
  • Impacto SQS mínimo: diferencias de consumo entre diferentes SQS no son significativas (bajo PDT fijo)
  • Rango de consumo: desde 100% sin ahorro de energía hasta aproximadamente 16% (con PDT=1e-9s)
  • Tendencia: PDT más pequeño resulta en menor consumo de energía, pero aumenta riesgo de degradación de rendimiento

Efecto PerfBound (Figura 1b):

  • Reducción adicional de energía: comparado con PDT fijo, consumo se reduce a rango de 76%-100%
  • Ventaja de DBBM evidente: DBBM combinado con PerfBound muestra consumo de energía más bajo
  • Impacto de estrategia de histogramas: diferencias entre tres estrategias de gestión de histogramas son pequeñas (aproximadamente 80%-96%)
  • Efecto sinérgico: características de gestión de búferes de DBBM producen efecto sinérgico con ajuste dinámico de PDT

2. Análisis de Latencia de Red (Figura 2)

Impacto PDT Fijo (Figura 2a):

  • Rango de aumento de latencia: desde 1.1% hasta 102.1%
  • Valor crítico de PDT: existe punto de inflexión claro de rendimiento
    • PDT muy pequeño (como 1e-9s): aumento significativo de latencia (>80%)
    • PDT moderado (como 1e-5s a 1e-6s): aumento de latencia controlable (<20%)
  • Diferencias SQS:
    • DBBM mejor desempeño: aumento de latencia mínimo en todos los valores PDT
    • 1Q peor desempeño: aumento de latencia más significativo
    • BBQ y Flow2SL intermedios

Impacto PerfBound (Figura 2b):

  • Diferencias SQS más evidentes: después de usar PerfBound, diferencias de rendimiento entre diferentes SQS se amplifican
  • Ventaja de DBBM destacada: aumento de latencia aproximadamente 5-10%
  • Desventaja de 1Q evidente: aumento de latencia puede alcanzar 40-45%
  • Impacto de estrategia de histogramas pequeño: diferencias entre tres estrategias dentro de 5%

3. Análisis de Tiempo de Ejecución (Figura 3)

Impacto PDT Fijo (Figura 3a):

  • Tendencia general: con reducción de PDT, sobrecarga de tiempo de ejecución aumenta
  • Ventaja significativa de DBBM:
    • Aumento de tiempo de ejecución solo 1-3%
    • Notablemente inferior a otros SQS (3-8%)
  • 1Q peor: bajo PDT estricto, sobrecarga puede alcanzar 8%

Impacto PerfBound (Figura 3b):

  • Efecto SQS más destacado:
    • DBBM: aumento de 1-3%
    • BBQ y Flow2SL: aumento de 3-5%
    • 1Q: aumento de 5-8%
  • Estrategia de histogramas: impacto relativamente pequeño en tiempo de ejecución
  • Compensación rendimiento-energía: DBBM logra mejor equilibrio rendimiento-energía

Hallazgos Clave

  1. Desempeño superior de DBBM:
    • Desempeño consistentemente mejor bajo todas las configuraciones de gestión de potencia
    • Capaz de reducir consumo de energía mientras mantiene degradación de rendimiento en nivel mínimo
    • Sobrecarga de tiempo de ejecución solo 1-3%, mientras consumo de energía puede reducirse 20-24% (usando PerfBound)
  2. Confirmación de efectos sinérgicos:
    • Gestión de potencia y control de congestión no son independientes
    • SQS adecuado puede mejorar efectividad de gestión de potencia
    • Gestión de búferes por destino de DBBM proporciona más oportunidades para que enlaces entren en suspensión
  3. Efectividad de PerfBound:
    • Comparado con PDT fijo, PerfBound se adapta dinámicamente
    • Maximiza ahorro de energía bajo restricciones de rendimiento garantizadas
    • Mejor efecto cuando se combina con DBBM
  4. Impacto limitado de estrategia de histogramas:
    • Diferencias pequeñas entre tres estrategias de gestión de histogramas
    • Indica que mecanismo central de PerfBound es clave, detalles de implementación específica tienen impacto limitado

Trabajo Relacionado

Campo de Gestión de Potencia

  1. Estándar EEE y mejoras:
    • IEEE 802.3az (EEE): estándar de eficiencia energética en Ethernet, define estado de inactividad de baja potencia (LPI)
    • PDT Fijo 12: Saravanan et al. proponen mantener enlace activo tiempo fijo después de transmisión
    • PerfBound 13: cálculo dinámico de valor PDT para satisfacer límites de degradación de rendimiento preestablecidos
    • Mejora en este artículo 4: versión mejorada de PerfBound propuesta por autores anteriormente
  2. Redes con proporcionalidad energética:
    • Abts et al. 1: proponen concepto de redes de centros de datos con proporcionalidad energética
    • Ahorro de energía InfiniBand 5: técnicas de reducción de potencia gestionadas por software en estándar IBTA

Campo de Control de Congestión

  1. Esquemas de colas estáticas (SQS):
    • BBQ 14: esquema de encolamiento directo para topología Dragonfly
    • DBBM 9: gestión de búferes basada en destino, reduciendo bloqueo HoL
    • Flow2SL 15: esquema de colas eficiente para enrutamiento de camino más corto
  2. Canales virtuales dinámicos (DVL):
    • DVL 6, 10: asignación dinámica de VCs a flujos congestionados, aislando efectos de congestión
  3. Control de flujo extremo a extremo:
    • PFC 16: control de flujo basado en prioridades, actuando sobre VC individual
    • SFC 7, 8: control de flujo de fuente, detención completa de inyección
    • DCQCN 16: notificación de congestión cuantificada en centro de datos, regulación de flujos congestionados
    • DCTCP 2: TCP de centro de datos, control de congestión basado en ECN

Relación de este Artículo con Trabajo Relacionado

Diferencias:

  • Primer estudio sistemático de efectos sinérgicos entre SQS y gestión de potencia
  • Proporciona evaluación integral multidimensional (energía, latencia, tiempo de ejecución)
  • Revela ventajas especiales de DBBM en escenarios de ahorro de energía

Ventajas:

  • Diseño experimental más completo (4 SQS × múltiples estrategias de gestión de potencia)
  • Fuerte practicidad, basado en tecnología estandarizada
  • Proporciona orientación clara para configuración de sistemas reales

Conclusiones y Discusión

Conclusiones Principales

  1. Necesidad de optimización conjunta: gestión de potencia y control de congestión deben considerarse conjuntamente, existiendo interacciones significativas entre ambos
  2. Recomendación de uso de DBBM: en escenarios que requieren considerar simultáneamente ahorro de energía y rendimiento, DBBM es la mejor opción:
    • Reducción de consumo de energía 20-24% (comparado con sin ahorro)
    • Degradación de rendimiento solo 1-3%
    • Aumento mínimo de latencia de red
  3. Aplicabilidad de PerfBound: ajuste dinámico de PDT es superior a PDT fijo, capaz de optimización adaptativa bajo diferentes cargas de trabajo
  4. Valor práctico: resultados de investigación pueden aplicarse directamente a sistemas Ethernet de alta velocidad basados en EEE

Limitaciones

  1. Alcance experimental limitado:
    • Solo se probaron 4 esquemas SQS
    • No cubre todas las topologías de red posibles
    • Características de carga de trabajo no descritas en detalle
  2. Falta de análisis teórico:
    • Principalmente basado en observaciones experimentales
    • Falta explicación teórica de ventajas de DBBM
    • No se establece modelo matemático de rendimiento-energía
  3. Detalles de implementación insuficientes:
    • Configuración de parámetros específicos de PerfBound no explicada en detalle
    • Detalles de implementación de estrategia de gestión de histogramas poco claros
    • Falta verificación en experimentos con hardware real
  4. Consideración insuficiente de escenarios dinámicos:
    • No se investigó adaptabilidad bajo cambios de carga de trabajo
    • Falta análisis de tráfico de ráfagas
    • No se consideraron situaciones anormales como fallos de red

Direcciones Futuras

Aunque el artículo no las propone explícitamente, pueden inferirse las siguientes direcciones de investigación:

  1. Expansión de experimentos:
    • Prueba de más esquemas SQS y topologías de red
    • Evaluación con aplicaciones HPC reales
    • Verificación de resultados en hardware real
  2. Modelado teórico:
    • Establecimiento de modelo analítico de rendimiento-energía
    • Explicación teórica de ventajas de DBBM
    • Orientación teórica para configuración óptima
  3. Optimización dinámica:
    • Desarrollo de algoritmos adaptativos en línea
    • Consideración de predicción de carga de trabajo
    • Optimización de parámetros combinada con aprendizaje automático
  4. Diseño cooperativo de hardware:
    • Exploración de oportunidades de optimización a nivel de hardware
    • Diseño de circuitos de gestión de potencia dedicados
    • Optimización de latencia de transición de estados

Evaluación Profunda

Fortalezas

  1. Problema de investigación importante y práctico:
    • Dirigido a necesidades reales de supercomputadoras y centros de datos
    • Problema de consumo de energía cada vez más prominente, con significado práctico
    • Basado en tecnología estandarizada, fácil de desplegar
  2. Metodología de investigación sistemática y completa:
    • Evaluación integral de combinaciones de múltiples SQS y estrategias de gestión de potencia
    • Análisis integral de tres indicadores clave
    • Diseño experimental razonable, comparación suficiente
  3. Descubrimientos con valor práctico:
    • Ventajas de DBBM claras y significativas
    • Orientación clara para configuración de sistemas
    • Cuantificación de compensación rendimiento-energía
  4. Escritura clara y concisa:
    • Estructura razonable, lógica clara
    • Gráficos intuitivos, resultados fáciles de entender
    • Introducción de antecedentes suficiente

Insuficiencias

  1. Profundidad experimental insuficiente:
    • Falta descripción detallada de cargas de trabajo
    • No se especifican detalles de escala y topología de red
    • Falta análisis de significancia estadística
    • Solo valores promedio, falta varianza o intervalos de confianza
  2. Contribución teórica limitada:
    • Principalmente trabajo experimental
    • Falta explicación teórica de fenómenos
    • No proporciona principios de diseño o metodología de orientación
  3. Análisis no suficientemente profundo:
    • No se analiza causa fundamental de ventajas de DBBM
    • Falta discusión de diferentes patrones de tráfico
    • No se explora universalidad de resultados
  4. Discusión de trabajo relacionado breve:
    • Solo enumeración simple en sección 2
    • Falta comparación profunda con trabajo existente
    • Falta claridad en posicionamiento de este artículo
  5. Falta verificación práctica:
    • Solo basado en experimentos de simulación
    • No verificado en sistemas reales
    • Costo de implementación y dificultad de despliegue no discutidos

Evaluación de Impacto

Contribución al campo:

  • Medio-alto: llena vacío en investigación de optimización conjunta
  • Proporciona orientación práctica para diseño de redes HPC y centros de datos
  • Impulsa aplicación de tecnología de ahorro de energía en redes de alto rendimiento

Valor práctico:

  • Relativamente alto: basado en tecnología estandarizada, fácil de implementar
  • Combinación DBBM + PerfBound puede aplicarse directamente
  • Ahorro de energía 20%+ tiene valor económico

Reproducibilidad:

  • Media:
    • Descripción de método clara, pero detalles insuficientes
    • Falta publicación de código y conjuntos de datos
    • Requiere simulador especializado o plataforma de hardware

Potencial de citación:

  • Se espera sea citado en campos de redes HPC y computación verde
  • Proporciona línea base para investigación posterior de optimización conjunta
  • Contribución teórica limitada puede afectar impacto a largo plazo

Escenarios Aplicables

Escenarios más adecuados:

  1. Redes de interconexión de supercomputadoras:
    • Fases de computación y comunicación claramente separadas
    • Sensibilidad a energía pero requisitos de rendimiento altos
    • Uso de Ethernet de alta velocidad o InfiniBand
  2. Redes de centros de datos:
    • Fluctuación de carga grande, espacio para ahorro de energía
    • Necesidad de garantizar baja latencia
    • Adopción de Ethernet sin pérdidas
  3. Infraestructura de computación en nube:
    • Entorno multiinquilino, necesidad de aislamiento de congestión
    • Costo de energía consideración importante
    • Cargas de trabajo diversas

Escenarios menos adecuados:

  1. Sistemas en tiempo real: extremadamente sensibles a fluctuación de latencia
  2. Redes pequeñas: beneficio de ahorro de energía no evidente
  3. Sistemas de carga continuamente alta: falta ventanas de oportunidad para ahorro de energía

Referencias Clave

1 Abts et al., 2010 - Trabajo pionero en redes de centros de datos con proporcionalidad energética

3 Christensen et al., 2010 - Estándar IEEE 802.3az EEE

9 Nachiondo et al., 2010 - Esquema de gestión de búferes DBBM

13 Saravanan & Carpenter, 2018 - Método dinámico PerfBound PDT

15 Yébenes et al., 2015 - Esquema de colas Flow2SL

16 Zhu et al., 2015 - Control de congestión DCQCN


Evaluación General

Este es un artículo de investigación orientado a la práctica de naturaleza experimental, dirigido al problema de optimización de consumo de energía en redes de supercomputadoras y centros de datos, evaluando sistemáticamente los efectos sinérgicos entre control de congestión y gestión de potencia. El valor principal del artículo radica en:

  1. Llenar vacío de investigación: primer estudio sistemático de interacciones entre ambas técnicas
  2. Valor práctico alto: combinación DBBM + PerfBound puede aplicarse directamente, ahorro de energía 20%+ con degradación de rendimiento <3%
  3. Experimentos suficientes: comparación integral de múltiples combinaciones de esquemas

Las principales insuficiencias radican en profundidad teórica limitada, falta de explicación profunda de fenómenos y verificación en sistemas reales. Sin embargo, como artículo orientado a aplicaciones, sus resultados experimentales y orientación práctica poseen valor relativamente alto, se espera tengan impacto positivo en transformación verde de redes HPC y centros de datos.

Índice de Recomendación: ⭐⭐⭐⭐ (4/5) - Tiene valor de referencia importante para académicos e ingenieros dedicados a investigación de redes HPC y computación verde.