Комбинированное управление питанием и контроль перегрузок в высокоскоростных сетях на основе Ethernet для суперкомпьютеров и центров обработки данных

Основная информация

• ID статьи: 2511.10159
• Название: Combined power management and congestion control in High-Speed Ethernet-based Networks for Supercomputers and Data Centers
• Авторы: Miguel Sánchez de la Rosa, Francisco J. Andújar, Jesus Escudero-Sahuquillo, José L. Sánchez, Francisco J. Alfaro-Cortés
• Учреждения: Universidad de Castilla-La Mancha (Испания), Universidad de Valladolid (Испания)
• Классификация: cs.AR (Архитектура компьютеров)
• Дата публикации: 13 ноября 2025 г. (препринт arXiv)
• Ссылка на статью: https://arxiv.org/abs/2511.10159

Аннотация

По мере расширения масштабов центров обработки данных и суперкомпьютеров сетевые интерконнекты становятся потенциальным узким местом всей системы. В данной работе исследуется совместная оптимизация двух критических аспектов высокоскоростных сетей Ethernet: (1) предотвращение деградации производительности при высоких нагрузках посредством контроля перегрузок; (2) экономия энергии в периоды простоя посредством управления питанием; (3) изучение взаимодействия между этими двумя подходами. Исследование показывает, что надлежащая схема статических очередей (SQS) в сочетании с методами динамического управления питанием, такими как PerfBound, может минимизировать потери производительности при одновременном снижении энергопотребления.

Исследовательский контекст и мотивация

1. Исследовательская проблема

Данная работа рассматривает высокоскоростные сетевые интерконнекты Ethernet для суперкомпьютеров и центров обработки данных, исследуя способы одновременного достижения:

• Оптимизация энергоэффективности: снижение энергопотребления сети в периоды простоя
• Контроль перегрузок: поддержание производительности сети при высоких нагрузках
• Синергия: понимание взаимного влияния управления питанием и контроля перегрузок

2. Важность проблемы

• Растущая доля энергопотребления: по мере того как процессоры становятся более энергоэффективными, доля энергопотребления сетевых интерконнектов в общем энергопотреблении системы увеличивается
• Узкие места производительности: перегрузки в сети приводят к блокировке Head-of-Line (HoL), серьёзно снижая общую производительность
• Характеристики приложений: приложения HPC обычно чередуют фазы вычислений и коммуникации, предоставляя окна возможностей для экономии энергии
• Практические требования: энергопотребление каналов не зависит от сетевой активности и потребляет одинаковое количество энергии в состоянии простоя

3. Ограничения существующих подходов

Аспект управления питанием:

• Фиксированный PDT (Power-down Threshold): все каналы используют одинаковый порог, не адаптируясь к различным моделям использования каналов
• Требуется предварительная настройка: необходимо предварительное выполнение рабочей нагрузки для настройки параметров, потребляющей дополнительную энергию
• Деградация производительности: задержки при входе и выходе из состояния низкого энергопотребления (LPI) создают накладные расходы

Аспект контроля перегрузок:

• Блокировка HoL: горячие потоки (hot flows) монополизируют общие ресурсы, серьёзно снижая производительность холодных потоков (cold flows)
• Обратное распространение перегрузок: перегрузки распространяются на источники через механизмы остановки-запуска или на основе кредитов
• Отсутствие совместного проектирования: управление питанием и контроль перегрузок обычно изучаются независимо

4. Исследовательская мотивация

• Возможности совместной оптимизации: управление питанием и контроль перегрузок могут взаимно влиять друг на друга, требуя совместного проектирования
• Практические требования: как InfiniBand, так и Ethernet имеют стандартные механизмы экономии энергии (IBTA и EEE), но часто отключаются в целях максимизации производительности
• Заполнение пробела в исследованиях: отсутствует систематическое исследование эффектов совместного использования обеих технологий

Основные вклады

1. Первое систематическое исследование синергии между схемами статических очередей (SQS) и методами управления питанием, раскрывающее двойное влияние контроля перегрузок на энергопотребление и производительность
2. Экспериментальная оценка четырёх схем SQS (1Q, BBQ, DBBM, Flow2SL) в сочетании с несколькими стратегиями управления питанием (фиксированный PDT и динамический PerfBound)
3. Выявление преимуществ DBBM: Destination-Based Buffer Management демонстрирует значительные преимущества при сочетании с управлением питанием, минимизируя задержки и накладные расходы на время выполнения при одновременном снижении энергопотребления
4. Практическое руководство: предоставление экспериментальных данных и рекомендаций по конфигурации для совместной оптимизации управления питанием и контроля перегрузок при проектировании сетей суперкомпьютеров и центров обработки данных

Подробное описание методов

Определение задачи

Входные данные:

• Топология сети и модели трафика
• Конфигурация схемы статических очередей (SQS)
• Параметры управления питанием (значения PDT или конфигурация PerfBound)

Выходные данные:

• Энергопотребление сети
• Задержка в сети
• Время выполнения приложения

Ограничения:

• Деградация производительности должна оставаться в приемлемых пределах
• Сохранение безопасности сети (lossless)

Технические компоненты

1. Схемы статических очередей (SQS)

Используются для смягчения блокировки HoL путём распределения перегрузок по различным виртуальным каналам (Virtual Channels, VCs):

• 1Q (одиночная очередь): базовая схема, все потоки совместно используют одну очередь
• BBQ (Bubble-Based Queuing): механизм очередей на основе пузырьков, снижающий блокировку HoL в топологии Dragonfly
• DBBM (Destination-Based Buffer Management): распределение буферов на основе пункта назначения, изолирующее перегрузки различных потоков
• Flow2SL (Flow to Service Level): отображение потоков на различные уровни обслуживания, обеспечивающее более детальное управление очередями

2. Методы управления питанием

Подход с фиксированным PDT

• Принцип: после отсутствия передачи пакетов канал остаётся активным в течение фиксированного времени (PDT)
• Параметры: тестировались PDT = 1e-0s до 1e-9s, а также PDT=0s (немедленный переход в режим сна)
• Преимущества: простая реализация
• Недостатки: не адаптируется к различным моделям использования каналов

Динамический метод PerfBound

• Принцип: динамическое вычисление значения PDT для каждого порта для удовлетворения предустановленного ограничения на деградацию производительности
• Механизм: основан на структурах данных управления гистограммой
• Три стратегии:
  • Regular Histogram: обычная гистограмма
  • Circular Histogram: циклическая гистограмма
  • Self-clearing Histogram: самоочищающаяся гистограмма
• Преимущества: адаптивная регулировка, не требует предварительной настройки

Технические инновации

1. Рамка совместной оценки: впервые SQS и управление питанием оцениваются как связанная система, а не как независимые оптимизации
2. Многомерный анализ: одновременное рассмотрение трёх ключевых показателей: энергопотребления, задержки в сети и времени выполнения
3. Выявление синергии DBBM: раскрытие особых преимуществ DBBM в сценариях управления питанием:
   • Лучшее управление буферами снижает ненужные пробуждения каналов
   • Изоляция трафика по пункту назначения позволяет большему количеству каналов переходить в режим сна
4. Практическая ориентация: основана на стандартизированных технологиях (EEE), результаты исследования могут быть непосредственно применены к реальным системам

Экспериментальная установка

Экспериментальная среда

• Тестовая платформа: симулятор высокоскоростной сети Ethernet на основе BXIv3
• Тип сети: безопасная сеть (lossless network)
• Механизм управления потоком: поддержка виртуальных каналов (VCs) и управления потоком на основе приоритетов (PFC)

Показатели оценки

1. Энергопотребление (Energy Consumption):
   • Процент энергопотребления относительно базовой линии без экономии энергии
   • Чем ниже, тем лучше
2. Задержка в сети (Network Latency):
   • Средний процент увеличения задержки на уровне приложения
   • Измеряется относительно базовой линии без экономии энергии
3. Увеличение времени выполнения (Execution Time Increase):
   • Процент увеличения общего времени выполнения приложения
   • Отражает общее влияние на производительность

Сравниваемые подходы

Схемы SQS:

• 1Q (базовая)
• BBQ
• DBBM
• Flow2SL

Методы управления питанием:

• Без экономии энергии (No powersaving)
• Фиксированный PDT (8 различных значений: 1e-0s до 1e-9s, а также 0s)
• PerfBound (3 стратегии управления гистограммой)

Детали реализации

• Диапазон PDT: от 1 секунды до 1 наносекунды, охватывающий несколько порядков величины
• Конфигурация PerfBound: установка ограничения на деградацию производительности, динамическая регулировка PDT
• Тестовые сценарии: моделирование типичных рабочих нагрузок HPC с чередующимися фазами вычислений и коммуникации

Результаты экспериментов

Основные результаты

1. Анализ энергопотребления (Figure 1)

Эффект фиксированного PDT (Figure 1a):

• Определяющий фактор: значение PDT является основным определяющим фактором энергопотребления
• Минимальное влияние SQS: различия в энергопотреблении между различными SQS незначительны (при фиксированном PDT)
• Диапазон энергопотребления: снижение со 100% без экономии энергии до примерно 16% (при PDT=1e-9s)
• Тенденция: чем меньше PDT, тем ниже энергопотребление, но возрастает риск деградации производительности

Эффект PerfBound (Figure 1b):

• Дальнейшее снижение энергопотребления: по сравнению с фиксированным PDT, энергопотребление снижается до диапазона 76%-100%
• Проявление преимуществ DBBM: при сочетании DBBM с PerfBound энергопотребление является минимальным
• Влияние стратегии гистограммы: различия между тремя стратегиями управления гистограммой незначительны (примерно 80%-96%)
• Синергетический эффект: характеристики управления буферами DBBM создают синергию с динамической регулировкой PDT

2. Анализ задержки в сети (Figure 2)

Влияние фиксированного PDT (Figure 2a):

• Диапазон увеличения задержки: от 1,1% до 102,1%
• Критическое значение PDT: существует явная точка перегиба производительности
  • Слишком малый PDT (например, 1e-9s): значительное увеличение задержки (>80%)
  • Умеренный PDT (например, 1e-5s до 1e-6s): контролируемое увеличение задержки (<20%)
• Дифференциация SQS:
  • DBBM показывает лучший результат: минимальное увеличение задержки при всех значениях PDT
  • 1Q показывает худший результат: наиболее значительное увеличение задержки
  • BBQ и Flow2SL находятся в середине

Влияние PerfBound (Figure 2b):

• Более явные различия SQS: после использования PerfBound различия в производительности между различными SQS становятся более выраженными
• Выраженное преимущество DBBM: увеличение задержки примерно 5-10%
• Явный недостаток 1Q: увеличение задержки может достигать 40-45%
• Минимальное влияние стратегии гистограммы: различия между тремя стратегиями менее 5%

3. Анализ времени выполнения (Figure 3)

Влияние фиксированного PDT (Figure 3a):

• Общая тенденция: с уменьшением PDT накладные расходы на время выполнения увеличиваются
• Значительное преимущество DBBM:
  • Увеличение времени выполнения всего 1-3%
  • Явно ниже, чем у других SQS (3-8%)
• Худший результат 1Q: накладные расходы могут достигать 8% при строгом PDT

Влияние PerfBound (Figure 3b):

• Более выраженный эффект SQS:
  • DBBM: увеличение 1-3%
  • BBQ и Flow2SL: увеличение 3-5%
  • 1Q: увеличение 5-8%
• Стратегия гистограммы: оказывает минимальное влияние на время выполнения
• Компромисс производительность-энергопотребление: DBBM достигает оптимального баланса между производительностью и энергопотреблением

Ключевые выводы

1. Превосходная производительность DBBM:
   • DBBM постоянно показывает лучшие результаты при всех конфигурациях управления питанием
   • Способен снижать энергопотребление при одновременной минимизации деградации производительности
   • Накладные расходы на время выполнения всего 1-3%, при этом энергопотребление может быть снижено на 20-24% (при использовании PerfBound)
2. Подтверждение синергетического эффекта:
   • Управление питанием и контроль перегрузок не являются независимыми
   • Хорошая SQS может усилить эффект управления питанием
   • Управление буферами DBBM по пункту назначения даёт большему количеству каналов возможность перейти в режим сна
3. Эффективность PerfBound:
   • По сравнению с фиксированным PDT, PerfBound адаптивно регулируется
   • Максимизирует экономию энергии при соблюдении ограничений производительности
   • Лучший результат при сочетании с DBBM
4. Ограниченное влияние стратегии гистограммы:
   • Различия между тремя стратегиями управления гистограммой незначительны
   • Указывает на то, что основной механизм PerfBound является ключевым, детали реализации оказывают минимальное влияние

Связанные работы

Область управления питанием

1. Стандарт EEE и улучшения:
   • IEEE 802.3az (EEE): стандарт энергосбережения для Ethernet, определяющий состояние низкого энергопотребления в режиме ожидания (LPI)
   • Фиксированный PDT 12: предложено Saravanan и др., поддержание активности канала в течение фиксированного времени после передачи
   • PerfBound 13: динамическое вычисление значения PDT для удовлетворения предустановленного ограничения на деградацию производительности
   • Улучшение в данной работе 4: улучшенная версия PerfBound, предложенная авторами ранее
2. Энергопропорциональные сети:
   • Abts и др. 1: пионерская работа по концепции энергопропорциональных сетей центров обработки данных
   • Энергосбережение InfiniBand 5: методы снижения энергопотребления, управляемые программным обеспечением, в стандарте IBTA

Область контроля перегрузок

1. Схемы статических очередей (SQS):
   • BBQ 14: прямая схема очередей для топологии Dragonfly
   • DBBM 9: управление буферами на основе пункта назначения, снижающее блокировку HoL
   • Flow2SL 15: эффективная схема очередей для маршрутизации по кратчайшему пути
2. Динамические виртуальные каналы (DVL):
   • DVL 6, 10: динамическое распределение VCs перегруженным потокам, изолирующее влияние перегрузок
3. Управление потоком от конца к концу:
   • PFC 16: управление потоком на основе приоритетов, действующее на отдельный VC
   • SFC 7, 8: управление потоком у источника, полная остановка инъекции
   • DCQCN 16: уведомление о перегрузке в центре обработки данных, дросселирование перегруженных потоков
   • DCTCP 2: TCP центра обработки данных, управление перегрузками на основе ECN

Связь данной работы с существующими исследованиями

Различия:

• Первое систематическое исследование синергии между SQS и управлением питанием
• Предоставление комплексной оценки по нескольким измерениям (энергопотребление, задержка, время выполнения)
• Раскрытие особых преимуществ DBBM в сценариях энергосбережения

Преимущества:

• Более полный дизайн экспериментов (4 SQS × несколько стратегий управления питанием)
• Высокая практическая ценность, основана на стандартизированных технологиях
• Предоставление чётких рекомендаций по конфигурации для реальных систем

Заключение и обсуждение

Основные выводы

1. Необходимость совместной оптимизации: управление питанием и контроль перегрузок должны рассматриваться совместно, между ними существует значительное взаимодействие
2. Рекомендуемое использование DBBM: в сценариях, требующих одновременного рассмотрения энергосбережения и производительности, DBBM является оптимальным выбором:
   • Снижение энергопотребления на 20-24% (по сравнению с отсутствием энергосбережения)
   • Деградация производительности всего 1-3%
   • Минимальное увеличение задержки в сети
3. Применимость PerfBound: динамическая регулировка PDT превосходит фиксированный PDT, способна адаптивно оптимизироваться при различных рабочих нагрузках
4. Практическая ценность: результаты исследования могут быть непосредственно применены к системам высокоскоростного Ethernet на основе EEE

Ограничения

1. Ограниченный объём экспериментов:
   • Тестировались только 4 схемы SQS
   • Не охватывают все возможные топологии сети
   • Характеристики рабочей нагрузки не описаны подробно
2. Отсутствие теоретического анализа:
   • Главным образом основано на экспериментальных наблюдениях
   • Отсутствует теоретическое объяснение преимуществ DBBM
   • Не построена математическая модель производительности-энергопотребления
3. Недостаточность деталей реализации:
   • Конкретные параметры конфигурации PerfBound не описаны подробно
   • Детали реализации стратегий управления гистограммой неясны
   • Отсутствует проверка на реальном оборудовании
4. Недостаточное рассмотрение динамических сценариев:
   • Не исследована адаптивность при изменении рабочей нагрузки
   • Отсутствует анализ всплесков трафика
   • Не рассмотрены аномальные ситуации, такие как сетевые сбои

Будущие направления

Хотя в статье они не указаны явно, можно предположить следующие направления исследований:

1. Расширение экспериментов:
   • Тестирование большего количества схем SQS и топологий сети
   • Оценка с использованием реальных приложений HPC
   • Проверка результатов на реальном оборудовании
2. Теоретическое моделирование:
   • Построение аналитических моделей производительности-энергопотребления
   • Теоретическое объяснение источников преимуществ DBBM
   • Предоставление теоретического руководства для оптимальной конфигурации
3. Динамическая оптимизация:
   • Разработка онлайн-алгоритмов адаптивной регулировки
   • Рассмотрение прогнозирования рабочей нагрузки
   • Оптимизация параметров с использованием машинного обучения
4. Совместное проектирование оборудования:
   • Исследование возможностей оптимизации на уровне оборудования
   • Проектирование специализированных схем управления питанием
   • Оптимизация задержек переходов состояний

Глубокая оценка

Преимущества

1. Важная и практическая исследовательская проблема:
   • Ориентирована на реальные потребности суперкомпьютеров и центров обработки данных
   • Проблема энергопотребления становится всё более актуальной, имеет практическое значение
   • Основана на стандартизированных технологиях, легко развёртывается
2. Систематический и полный исследовательский метод:
   • Комплексная оценка комбинаций различных SQS и стратегий управления питанием
   • Комплексный анализ трёх ключевых показателей
   • Разумный дизайн экспериментов, полное сравнение
3. Практическая ценность выводов:
   • Преимущества DBBM явны и значительны
   • Предоставление чётких рекомендаций по конфигурации системы
   • Количественное определение компромисса между производительностью и энергопотреблением
4. Ясное и лаконичное написание:
   • Разумная структура, логичное изложение
   • Наглядные графики, результаты легко понять
   • Достаточное введение в контекст

Недостатки

1. Недостаточная глубина экспериментов:
   • Отсутствует подробное описание рабочей нагрузки
   • Не указаны детали масштаба сети и топологии
   • Отсутствует анализ статистической значимости
   • Только средние значения, отсутствуют дисперсия или доверительные интервалы
2. Ограниченный теоретический вклад:
   • Главным образом экспериментальная работа
   • Отсутствует теоретическое объяснение явлений
   • Не предоставлены принципы проектирования или методологическое руководство
3. Недостаточно глубокий анализ:
   • Не проанализированы корневые причины преимуществ DBBM
   • Отсутствует обсуждение различных моделей трафика
   • Не исследована универсальность результатов
4. Краткое обсуждение связанных работ:
   • Только простое перечисление во втором разделе
   • Не проведено глубокое сравнение с существующими работами
   • Отсутствует чёткое определение позиции данной работы
5. Отсутствие практической проверки:
   • Только на основе моделирования
   • Не проверено на реальных системах
   • Не обсуждены затраты на реализацию и сложность развёртывания

Оценка влияния

Вклад в область:

• Средний и выше среднего: заполняет пробел в исследованиях совместной оптимизации
• Предоставляет практическое руководство для проектирования сетей HPC и центров обработки данных
• Способствует применению методов энергосбережения в высокопроизводительных сетях

Практическая ценность:

• Высокая: основана на стандартизированных технологиях, легко реализуется
• Комбинация DBBM + PerfBound может быть непосредственно применена
• Экономия энергии 20%+ имеет экономическую ценность

Воспроизводимость:

• Средняя:
  • Методы описаны ясно, но деталей недостаточно
  • Отсутствует открытый доступ к коду и наборам данных
  • Требуется специализированный симулятор или платформа оборудования

Потенциал цитирования:

• Предполагается цитирование в области сетей HPC и зелёных вычислений
• Предоставляет базовую линию для последующих исследований совместной оптимизации
• Однако ограниченный теоретический вклад может повлиять на долгосрочное влияние

Применимые сценарии

Наиболее подходящие сценарии:

1. Сетевые интерконнекты суперкомпьютеров:
   • Явное разделение фаз вычислений и коммуникации
   • Чувствительность к энергопотреблению, но высокие требования к производительности
   • Использование высокоскоростного Ethernet или InfiniBand
2. Сети центров обработки данных:
   • Большие колебания нагрузки, возможности энергосбережения
   • Требование низкой задержки
   • Использование безопасного Ethernet
3. Инфраструктура облачных вычислений:
   • Многопользовательская среда, требуется изоляция перегрузок
   • Энергопотребление является важным фактором затрат
   • Разнообразные рабочие нагрузки

Менее подходящие сценарии:

1. Системы реального времени: крайне чувствительны к колебаниям задержки
2. Небольшие сети: выгода от энергосбережения незначительна
3. Системы с постоянной высокой нагрузкой: отсутствуют окна возможностей для энергосбережения

Ключевые ссылки

1 Abts и др., 2010 - Пионерская работа по энергопропорциональным сетям центров обработки данных

3 Christensen и др., 2010 - Стандарт IEEE 802.3az EEE

9 Nachiondo и др., 2010 - Схема управления буферами DBBM

13 Saravanan & Carpenter, 2018 - Метод динамического PDT PerfBound

15 Yébenes и др., 2015 - Схема очередей Flow2SL

16 Zhu и др., 2015 - Управление перегрузками DCQCN

Общая оценка

Это практически ориентированная экспериментальная исследовательская работа, рассматривающая проблему оптимизации энергопотребления в сетевых интерконнектах суперкомпьютеров и центров обработки данных, систематически оценивающая синергию между контролем перегрузок и управлением питанием. Основная ценность работы заключается в:

1. Заполнение пробела в исследованиях: первое систематическое исследование взаимодействия между двумя технологиями
2. Высокая практическая ценность: комбинация DBBM + PerfBound может быть непосредственно применена, обеспечивая экономию энергии 20%+ при деградации производительности <3%
3. Полные эксперименты: полное сравнение комбинаций различных схем

Основные недостатки заключаются в ограниченной теоретической глубине, отсутствии глубокого объяснения явлений и проверки на реальных системах. Однако как практически ориентированная работа, её экспериментальные результаты и практическое руководство имеют высокую ценность и, как ожидается, окажут положительное влияние на зеленизацию сетей HPC и центров обработки данных.

Рекомендуемый рейтинг: ⭐⭐⭐⭐ (4/5) - имеет важное справочное значение для учёных и инженеров, работающих в области сетей HPC и зелёных вычислений.