Combined power management and congestion control in High-Speed Ethernet-based Networks for Supercomputers and Data Centers

基本信息

• 论文ID: 2511.10159
• 标题: Combined power management and congestion control in High-Speed Ethernet-based Networks for Supercomputers and Data Centers
• 作者: Miguel Sánchez de la Rosa, Francisco J. Andújar, Jesus Escudero-Sahuquillo, José L. Sánchez, Francisco J. Alfaro-Cortés
• 机构: Universidad de Castilla-La Mancha (西班牙), Universidad de Valladolid (西班牙)
• 分类: cs.AR (计算机体系结构)
• 发表时间: 2025年11月13日 (arXiv预印本)
• 论文链接: https://arxiv.org/abs/2511.10159

摘要

随着数据中心和超级计算机规模的不断扩大，互联网络已成为整个系统的潜在瓶颈。本文研究了高速以太网网络中两个关键方面的协同优化：(1) 通过拥塞控制防止重负载下的性能退化；(2) 通过电源管理在空闲时节省能源；(3) 探讨两者之间的交互作用。研究表明，适当的静态队列方案(SQS)与动态电源管理技术(如PerfBound)结合，可以在降低能耗的同时最小化性能损失。

研究背景与动机

1. 研究问题

本文针对超级计算机和数据中心的高速以太网互联网络，探讨如何同时实现：

• 能源效率优化：在网络空闲时降低功耗
• 拥塞控制：在高负载下维持网络性能
• 两者协同：理解电源管理与拥塞控制的交互影响

2. 问题重要性

• 能耗占比增加：随着CPU变得更加能量比例化，互联网络占整个系统功耗的比例不断上升
• 性能瓶颈：网络拥塞会导致Head-of-Line (HoL)阻塞，严重降低整体性能
• 应用特性：HPC应用通常在计算和通信阶段交替，提供了节能机会窗口
• 实际需求：链路功耗与网络活动无关，空闲时仍消耗相同能量

3. 现有方法局限性

电源管理方面：

• 固定PDT (Power-down Threshold)：所有链路使用相同阈值，无法适应不同链路的使用模式
• 需要预调优：需要预先执行工作负载进行参数调整，消耗额外能源
• 性能退化：进入和退出低功耗状态(LPI)存在延迟开销

拥塞控制方面：

• HoL阻塞：热流(hot flows)垄断共享资源，导致冷流(cold flows)性能严重下降
• 拥塞反向传播：拥塞通过停止-启动或基于信用的机制传播到源端
• 缺乏协同设计：电源管理和拥塞控制通常被独立研究

4. 研究动机

• 协同优化机会：电源管理和拥塞控制可能相互影响，需要联合设计
• 实用性需求：InfiniBand和Ethernet都有标准的节能机制(IBTA和EEE)，但为追求最大性能常被禁用
• 填补研究空白：缺乏系统性研究两种技术结合使用时的效果

核心贡献

1. 首次系统性研究了静态队列方案(SQS)与电源管理技术的协同效应，揭示了拥塞控制对能耗和性能的双重影响
2. 实验评估了4种SQS方案(1Q, BBQ, DBBM, Flow2SL)与多种电源管理策略(固定PDT和动态PerfBound)的组合效果
3. 发现DBBM的优势：Destination-Based Buffer Management在结合电源管理时表现出显著优势，能够在降低能耗的同时最小化延迟和执行时间开销
4. 提供实用指导：为超级计算机和数据中心网络设计提供了电源管理与拥塞控制联合优化的实验证据和配置建议

方法详解

任务定义

输入：

• 网络拓扑和流量模式
• 静态队列方案(SQS)配置
• 电源管理参数(PDT值或PerfBound配置)

输出：

• 网络能耗
• 网络延迟
• 应用执行时间

约束条件：

• 性能退化需控制在可接受范围内
• 保持网络无损特性(lossless)

技术组件

1. 静态队列方案 (SQS)

用于缓解HoL阻塞，通过将拥塞分散到不同虚拟通道(Virtual Channels, VCs)：

• 1Q (单队列)：基线方案，所有流共享单一队列
• BBQ (Bubble-Based Queuing)：基于气泡的排队机制，在Dragonfly拓扑中减少HoL阻塞
• DBBM (Destination-Based Buffer Management)：根据目的地分配缓冲区，隔离不同流的拥塞
• Flow2SL (Flow to Service Level)：将流映射到不同服务级别，实现更细粒度的队列管理

2. 电源管理技术

固定PDT方法

• 原理：在没有数据包传输后，链路保持活跃状态一段固定时间(PDT)
• 参数：测试了PDT = 1e-0s 到 1e-9s 以及 PDT=0s (立即休眠)
• 优点：实现简单
• 缺点：无法适应不同链路的使用模式

PerfBound动态方法

• 原理：为每个端口动态计算PDT值，以满足预设的性能退化限制
• 机制：基于直方图管理数据结构
• 三种策略：
  • Regular Histogram：常规直方图
  • Circular Histogram：循环直方图
  • Self-clearing Histogram：自清除直方图
• 优势：自适应调整，无需预先调优

技术创新点

1. 协同评估框架：首次将SQS和电源管理作为耦合系统进行评估，而非独立优化
2. 多维度分析：同时考察能耗、网络延迟和执行时间三个关键指标
3. 发现DBBM协同效应：揭示了DBBM在电源管理场景下的特殊优势：
   • 更好的缓冲区管理减少了不必要的链路唤醒
   • 按目的地隔离流量，使空闲链路更容易进入休眠状态
4. 实用性导向：基于标准化技术(EEE)，研究结果可直接应用于实际系统

实验设置

实验环境

• 测试平台：基于BXIv3的高速以太网网络模拟器
• 网络类型：无损网络(lossless network)
• 流控机制：支持虚拟通道(VCs)和基于优先级的流控(PFC)

评价指标

1. 能耗 (Energy Consumption)：
   • 相对于无节能基线的能耗百分比
   • 越低越好
2. 网络延迟 (Network Latency)：
   • 应用层网络延迟的平均增加百分比
   • 相对于无节能基线测量
3. 执行时间增加 (Execution Time Increase)：
   • 应用总执行时间的增加百分比
   • 反映整体性能影响

对比方案

SQS方案：

• 1Q (基线)
• BBQ
• DBBM
• Flow2SL

电源管理方案：

• 无节能 (No powersaving)
• 固定PDT (8个不同值：1e-0s 到 1e-9s，以及0s)
• PerfBound (3种直方图管理策略)

实现细节

• PDT范围：从1秒到1纳秒，覆盖多个数量级
• PerfBound配置：设置性能退化限制，动态调整PDT
• 测试场景：模拟HPC典型工作负载，包含计算和通信交替阶段

实验结果

主要结果

1. 能耗分析 (Figure 1)

固定PDT效果 (Figure 1a)：

• 主导因素：PDT值是能耗的主要决定因素
• SQS影响微小：不同SQS之间能耗差异不明显（在固定PDT下）
• 能耗范围：从无节能的100%降至约16%（PDT=1e-9s时）
• 趋势：PDT越小，能耗越低，但性能退化风险增加

PerfBound效果 (Figure 1b)：

• 进一步降低能耗：相比固定PDT，能耗降至76%-100%范围
• DBBM优势显现：DBBM与PerfBound结合时能耗最低
• 直方图策略影响：三种直方图管理策略差异较小（约80%-96%）
• 协同效应：DBBM的缓冲区管理特性与动态PDT调整产生协同作用

2. 网络延迟分析 (Figure 2)

固定PDT影响 (Figure 2a)：

• 延迟增加范围：从1.1%到102.1%
• PDT临界值：存在明显的性能拐点
  • PDT过小（如1e-9s）：延迟显著增加（>80%）
  • PDT适中（如1e-5s到1e-6s）：延迟增加可控（<20%）
• SQS差异化：
  • DBBM表现最佳：在各PDT值下延迟增加最小
  • 1Q表现最差：延迟增加最显著
  • BBQ和Flow2SL居中

PerfBound影响 (Figure 2b)：

• SQS差异更明显：使用PerfBound后，不同SQS的性能差异被放大
• DBBM优势突出：延迟增加约5-10%
• 1Q劣势明显：延迟增加可达40-45%
• 直方图策略影响小：三种策略差异在5%以内

3. 执行时间分析 (Figure 3)

固定PDT影响 (Figure 3a)：

• 整体趋势：随PDT减小，执行时间开销增加
• DBBM显著优势：
  • 执行时间增加仅1-3%
  • 明显低于其他SQS（3-8%）
• 1Q最差：在严格PDT下开销可达8%

PerfBound影响 (Figure 3b)：

• SQS效果更突出：
  • DBBM：1-3%增加
  • BBQ和Flow2SL：3-5%增加
  • 1Q：5-8%增加
• 直方图策略：对执行时间影响较小
• 性能-能耗权衡：DBBM实现了最佳的性能-能耗平衡

关键发现

1. DBBM的卓越性能：
   • 在所有电源管理配置下，DBBM始终表现最佳
   • 能够在降低能耗的同时将性能退化控制在最低水平
   • 执行时间开销仅1-3%，而能耗可降低20-24%（使用PerfBound）
2. 协同效应证实：
   • 电源管理与拥塞控制并非独立
   • 好的SQS可以增强电源管理效果
   • DBBM的按目的地缓冲管理使更多链路有机会进入休眠
3. PerfBound的有效性：
   • 相比固定PDT，PerfBound能自适应调整
   • 在保证性能约束的前提下最大化节能
   • 与DBBM结合时效果最佳
4. 直方图策略影响有限：
   • 三种直方图管理策略差异不大
   • 表明PerfBound的核心机制是关键，具体实现细节影响较小

相关工作

电源管理领域

1. EEE标准及改进：
   • IEEE 802.3az (EEE)：以太网节能标准，定义了低功耗空闲(LPI)状态
   • 固定PDT 12：Saravanan等提出在传输后保持链路活跃固定时间
   • PerfBound 13：动态计算PDT值，以满足预设性能退化限制
   • 本文改进 4：作者之前提出的PerfBound增强版本
2. 能量比例网络：
   • Abts等 1：提出数据中心能量比例网络概念
   • InfiniBand节能 5：IBTA标准中的软件管理功耗降低技术

拥塞控制领域

1. 静态队列方案 (SQS)：
   • BBQ 14：针对Dragonfly拓扑的直接排队方案
   • DBBM 9：基于目的地的缓冲区管理，减少HoL阻塞
   • Flow2SL 15：高效的队列方案，用于最小路径路由
2. 动态虚拟通道 (DVL)：
   • DVL 6, 10：动态分配VCs给拥塞流，隔离拥塞影响
3. 端到端流控：
   • PFC 16：基于优先级的流控，作用于单个VC
   • SFC 7, 8：源流控制，完全停止注入
   • DCQCN 16：数据中心量化拥塞通知，节流拥塞流
   • DCTCP 2：数据中心TCP，基于ECN的拥塞控制

本文与相关工作的关系

区别：

• 首次系统研究SQS与电源管理的协同作用
• 提供了多维度（能耗、延迟、执行时间）的综合评估
• 揭示了DBBM在节能场景下的特殊优势

优势：

• 更全面的实验设计（4种SQS × 多种电源管理策略）
• 实用性强，基于标准化技术
• 为实际系统配置提供了明确指导

结论与讨论

主要结论

1. 协同优化的必要性：电源管理和拥塞控制需要联合考虑，两者存在显著交互作用
2. DBBM的推荐使用：在需要同时考虑节能和性能的场景下，DBBM是最佳选择：
   • 能耗降低20-24%（相比无节能）
   • 性能退化仅1-3%
   • 网络延迟增加最小
3. PerfBound的适用性：动态PDT调整优于固定PDT，能够在不同工作负载下自适应优化
4. 实用价值：研究结果可直接应用于基于EEE的高速以太网系统

局限性

1. 实验范围有限：
   • 仅测试了4种SQS方案
   • 未涵盖所有可能的网络拓扑
   • 工作负载特征未详细说明
2. 缺乏理论分析：
   • 主要基于实验观察
   • 缺少对DBBM优势的理论解释
   • 未建立性能-能耗的数学模型
3. 实现细节不足：
   • PerfBound的具体参数配置未详细说明
   • 直方图管理策略的实现细节不清楚
   • 缺少实际硬件实验验证
4. 动态场景考虑不足：
   • 未研究工作负载变化时的适应性
   • 缺少对突发流量的分析
   • 未考虑网络故障等异常情况

未来方向

虽然论文未明确提出，但可推断以下研究方向：

1. 扩展实验：
   • 测试更多SQS方案和网络拓扑
   • 使用真实HPC应用进行评估
   • 在实际硬件上验证结果
2. 理论建模：
   • 建立性能-能耗的解析模型
   • 理论解释DBBM的优势来源
   • 提供最优配置的理论指导
3. 动态优化：
   • 开发在线自适应算法
   • 考虑工作负载预测
   • 结合机器学习进行参数优化
4. 硬件协同设计：
   • 探索硬件级的优化机会
   • 设计专用的电源管理电路
   • 优化状态转换延迟

深度评价

优点

1. 研究问题重要且实用：
   • 针对超级计算机和数据中心的实际需求
   • 能耗问题日益突出，具有现实意义
   • 基于标准化技术，易于部署
2. 研究方法系统全面：
   • 多种SQS与电源管理策略的组合评估
   • 三个关键指标的综合分析
   • 实验设计合理，对比充分
3. 发现具有实用价值：
   • DBBM的优势明确且显著
   • 为系统配置提供了清晰指导
   • 量化了性能-能耗的权衡
4. 写作清晰简洁：
   • 结构合理，逻辑清晰
   • 图表直观，结果易于理解
   • 背景介绍充分

不足

1. 实验深度不足：
   • 缺少工作负载的详细描述
   • 未说明网络规模和拓扑细节
   • 统计显著性分析缺失
   • 仅有平均值，缺少方差或置信区间
2. 理论贡献有限：
   • 主要是实验性工作
   • 缺乏对现象的理论解释
   • 未提供设计原则或指导方法论
3. 分析不够深入：
   • 未分析DBBM优势的根本原因
   • 缺少对不同流量模式的讨论
   • 未探讨结果的普适性
4. 相关工作讨论简略：
   • 仅在第2节简单列举
   • 未深入比较与现有工作的异同
   • 缺少对本文定位的清晰阐述
5. 缺少实际验证：
   • 仅基于模拟实验
   • 未在真实系统上验证
   • 实现成本和部署难度未讨论

影响力评估

对领域的贡献：

• 中等偏上：填补了协同优化研究的空白
• 为HPC和数据中心网络设计提供了实用指导
• 推动了节能技术在高性能网络中的应用

实用价值：

• 较高：基于标准化技术，易于实施
• DBBM + PerfBound组合可直接应用
• 能耗节省20%+具有经济价值

可复现性：

• 中等：
  • 方法描述清晰，但细节不足
  • 缺少代码和数据集公开
  • 需要专用模拟器或硬件平台

引用潜力：

• 预计会被HPC网络和绿色计算领域引用
• 为后续协同优化研究提供了基线
• 但理论贡献有限可能影响长期影响力

适用场景

最适合的场景：

1. 超级计算机互联网络：
   • 计算和通信阶段分离明显
   • 对能耗敏感但性能要求高
   • 使用高速以太网或InfiniBand
2. 数据中心网络：
   • 负载波动大，有节能空间
   • 需要保证低延迟
   • 采用无损以太网
3. 云计算基础设施：
   • 多租户环境，需要隔离拥塞
   • 能耗成本是重要考量
   • 工作负载多样

不太适合的场景：

1. 实时系统：对延迟抖动极其敏感
2. 小规模网络：节能收益不明显
3. 持续高负载系统：缺少节能机会窗口

参考文献（关键文献）

1 Abts et al., 2010 - 能量比例数据中心网络的开创性工作

3 Christensen et al., 2010 - IEEE 802.3az EEE标准

9 Nachiondo et al., 2010 - DBBM缓冲区管理方案

13 Saravanan & Carpenter, 2018 - PerfBound动态PDT方法

15 Yébenes et al., 2015 - Flow2SL队列方案

16 Zhu et al., 2015 - DCQCN拥塞控制

总体评价

这是一篇实用导向的实验性研究论文，针对超级计算机和数据中心网络的能耗优化问题，系统评估了拥塞控制与电源管理的协同效应。论文的主要价值在于：

1. 填补研究空白：首次系统研究两种技术的交互作用
2. 实用价值高：DBBM + PerfBound组合可直接应用，节能20%+且性能退化<3%
3. 实验充分：多种方案组合的全面对比

主要不足在于理论深度有限，缺乏对现象的深层解释和实际系统验证。但作为一篇应用导向的论文，其实验结果和实用指导具有较高价值，预计会对HPC和数据中心网络的绿色化改造产生积极影响。

推荐指数：⭐⭐⭐⭐ (4/5) - 对从事HPC网络和绿色计算研究的学者和工程师有重要参考价值。