2025-11-23T22:22:17.433145

CAPSim: A Fast CPU Performance Simulator Using Attention-based Predictor

Xu, Zhu, Zhang et al.
CPU simulators are vital for computer architecture research, primarily for estimating performance under different programs. This poses challenges for fast and accurate simulation of modern CPUs, especially in multi-core systems. Modern CPU peformance simulators such as GEM5 adopt the cycle-accurate and event-driven approach, which is timeconsuming to simulate the extensive microarchitectural behavior of a real benchmark running on out-of-order CPUs. Recently, machine leaning based approach has been proposed to improve simulation speed, but they are currently limited to estimating the cycles of basic blocks rather than the complete benchmark program. This paper introduces a novel ML-based CPU simulator named CAPSim, which uses an attention-based neural network performance predictor and instruction trace sampling method annotated with context. The attention mechanism effectively captures long-range influence within the instruction trace, emphasizing critical context information. This allows the model to improve performance prediction accuracy by focusing on important code instruction. CAPSim can predict the execution time of unseen benchmarks at a significantly fast speed compared with an accurate O3 simulator built with gem5. Our evaluation on a commercial Intel Xeon CPU demonstrates that CAPSim achieves a 2.2 - 8.3x speedup compared to using gem5 built simulator, which is superior to the cutting-edge deep learning approach
academic

CAPSim: A Fast CPU Performance Simulator Using Attention-based Predictor

基本信息

  • 论文ID: 2510.10484
  • 标题: CAPSim: A Fast CPU Performance Simulator Using Attention-based Predictor
  • 作者: Buqing Xu, Jianfeng Zhu, Yichi Zhang, Qinyi Cai, Guanhua Li, Shaojun Wei, Leibo Liu
  • 分类: cs.PF (Performance)
  • 发表时间: 2025年10月12日
  • 机构: 清华大学集成电路学院
  • 论文链接: https://arxiv.org/abs/2510.10484v1

摘要

CPU模拟器对计算机体系结构研究至关重要，主要用于评估不同程序的性能。现代CPU性能模拟器如GEM5采用周期精确和事件驱动的方法，但在模拟乱序CPU上真实基准测试的复杂微架构行为时耗时过长。本文提出了CAPSim，一个基于注意力机制神经网络性能预测器的新型ML驱动CPU模拟器，采用带上下文注释的指令跟踪采样方法。注意力机制有效捕获指令跟踪中的长距离影响，强调关键上下文信息。实验表明，CAPSim相比gem5构建的O3模拟器实现了2.2-8.3倍的加速。

研究背景与动机

核心问题

  1. 传统模拟器速度瓶颈：现代周期级模拟器（如gem5）在模拟完整基准程序时速度过慢，主要原因包括：
    • 周期精确模拟本质上是串行过程，难以并行化
    • 模拟现代乱序CPU需要建模所有微架构细节，计算开销巨大
  2. 现有ML方法局限性：已有的机器学习方法（如Ithemal、Granite等）仅限于预测基本块吞吐量，无法处理完整程序的性能预测
  3. 精度与速度平衡：需要在保证预测精度的同时显著提升模拟速度

研究重要性

  • CPU模拟器是计算机体系结构研究的关键工具
  • 随着CPU微架构复杂度增加和多核系统普及，传统模拟方法面临严重效率问题
  • 快速准确的性能预测对软硬件协同设计和优化至关重要

核心贡献

  1. 提出基于注意力机制的CPU性能预测方法：首次将注意力机制应用于指令级性能预测，能够捕获指令间的长距离依赖关系，将预测能力从基本块级扩展到完整程序级
  2. 设计CAPSim完整模拟器框架：集成快速功能模拟器和细粒度代码块性能预测器，实现速度与精度的平衡
  3. 开发加速训练方法：通过聚类和采样技术将训练数据集划分为计算密集型、内存密集型和控制密集型等类别，显著减少训练时间并防止过拟合
  4. 实现显著性能提升：在SPEC2017基准测试上实现最高8.3倍加速，平均4.9倍加速，同时保持可接受的预测精度

方法详解

任务定义

输入：指令跟踪序列和CPU上下文信息（寄存器状态） 输出：代码片段的执行时间预测 目标：在保证预测精度的前提下，大幅提升完整基准程序的性能评估速度

模型架构

1. 整体架构设计

CAPSim采用端到端的架构，主要包含以下组件：

  • AtomicSimple CPU模拟器：快速生成指令跟踪
  • 指令序列切片器：将长指令序列切分为可处理的代码片段
  • 采样器：减少训练数据量，加速训练过程
  • 基于注意力的性能预测器：核心预测模块

2. 理论基础

论文将总执行时间建模为：

Ttotal=∑n=1Nti⋅αiT_{total} = \sum_{n=1}^{N} t_i \cdot \alpha_i

其中tit_i是第i条指令的理想执行时间，αi\alpha_i是影响因子。通过引入向量表示和注意力机制，最终形式化为：

Ttotal=∑i=1MMLP(Attention(contextM×E,TET,TET))T_{total} = \sum_{i=1}^{M} MLP(Attention(context_{M \times E}, T_E^T, T_E^T))

3. 性能预测器详细设计

标准化转换层： 将原始汇编指令转换为标准化token序列，包含四个段：

  • <OPCODE>：操作码
  • <DSTS>：目标操作数
  • <SRCS>：源操作数
  • <MEM>：内存访问信息

上下文信息构建： 构建上下文矩阵包含CPU状态信息，如表I所示的各类寄存器：

寄存器类型数量位宽描述
通用寄存器(GPR)3264主要存储寄存器
向量标量寄存器(VSR)64128浮点运算寄存器
条件寄存器(CR)132反映操作结果
程序计数器(CIA/NIA)264指令地址

多层注意力网络：

  • 指令编码器：对每条指令应用自注意力机制
  • 块编码器：处理指令序列间的依赖关系
  • MLP层：最终输出执行时间预测

技术创新点

  1. 长距离依赖建模：相比LSTM等序列模型，注意力机制能更好地捕获指令间的长距离依赖关系
  2. 上下文感知预测：引入CPU寄存器状态作为上下文信息，提升预测精度
  3. 分层注意力设计：指令级和块级双重注意力机制，既考虑指令内部token关系，又建模指令间依赖
  4. 并行化处理：将长指令序列切分为小片段，支持GPU并行处理，显著提升推理速度

实验设置

数据集

  • 基准测试套件：SPEC2017，包含24个基准程序
  • 指令集架构：Power ISA
  • 间隔大小：5,000,000条指令，预热大小1,000,000条指令
  • 代码片段长度：100-200条指令
  • 总检查点数：623个

评价指标

  • 速度指标：相对于gem5模拟器的加速比
  • 精度指标：平均绝对百分比误差(MAPE)

对比方法

  • 传统方法：gem5 O3超标量处理器模拟器
  • ML基线：基于LSTM的Ithemal模型
  • 消融实验：不包含上下文信息的CAPSim变体

实现细节

  • 硬件平台：NVIDIA GeForce RTX 4090 (24GB)，Intel Xeon CPU E5-2623 v4
  • 模型参数：嵌入向量维度128，注意力头数4，编码器层数4
  • 训练设置：SGD优化器，学习率0.001，动量0.9
  • 采样参数：阈值200，采样系数0.02

实验结果

主要结果

速度提升：

  • 最高加速比：8.3倍（510.parest基准）
  • 平均加速比：4.9倍
  • 加速效果与检查点数量正相关，体现了GPU并行化优势

精度表现：

  • 相比LSTM基线提升9.5%-21.2%，平均提升15.8%
  • 引入上下文信息后精度提升1.3%-9.6%，平均提升6.2%
  • 混合训练集上平均MAPE为12.0%

消融实验

  1. 注意力机制vs LSTM：注意力机制在处理长代码片段时显著优于LSTM
  2. 上下文信息影响：上下文信息对提升预测精度起关键作用
  3. 分类训练效果：分类训练相比混合训练提升0.5%精度

泛化能力测试

跨基准测试：

  • 6×6交叉验证实验，36个训练-测试组合
  • 训练集精度91.3%，整体平均精度88.3%
  • 证明了模型对未见基准的良好泛化能力

跨架构参数测试： 不同微架构参数配置下的精度表现：

参数配置FetchWidthIssueWidthCommitWidthROBEntry误差
基准配置88819212.0%
变体148819212.2%
变体284819212.9%

实验发现

  1. 并行化效果显著：GPU并行处理相比CPU串行模拟有明显优势
  2. 长距离依赖重要：注意力机制有效捕获指令间复杂依赖关系
  3. 上下文信息关键：CPU状态信息对准确预测执行时间至关重要
  4. 分类训练有效：按程序特性分类训练提升模型泛化能力

相关工作

传统模拟器

  • 周期级模拟器：gem5、SimpleScalar、Sniper等，精度高但速度慢
  • 基本块级工具：llvm-mca、uiCA、IACA等，速度快但功能受限

机器学习方法

  • 回归模型：使用线性/非线性回归预测CPI和功耗
  • 深度学习方法：
    • Ithemal：LSTM预测基本块吞吐量
    • Difftune：优化llvm-mca参数
    • Granite：图神经网络预测基本块性能

采样技术

  • 统计采样：SMARTS周期性采样
  • 目标采样：SimPoint基于程序行为的采样

本文相比现有工作的主要优势：

  1. 首次实现完整程序级性能预测（而非仅基本块级）
  2. 使用周期级模拟器作为ground truth（而非简单编译器工具）
  3. 注意力机制更好地建模长距离依赖关系

结论与讨论

主要结论

  1. 技术可行性：基于注意力机制的方法能够有效预测完整程序的CPU性能
  2. 性能优势：相比传统gem5模拟器实现显著加速（2.2-8.3倍）
  3. 精度保证：在大幅提升速度的同时保持可接受的预测精度
  4. 泛化能力：模型对未见基准和不同架构参数具有良好适应性

局限性

  1. 精度权衡：虽然速度大幅提升，但预测精度相比专门的周期级模拟器仍有差距（12%平均误差）
  2. 架构依赖性：当前实现基于Power ISA，扩展到其他指令集需要重新适配
  3. 训练数据需求：需要大量标注数据进行训练，初期成本较高
  4. 复杂场景处理：对于极端复杂的程序行为和微架构特性，预测能力可能受限

未来方向

  1. 多架构支持：扩展到x86、ARM等主流指令集架构
  2. 精度提升：探索更先进的注意力机制和上下文建模方法
  3. 多核支持：扩展到多核和异构系统的性能预测
  4. 在线学习：支持运行时自适应学习和模型更新

深度评价

优点

技术创新性：

  1. 首次将Transformer注意力机制应用于CPU性能预测领域
  2. 创新性地结合上下文信息和指令序列建模
  3. 设计了完整的端到端预测框架

实验充分性：

  1. 在标准SPEC2017基准上进行全面评估
  2. 包含详细的消融实验和泛化能力测试
  3. 与多个基线方法进行对比

结果说服力：

  1. 显著的速度提升（最高8.3倍加速）
  2. 相比现有ML方法的精度提升
  3. 良好的跨基准泛化能力

写作清晰度：

  1. 问题动机阐述清楚
  2. 方法描述详细，包含数学公式
  3. 实验设置和结果展示完整

不足

方法局限性：

  1. 预测精度仍有提升空间（12%平均误差）
  2. 仅在Power ISA上验证，缺乏多架构验证
  3. 对极端复杂场景的处理能力未充分验证

实验设置缺陷：

  1. 硬件平台对比可能不够公平（GPU vs CPU）
  2. 缺乏与更多最新ML方法的对比
  3. 未充分分析不同类型程序的预测效果差异

分析不足：

  1. 对注意力机制的可解释性分析不够深入
  2. 错误案例分析较少
  3. 计算资源消耗分析不够详细

影响力

对领域的贡献：

  1. 为CPU性能预测提供了新的技术路径
  2. 推动了ML在计算机体系结构领域的应用
  3. 为快速架构设计空间探索提供了工具

实用价值：

  1. 显著提升了大规模基准测试的评估效率
  2. 为编译器优化和硬件设计提供快速反馈
  3. 降低了计算机体系结构研究的时间成本

可复现性：

  1. 方法描述相对详细
  2. 使用标准基准测试套件
  3. 但部分实现细节和代码未公开

适用场景

  1. 架构设计空间探索：快速评估不同设计参数的性能影响
  2. 编译器优化：为代码优化提供快速性能反馈
  3. 基准测试加速：大幅减少标准基准测试的运行时间
  4. 教学和研究：为体系结构课程和研究提供高效仿真工具

参考文献

论文引用了61篇相关文献，主要包括：

经典模拟器：

  • gem5: The gem5 simulator (Binkert et al.)
  • SimpleScalar, Sniper, Zesto等传统模拟器

机器学习方法：

  • Ithemal: Accurate, portable and fast basic block throughput estimation (Mendis et al.)
  • Granite: A graph neural network model for basic block throughput estimation (Sýkora et al.)

注意力机制：

  • Attention is all you need (Vaswani et al.)
  • Transformer相关研究

基准测试：

  • SPEC CPU2017基准测试套件

总体评价：这是一篇在CPU性能预测领域具有创新性和实用价值的论文。作者成功地将注意力机制引入CPU性能预测，实现了从基本块级到完整程序级预测的突破，并取得了显著的速度提升。尽管在预测精度和方法泛化性方面还有改进空间，但该工作为计算机体系结构研究提供了有价值的工具和思路，具有良好的应用前景。