2025-11-22T13:13:16.451892

iCNN-LSTM: A batch-based incremental ransomware detection system using Sysmon

Ispahany, Islam, Khan et al.
In response to the increasing ransomware threat, this study presents a novel detection system that integrates Convolutional Neural Networks (CNNs) and Long Short-Term Memory (LSTM) networks. By leveraging Sysmon logs, the system enables real-time analysis on Windows-based endpoints. Our approach overcomes the limitations of traditional models by employing batch-based incremental learning, allowing the system to continuously adapt to new ransomware variants without requiring complete retraining. The proposed model achieved an impressive average F2-score of 99.61\%, with low false positive and false negative rates of 0.17\% and 4.69\%, respectively, within a highly imbalanced dataset. This demonstrates exceptional accuracy in identifying malicious behaviour. The dynamic detection capabilities of Sysmon enhance the model's effectiveness by providing a reliable stream of security events, mitigating the vulnerabilities associated with static detection methods. Furthermore, the parallel processing of LSTM modules, combined with attention mechanisms, significantly improves training efficiency and reduces latency, making our system well-suited for real-world applications. These findings underscore the potential of our CNN-LSTM framework as a robust solution for real-time ransomware detection, ensuring adaptability and resilience in the face of evolving cyber threats.
academic

iCNN-LSTM: A batch-based incremental ransomware detection system using Sysmon

基本信息

  • 论文ID: 2501.01083
  • 标题: iCNN-LSTM: A batch-based incremental ransomware detection system using Sysmon
  • 作者: Jamil Ispahany, MD Rafiqul Islam, M. Arif Khan, MD Zahidul Islam (Charles Sturt University, Australia)
  • 分类: cs.CR (Cryptography and Security)
  • 发表时间: 2025年1月2日 (arXiv preprint)
  • 论文链接: https://arxiv.org/abs/2501.01083

摘要

针对日益增长的勒索软件威胁，本研究提出了一个集成卷积神经网络(CNN)和长短期记忆网络(LSTM)的新型检测系统。该系统利用Sysmon日志在Windows端点上实现实时分析。通过采用基于批次的增量学习方法，系统能够持续适应新的勒索软件变种而无需完全重新训练。所提出的模型在高度不平衡数据集上取得了99.61%的平均F2分数，误报率和漏报率分别为0.17%和4.69%，展现了识别恶意行为的卓越准确性。

研究背景与动机

问题定义

  1. 勒索软件威胁激增：自COVID-19疫情以来，勒索软件成为全球性重大挑战，如Colonial Pipeline攻击造成超过440万美元损失
  2. 传统检测方法局限性：
    • 基于签名的方法无法检测新变种或变形勒索软件
    • 现有深度学习模型需要从头重建，资源消耗巨大且效率低下
    • 缺乏实时适应新威胁的能力

研究动机

  1. 实时检测需求：勒索软件攻击速度快，需要快速响应机制
  2. 增量学习必要性：勒索软件变种频出，模型需要持续更新而非重新训练
  3. 动态检测优势：相比静态检测，动态检测能够克服混淆和多态性等规避技术

核心贡献

  1. 新型检测架构：提出基于Sysmon日志流的高效勒索软件检测系统，在不平衡数据集上实现99.61%的F2分数和4.69%的低误报率
  2. 持续学习机制：实现基于小批量数据的持续学习方法，通过SMOTE技术解决类别不平衡问题，提高模型对新勒索软件株的适应性
  3. 高效处理架构：提出并行LSTM配置和注意力机制的CNN-LSTM深度学习架构，显著减少运行时间并提高处理效率，适合实时应用

方法详解

任务定义

输入：Sysmon事件日志流（包含进程创建、文件操作、网络连接等29种默认事件类型） 输出：二分类结果（勒索软件/良性软件） 约束：实时处理、低误报率、适应新变种

模型架构

1. 整体框架设计

系统采用批量增量检测框架，包含以下关键组件：

  • 数据收集层：Sysmon代理收集系统事件
  • 特征提取层：使用fastText进行词向量转换
  • 特征选择层：基于Pearson相关系数选择关键特征
  • 分类层：CNN-LSTM混合模型
  • 增量更新层：基于小批量的模型权重更新

2. CNN模块设计

采用一维CNN处理序列化的Sysmon事件数据：

y[n]=b+∑m=0M−1w[m]⋅x[n+m]y[n] = b + \sum_{m=0}^{M-1} w[m] \cdot x[n + m]

ak[n]=σ(b+∑m=0M−1w[m]⋅x[n+m])a_k[n] = \sigma(b + \sum_{m=0}^{M-1} w[m] \cdot x[n + m])

其中σ为激活函数，wm为卷积核权重，b为偏置项。

3. LSTM模块设计

采用并行LSTM配置处理时序依赖关系：

  • 遗忘门：ft=σ(Wf⋅[ht−1,xt]+bf)f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)
  • 输入门：it=σ(Wi⋅[ht−1,xt]+bi)i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)
  • 候选值：C~t=tanh⁡(WC⋅[ht−1,xt]+bC)\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)
  • 细胞状态更新：Ct=ft∗Ct−1+it∗C~tC_t = f_t * C_{t-1} + i_t * \tilde{C}_t
  • 输出门：ot=σ(Wo⋅[ht−1,xt]+bo)o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)
  • 隐藏状态：ht=ot∗tanh⁡(Ct)h_t = o_t * \tanh(C_t)

4. 注意力机制

增强模型对关键信息的关注：

et=vaTtanh⁡(Wa⋅ht)e_t = v_a^T \tanh(W_a \cdot h_t)αt=exp⁡(et)∑k=1Texp⁡(ek)\alpha_t = \frac{\exp(e_t)}{\sum_{k=1}^T \exp(e_k)}c=∑t=1Tαthtc = \sum_{t=1}^T \alpha_t h_t

技术创新点

  1. 并行LSTM处理：相比传统的串行堆叠，并行配置显著减少计算瓶颈
  2. 批量增量学习：避免了实例增量学习的概念漂移和灾难性遗忘问题
  3. 动态特征选择：基于PCC的特征选择机制能够适应数据分布变化
  4. SMOTE类别平衡：有效解决勒索软件作为少数类的不平衡问题

实验设置

数据集

  • 规模：近200,000个事件（176,130个良性事件，20,710个勒索软件事件）
  • 勒索软件家族：6个主要家族（AvosLocker, BlackBasta, Conti, Hive, Lockbit, REvil）
  • 数据来源：VirusTotal和HybridAnalysis平台
  • 环境设置：Windows 11虚拟机，完整互联网连接，模拟真实生产环境

数据预处理

  1. 标准化：使用Standard Scaler进行特征标准化
  2. 特征提取：fastText词嵌入，处理52个原始特征
  3. 特征选择：基于PCC选择6个关键特征（CallTrace, GrantedAccess, SourceUser等）
  4. 类别平衡：SMOTE技术处理类别不平衡

评价指标

  • 主要指标：F2分数（β=2，强调召回率）
  • 辅助指标：F1分数、精确率、召回率、准确率、误报率、漏报率、运行时间

对比方法

包含7个基线模型：

  • 3层堆叠LSTM (Maniath et al.)
  • CNN-LSTM组合模型 (Agrawal et al., Akhtar & Feng)
  • 单层LSTM (Homayoun et al.)
  • 多层CNN注意力机制 (Zhang et al.)
  • 三层CNN-LSTM串行堆叠 (Bensaoud & Kalita)

实现细节

  • 超参数优化：使用Optuna自动调参
  • CNN参数：卷积核大小9，滤波器数32
  • LSTM参数：384个单元，dropout率0.103
  • 训练参数：Adam优化器，学习率0.001，批大小1024，100个epoch

实验结果

主要结果

模型F1分数F2分数召回率精确率误报率漏报率运行时间
iCNN-LSTM99.61%99.61%99.62%99.61%0.17%4.69%195.69s
Bensaoud & Kalita99.56%99.56%99.56%99.56%0.22%5.13%303.35s
Akhtar & Feng99.41%99.40%99.41%99.41%0.23%5.22%427.62s
Agrawal et al.99.43%99.43%99.44%99.43%2.6%6.45%1585.54s

增量学习性能

与其他增量学习方法对比：

研究F1分数F2分数召回率精确率
Roy & Chen99.39%99.03%98.8%100%
Al-rimy et al.98.70%99.02%99.24%98.16%
iCNN-LSTM99.61%99.61%99.62%99.61%

消融实验

  1. 并行vs串行LSTM：并行配置相比串行配置减少约35%的训练时间
  2. 注意力机制：提升约2%的F2分数
  3. 特征选择：PCC选择的6个特征相比全部52个特征提升效率且保持性能

实验发现

  1. 时间效率优势：在误报率低于20%的模型中，本方法运行时间最短
  2. 稳定性：F2分数在整个增量更新过程中稳定保持在99%以上
  3. 适应性：能够快速适应新的勒索软件家族，更新后性能迅速恢复

相关工作

主要研究方向

  1. 基于CNN的检测：利用卷积网络提取空间特征
  2. 基于LSTM的检测：处理序列数据中的时序依赖
  3. CNN-LSTM混合模型：结合两者优势
  4. 增量学习方法：实例增量vs批量增量

本文优势

  1. 实时处理能力：相比现有方法，本方法专门针对实时数据流设计
  2. 增量学习效率：批量增量学习避免了实例增量的固有问题
  3. 架构创新：并行LSTM配置在保持性能的同时显著提升效率

结论与讨论

主要结论

  1. 提出的iCNN-LSTM系统在勒索软件检测任务上取得了优异性能
  2. 批量增量学习机制能够有效适应新威胁而无需完全重训练
  3. 并行LSTM架构和注意力机制显著提升了处理效率

局限性

  1. 固定批次大小：当前使用固定的10,000事件批次，缺乏动态调整机制
  2. 模型退化检测：缺乏检测和应对模型性能退化的机制
  3. 资源消耗分析：未详细分析计算资源消耗情况
  4. 特征集变化：当特征集发生变化时需要重新训练历史数据

未来方向

  1. 开发动态检测和应对模型退化的策略
  2. 探索自适应批次大小调整机制
  3. 深入分析计算资源消耗和优化策略
  4. 扩展到其他类型的恶意软件检测

深度评价

优点

  1. 技术创新性强：并行LSTM配置和批量增量学习的结合具有创新性
  2. 实验设计完整：包含充分的对比实验和消融实验
  3. 实际应用价值高：解决了实际部署中的关键问题（实时性、适应性）
  4. 性能表现优异：在多个指标上都达到了领先水平
  5. 写作清晰度好：技术细节描述清晰，数学公式表达准确

不足

  1. 数据集规模限制：虽然包含6个勒索软件家族，但总体规模相对有限
  2. 泛化能力评估：缺乏在其他数据集上的验证
  3. 对抗攻击鲁棒性：未考虑针对检测系统的对抗攻击
  4. 部署复杂性：实际部署中可能面临的工程挑战讨论不足

影响力

  1. 学术贡献：为增量学习在网络安全领域的应用提供了重要参考
  2. 实用价值：直接解决了实际网络安全防护中的关键问题
  3. 可复现性：提供了详细的实现细节和超参数设置

适用场景

  1. 企业网络安全：适用于需要实时监控的企业环境
  2. 端点检测响应(EDR)：可集成到EDR解决方案中
  3. 安全运营中心(SOC)：为SOC提供自动化威胁检测能力
  4. 云安全服务：可部署为云端安全检测服务

参考文献

论文引用了丰富的相关工作，主要包括：

  • 深度学习在恶意软件检测中的应用研究
  • CNN和LSTM在序列数据处理中的方法
  • 增量学习和在线学习的理论基础
  • Sysmon在系统监控中的应用实践

总体评价：这是一篇高质量的网络安全领域研究论文，在技术创新、实验验证和实际应用价值方面都表现出色。特别是在增量学习和实时检测方面的贡献对该领域具有重要意义。