iCNN-LSTM: Sysmon을 이용한 배치 기반 증분 랜섬웨어 탐지 시스템

기본 정보

• 논문 ID: 2501.01083
• 제목: iCNN-LSTM: A batch-based incremental ransomware detection system using Sysmon
• 저자: Jamil Ispahany, MD Rafiqul Islam, M. Arif Khan, MD Zahidul Islam (Charles Sturt University, Australia)
• 분류: cs.CR (암호화 및 보안)
• 발표 시간: 2025년 1월 2일 (arXiv preprint)
• 논문 링크: https://arxiv.org/abs/2501.01083

초록

증가하는 랜섬웨어 위협에 대응하기 위해, 본 연구는 합성곱 신경망(CNN)과 장단기 메모리 네트워크(LSTM)를 통합한 새로운 탐지 시스템을 제안합니다. 본 시스템은 Windows 엔드포인트에서 실시간 분석을 위해 Sysmon 로그를 활용합니다. 배치 기반 증분 학습 방법을 채택함으로써, 시스템은 완전한 재훈련 없이 새로운 랜섬웨어 변종에 지속적으로 적응할 수 있습니다. 제안된 모델은 고도로 불균형한 데이터셋에서 평균 F2 점수 99.61%를 달성했으며, 위양성률과 위음성률은 각각 0.17%와 4.69%로, 악의적 행동 식별에서 우수한 정확성을 보여줍니다.

연구 배경 및 동기

문제 정의

1. 랜섬웨어 위협 급증:
   • COVID-19 팬데믹 이후 랜섬웨어가 전 지구적 주요 과제로 대두
   • Colonial Pipeline 공격으로 440만 달러 이상의 손실 발생
2. 기존 탐지 방법의 한계:
   • 서명 기반 방법은 새로운 변종이나 변형 랜섬웨어를 탐지할 수 없음
   • 기존 심층 학습 모델은 처음부터 재구축이 필요하여 자원 소비가 크고 비효율적
   • 새로운 위협에 실시간으로 적응할 수 있는 능력 부족

연구 동기

1. 실시간 탐지 필요성: 랜섬웨어 공격 속도가 빠르므로 신속한 대응 메커니즘 필요
2. 증분 학습의 필수성: 랜섬웨어 변종이 빈번하게 출현하므로 모델은 재훈련이 아닌 지속적 업데이트 필요
3. 동적 탐지의 장점: 정적 탐지에 비해 동적 탐지는 난독화 및 다형성 등의 회피 기술 극복 가능

핵심 기여

1. 새로운 탐지 아키텍처: Sysmon 로그 스트림 기반의 효율적인 랜섬웨어 탐지 시스템 제안으로 불균형 데이터셋에서 99.61%의 F2 점수와 0.17%의 낮은 위양성률 달성
2. 지속적 학습 메커니즘: 소규모 배치 데이터 기반의 지속적 학습 방법 구현으로 SMOTE 기술을 통해 클래스 불균형 문제 해결 및 새로운 랜섬웨어 주(株)에 대한 모델 적응성 향상
3. 효율적 처리 아키텍처: 병렬 LSTM 구성 및 주의 메커니즘을 포함한 CNN-LSTM 심층 학습 아키텍처 제안으로 실행 시간 대폭 단축 및 처리 효율성 향상, 실시간 응용에 적합

방법론 상세 설명

작업 정의

입력: Sysmon 이벤트 로그 스트림 (프로세스 생성, 파일 작업, 네트워크 연결 등 29가지 기본 이벤트 유형 포함) 출력: 이진 분류 결과 (랜섬웨어/양성 소프트웨어) 제약 조건: 실시간 처리, 낮은 위양성률, 새로운 변종에 대한 적응성

모델 아키텍처

1. 전체 프레임워크 설계

시스템은 배치 증분 탐지 프레임워크를 채택하며, 다음의 핵심 구성 요소를 포함합니다:

• 데이터 수집 계층: Sysmon 에이전트가 시스템 이벤트 수집
• 특징 추출 계층: fastText를 사용한 단어 벡터 변환
• 특징 선택 계층: Pearson 상관 계수 기반 핵심 특징 선택
• 분류 계층: CNN-LSTM 하이브리드 모델
• 증분 업데이트 계층: 소규모 배치 기반 모델 가중치 업데이트

2. CNN 모듈 설계

순차화된 Sysmon 이벤트 데이터 처리를 위해 1차원 CNN 채택:

$y[n] = b + \sum_{m=0}^{M-1} w[m] \cdot x[n + m]$

$a_k[n] = \sigma(b + \sum_{m=0}^{M-1} w[m] \cdot x[n + m])$

여기서 σ는 활성화 함수, wm은 합성곱 커널 가중치, b는 편향항입니다.

3. LSTM 모듈 설계

시간 의존성 처리를 위해 병렬 LSTM 구성 채택:

• 망각 게이트: $f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$
• 입력 게이트: $i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$
• 후보값: $\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$
• 셀 상태 업데이트: $C_t = f_t * C_{t-1} + i_t * \tilde{C}_t$
• 출력 게이트: $o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$
• 은닉 상태: $h_t = o_t * \tanh(C_t)$

4. 주의 메커니즘

핵심 정보에 대한 모델의 집중력 강화:

$e_t = v_a^T \tanh(W_a \cdot h_t)$$\alpha_t = \frac{\exp(e_t)}{\sum_{k=1}^T \exp(e_k)}$$c = \sum_{t=1}^T \alpha_t h_t$

기술 혁신점

1. 병렬 LSTM 처리: 기존의 직렬 스택 방식과 비교하여 계산 병목 현상 대폭 감소
2. 배치 증분 학습: 인스턴스 증분 학습의 개념 표류 및 재앙적 망각 문제 회피
3. 동적 특징 선택: PCC 기반 특징 선택 메커니즘으로 데이터 분포 변화에 적응
4. SMOTE 클래스 균형: 랜섬웨어를 소수 클래스로 하는 불균형 문제 효과적 해결

실험 설정

데이터셋

• 규모: 약 200,000개 이벤트 (양성 이벤트 176,130개, 랜섬웨어 이벤트 20,710개)
• 랜섬웨어 계열: 6개 주요 계열 (AvosLocker, BlackBasta, Conti, Hive, Lockbit, REvil)
• 데이터 출처: VirusTotal 및 HybridAnalysis 플랫폼
• 환경 설정: Windows 11 가상 머신, 완전한 인터넷 연결, 실제 운영 환경 모의

데이터 전처리

1. 정규화: Standard Scaler를 사용한 특징 정규화
2. 특징 추출: fastText 단어 임베딩, 52개 원본 특징 처리
3. 특징 선택: PCC 기반 6개 핵심 특징 선택 (CallTrace, GrantedAccess, SourceUser 등)
4. 클래스 균형: SMOTE 기술을 통한 클래스 불균형 처리

평가 지표

• 주요 지표: F2 점수 (β=2, 재현율 강조)
• 보조 지표: F1 점수, 정밀도, 재현율, 정확도, 위양성률, 위음성률, 실행 시간

비교 방법

7개의 기준 모델 포함:

• 3층 스택 LSTM (Maniath et al.)
• CNN-LSTM 조합 모델 (Agrawal et al., Akhtar & Feng)
• 단층 LSTM (Homayoun et al.)
• 다층 CNN 주의 메커니즘 (Zhang et al.)
• 3층 CNN-LSTM 직렬 스택 (Bensaoud & Kalita)

구현 세부사항

• 하이퍼파라미터 최적화: Optuna를 사용한 자동 파라미터 조정
• CNN 파라미터: 합성곱 커널 크기 9, 필터 수 32
• LSTM 파라미터: 384개 단위, 드롭아웃 비율 0.103
• 훈련 파라미터: Adam 최적화기, 학습률 0.001, 배치 크기 1024, 100 에포크

실험 결과

주요 결과

증분 학습 성능

다른 증분 학습 방법과의 비교:

절제 실험

1. 병렬 vs 직렬 LSTM: 병렬 구성이 직렬 구성 대비 약 35%의 훈련 시간 단축
2. 주의 메커니즘: F2 점수 약 2% 향상
3. 특징 선택: PCC 선택 6개 특징이 전체 52개 특징 대비 효율성 향상 및 성능 유지

실험 발견

1. 시간 효율성 우위: 위양성률 20% 미만의 모델 중 본 방법의 실행 시간이 가장 단축
2. 안정성: F2 점수가 전체 증분 업데이트 과정에서 99% 이상으로 안정적 유지
3. 적응성: 새로운 랜섬웨어 계열에 빠르게 적응 가능하며, 업데이트 후 성능 신속 회복

관련 연구

주요 연구 방향

1. CNN 기반 탐지: 합성곱 네트워크를 이용한 공간 특징 추출
2. LSTM 기반 탐지: 순차 데이터의 시간 의존성 처리
3. CNN-LSTM 하이브리드 모델: 두 방법의 장점 결합
4. 증분 학습 방법: 인스턴스 증분 vs 배치 증분

본 논문의 우위

1. 실시간 처리 능력: 기존 방법 대비 실시간 데이터 스트림 처리에 특화
2. 증분 학습 효율성: 배치 증분 학습이 인스턴스 증분의 고유한 문제 회피
3. 아키텍처 혁신: 병렬 LSTM 구성이 성능 유지 하에 효율성 대폭 향상

결론 및 논의

주요 결론

1. 제안된 iCNN-LSTM 시스템이 랜섬웨어 탐지 작업에서 우수한 성능 달성
2. 배치 증분 학습 메커니즘이 완전한 재훈련 없이 새로운 위협에 효과적으로 적응
3. 병렬 LSTM 아키텍처 및 주의 메커니즘이 처리 효율성 대폭 향상

한계

1. 고정 배치 크기: 현재 10,000 이벤트의 고정 배치 사용으로 동적 조정 메커니즘 부재
2. 모델 성능 저하 탐지: 모델 성능 저하 탐지 및 대응 메커니즘 부재
3. 자원 소비 분석: 계산 자원 소비에 대한 상세 분석 미흡
4. 특징 집합 변화: 특징 집합 변화 시 과거 데이터의 재훈련 필요

향후 방향

1. 모델 성능 저하 탐지 및 대응 전략 개발
2. 자적응형 배치 크기 조정 메커니즘 탐색
3. 계산 자원 소비 및 최적화 전략에 대한 심층 분석
4. 다른 유형의 악성 소프트웨어 탐지로 확대

심층 평가

장점

1. 기술 혁신성 강함: 병렬 LSTM 구성과 배치 증분 학습의 결합이 혁신적
2. 실험 설계 완전함: 충분한 비교 실험 및 절제 실험 포함
3. 실제 응용 가치 높음: 실제 배포의 핵심 문제 (실시간성, 적응성) 해결
4. 성능 표현 우수함: 다양한 지표에서 선도적 수준 달성
5. 작성 명확성 우수함: 기술 세부사항 명확하고 수학 공식 정확

부족한 점

1. 데이터셋 규모 제한: 6개 랜섬웨어 계열 포함하지만 전체 규모는 상대적으로 제한적
2. 일반화 능력 평가 부족: 다른 데이터셋에서의 검증 부재
3. 대적 공격 견고성 미고려: 탐지 시스템을 대상으로 한 대적 공격 미검토
4. 배포 복잡성 논의 부족: 실제 배포 중 직면할 수 있는 공학적 과제 논의 미흡

영향력

1. 학술 기여: 증분 학습의 네트워크 보안 분야 응용에 중요한 참고 자료 제공
2. 실용 가치: 실제 네트워크 보안 방어의 핵심 문제 직접 해결
3. 재현성: 상세한 구현 세부사항 및 하이퍼파라미터 설정 제공

적용 시나리오

1. 기업 네트워크 보안: 실시간 모니터링이 필요한 기업 환경에 적용
2. 엔드포인트 탐지 및 대응(EDR): EDR 솔루션에 통합 가능
3. 보안 운영 센터(SOC): SOC에 자동화된 위협 탐지 능력 제공
4. 클라우드 보안 서비스: 클라우드 기반 보안 탐지 서비스로 배포 가능

참고문헌

본 논문은 풍부한 관련 연구를 인용하며, 주요 내용은 다음을 포함합니다:

• 악성 소프트웨어 탐지에서의 심층 학습 응용 연구
• 순차 데이터 처리에서의 CNN 및 LSTM 방법
• 증분 학습 및 온라인 학습의 이론적 기초
• 시스템 모니터링에서의 Sysmon 응용 실제

종합 평가: 본 논문은 네트워크 보안 분야의 고품질 연구 논문으로, 기술 혁신, 실험 검증 및 실제 응용 가치 측면에서 모두 우수한 성과를 보여줍니다. 특히 증분 학습 및 실시간 탐지 측면의 기여는 해당 분야에 중요한 의미를 갖습니다.