2025-11-13T09:49:10.938500

MalCL: Leveraging GAN-Based Generative Replay to Combat Catastrophic Forgetting in Malware Classification

Park, Ji, Park et al.

Continual Learning (CL) for malware classification tackles the rapidly evolving nature of malware threats and the frequent emergence of new types. Generative Replay (GR)-based CL systems utilize a generative model to produce synthetic versions of past data, which are then combined with new data to retrain the primary model. Traditional machine learning techniques in this domain often struggle with catastrophic forgetting, where a model's performance on old data degrades over time. In this paper, we introduce a GR-based CL system that employs Generative Adversarial Networks (GANs) with feature matching loss to generate high-quality malware samples. Additionally, we implement innovative selection schemes for replay samples based on the model's hidden representations. Our comprehensive evaluation across Windows and Android malware datasets in a class-incremental learning scenario -- where new classes are introduced continuously over multiple tasks -- demonstrates substantial performance improvements over previous methods. For example, our system achieves an average accuracy of 55% on Windows malware samples, significantly outperforming other GR-based models by 28%. This study provides practical insights for advancing GR-based malware classification systems. The implementation is available at \url {https://github.com/MalwareReplayGAN/MalCL}\footnote{The code will be made public upon the presentation of the paper}.

academic

MalCL: GAN 기반 생성 재생을 활용한 악성코드 분류의 재앙적 망각 극복

기본 정보

논문 ID: 2501.01110
제목: MalCL: Leveraging GAN-Based Generative Replay to Combat Catastrophic Forgetting in Malware Classification
저자: Jimin Park¹, AHyun Ji¹, Minji Park¹, Mohammad Saidur Rahman², Se Eun Oh¹*
소속: ¹이화여자대학교, ²텍사스 엘 파소 대학교
분류: cs.CR (암호화 및 보안), cs.AI (인공지능)
발표 시간: 2025년 1월 2일 (arXiv 사전인쇄본)
논문 링크: https://arxiv.org/abs/2501.01110

초록

본 논문은 악성코드 분류의 지속적 학습 문제를 해결하기 위해 MalCL 시스템을 제안합니다. 본 시스템은 생성대립신경망(GAN) 기반의 생성 재생(Generative Replay) 방법을 채택하여 특징 매칭 손실을 통해 고품질의 악성코드 샘플을 생성하고, 모델 은닉층 표현 기반의 혁신적인 샘플 선택 메커니즘을 구현했습니다. Windows 및 Android 악성코드 데이터셋의 클래스 증분 학습 시나리오에서 본 시스템은 현저한 성능 향상을 보여주었으며, Windows 악성코드 샘플에서 55%의 평균 정확도를 달성하여 다른 생성 재생 기반 모델보다 28% 향상되었습니다.

연구 배경 및 동기

핵심 문제

악성코드 분류가 직면한 주요 과제는 재앙적 망각(Catastrophic Forgetting) 현상입니다. 머신러닝 모델이 새로운 데이터에 대해 지속적으로 훈련될 때, 기존 데이터에 대한 성능이 현저히 저하됩니다. 이는 악성코드 분야에서 특히 심각한데, 그 이유는 다음과 같습니다:

악성코드의 빠른 진화: AV-TEST 연구소는 매일 45만 개의 새로운 악성코드 및 잠재적 유해 프로그램(PUA) 기록
VirusTotal의 일일 처리량: 100만 개 이상의 소프트웨어 제출 처리
백신 회사의 딜레마: 기존 샘플 제거(구형 악성코드 재출현 위험) 또는 새 샘플 무시(신흥 위협 놓침)

위협 모델

논문은 구체적인 위협 시나리오를 정의합니다: 공격자가 새로운 데이터로만 업데이트된 머신러닝 시스템을 우회하기 위해 레거시 악성코드를 활용합니다. 원래 훈련과 공격 사이의 시간 간격이 증가함에 따라 성공적인 우회 가능성이 증가합니다.

기존 방법의 한계

전통적 머신러닝 방법: 재앙적 망각을 효과적으로 처리하지 못함
컴퓨터 비전 분야의 지속적 학습 방법: 악성코드 분류에 직접 적용 시 효과 미흡, 성능이 "None" 기준선보다 낮음
저장소 제약: 개인정보보호 규정으로 인한 과거 데이터 저장 제한

핵심 기여

악성코드 분야 전용 지속적 학습 모델: 100개 악성코드 계열의 11개 지속적 학습 작업에서 55% 평균 정확도 달성, 기존 방법 대비 28% 향상
개선된 특징 매칭 생성 재생: 특징 매칭 손실(Feature Matching Loss)과 결합된 GAN 생성기를 채택하여 원본 샘플과 합성 샘플 간의 특징 차이 감소
혁신적인 재생 샘플 선택 메커니즘: 분류기 중간층 특징을 기반으로 개발된 다양한 선택 전략으로 생성 샘플과 원본 데이터의 정렬도 향상
전략적 작업 집합 구성: 초기 작업에 대형 클래스를 할당하는 전략 탐색으로 재앙적 망각 효과적 완화

방법 상세 설명

작업 정의

MalCL은 클래스 증분 학습(Class-Incremental Learning) 문제를 해결합니다:

입력: 악성코드 특징 벡터 시퀀스
출력: 악성코드 계열 분류
제약: 각 작업은 새로운 악성코드 클래스를 도입하며, 동시에 과거 클래스에 대한 인식 능력 유지 필요

모델 아키텍처

전체 흐름

MalCL은 두 가지 핵심 구성 요소를 포함합니다:

GAN 모듈: 과거 작업의 합성 악성코드 샘플 생성
분류기 모듈: 악성코드 계열 분류 수행

GAN 아키텍처 설계

생성기(Generator):

4개의 1D 합성곱 층 + 2개의 완전연결층 + 3개의 역합성곱 층
마지막 층을 제외한 모든 층에서 ReLU 활성화 및 배치 정규화 사용
출력층에서 Sigmoid 활성화 사용

판별기(Discriminator):

2개의 합성곱 층 + 2개의 완전연결층
두 번째 합성곱 층의 평탄화 로직은 특징 매칭에 사용
최종 출력에서 Sigmoid 층 사용

분류기 아키텍처

3개의 합성곱 층 + 1개의 완전연결층
처음 두 합성곱 층 후 최대 풀링 및 드롭아웃 적용
세 번째 합성곱 층의 평탄화 로직은 재생 샘플 선택에 사용
출력층에서 Softmax 사용

기술 혁신 포인트

1. 특징 매칭 손실(Feature Matching Loss)

기존의 이진 교차 엔트로피 손실:

LG = -1/m ∑(i=1 to m) log(D(G(zi)))

특징 매칭 손실:

LG = 1/m ∑(i=1 to m) ||Ex~pdata[D(f)(x)] - Ez~pz[D(f)(G(z))]||

여기서 D(f)(·)는 판별기의 중간층 출력을 나타내며, 이 손실 함수는 최종 출력이 아닌 더 풍부한 중간 특징에 초점을 맞춥니다.

2. 재생 샘플 선택 전략

원-핫 레이블까지의 L2 거리 기반 선택:

Sc,k = {s | argmin √((Ci(s) - yc)²), ∀s ∈ S, yc ∈ Y}

로지스틱 회귀까지의 L1 거리 기반 선택:

배치 평균 기준: 전역 평균에 가까운 샘플 선택
클래스 평균 기준: 각 클래스에 대해 클래스 중심에 가장 가까운 k개 샘플 선택

Sc,k = {s | argmin |Li(s) - L̄i,c(xj)|, ∀s ∈ S, ∀x ∈ Xc}

실험 설정

데이터셋

EMBER 데이터셋:
- 337,035개의 악성 Windows PE 파일
- 100개의 악성코드 계열, 각 계열당 >400개 샘플
- 특징: 파일 크기, PE 및 COFF 헤더 정보, DLL 특징 등
AZ-Class 데이터셋:
- 285,582개의 Android 악성코드 샘플
- 100개의 악성코드 계열, 각 계열당 ≥200개 샘플
- Drebin 특징 사용, 8개 카테고리 포함(하드웨어 접근, 권한, API 호출 등)
- 최종 특징 차원: 2,439

평가 지표

평균 정확도(Mean Accuracy): 모든 작업의 평균 분류 정확도
최소 정확도(Min Accuracy): 모든 작업 중 최저 정확도

비교 방법

기준선 방법:
- None: 새로운 데이터로만 훈련(재앙적 망각의 하한)
- Joint: 모든 과거 데이터를 사용하여 훈련(이상적 상한)
선행 연구:
- GR (Generative Replay): GAN을 사용한 생성 재생
- BI-R (Brain-Inspired Replay): VAE의 향상된 생성 재생