2025-11-13T09:49:10.938500

MalCL: Leveraging GAN-Based Generative Replay to Combat Catastrophic Forgetting in Malware Classification

Park, Ji, Park et al.
Continual Learning (CL) for malware classification tackles the rapidly evolving nature of malware threats and the frequent emergence of new types. Generative Replay (GR)-based CL systems utilize a generative model to produce synthetic versions of past data, which are then combined with new data to retrain the primary model. Traditional machine learning techniques in this domain often struggle with catastrophic forgetting, where a model's performance on old data degrades over time. In this paper, we introduce a GR-based CL system that employs Generative Adversarial Networks (GANs) with feature matching loss to generate high-quality malware samples. Additionally, we implement innovative selection schemes for replay samples based on the model's hidden representations. Our comprehensive evaluation across Windows and Android malware datasets in a class-incremental learning scenario -- where new classes are introduced continuously over multiple tasks -- demonstrates substantial performance improvements over previous methods. For example, our system achieves an average accuracy of 55% on Windows malware samples, significantly outperforming other GR-based models by 28%. This study provides practical insights for advancing GR-based malware classification systems. The implementation is available at \url {https://github.com/MalwareReplayGAN/MalCL}\footnote{The code will be made public upon the presentation of the paper}.
academic

MalCL: ম্যালওয়্যার শ্রেণীবিভাগে বিপর্যয়মূলক বিস্মৃতি মোকাবেলায় GAN-ভিত্তিক জেনারেটিভ রিপ্লে ব্যবহার করা

মৌলিক তথ্য

  • পেপার আইডি: 2501.01110
  • শিরোনাম: MalCL: ম্যালওয়্যার শ্রেণীবিভাগে বিপর্যয়মূলক বিস্মৃতি মোকাবেলায় GAN-ভিত্তিক জেনারেটিভ রিপ্লে ব্যবহার করা
  • লেখক: Jimin Park¹, AHyun Ji¹, Minji Park¹, Mohammad Saidur Rahman², Se Eun Oh¹*
  • প্রতিষ্ঠান: ¹ইউহা মহিলা বিশ্ববিদ্যালয়, ²টেক্সাস বিশ্ববিদ্যালয় এল পাসো
  • শ্রেণীবিভাগ: cs.CR (ক্রিপ্টোগ্রাফি এবং নিরাপত্তা), cs.AI (কৃত্রিম বুদ্ধিমত্তা)
  • প্রকাশনার সময়: ২০২৫ সালের ২ জানুয়ারি (arXiv প্রাক-মুদ্রণ)
  • পেপার লিঙ্ক: https://arxiv.org/abs/2501.01110

সারসংক্ষেপ

এই পেপারটি ম্যালওয়্যার শ্রেণীবিভাগে ক্রমাগত শিক্ষার সমস্যার সমাধানের জন্য MalCL সিস্টেম প্রস্তাব করে। এই সিস্টেমটি জেনারেটিভ প্রতিদ্বন্দ্বী নেটওয়ার্ক (GAN)-ভিত্তিক জেনারেটিভ রিপ্লে পদ্ধতি ব্যবহার করে, বৈশিষ্ট্য মিলানো ক্ষতি ফাংশনের মাধ্যমে উচ্চ মানের ম্যালওয়্যার নমুনা তৈরি করে এবং মডেল লুকানো প্রতিনিধিত্বের উপর ভিত্তি করে একটি উদ্ভাবনী নমুনা নির্বাচন প্রক্রিয়া বাস্তবায়ন করে। Windows এবং Android ম্যালওয়্যার ডেটাসেটে শ্রেণী-বর্ধনশীল শিক্ষার পরিস্থিতিতে, এই সিস্টেমটি উল্লেখযোগ্য কর্মক্ষমতা উন্নতি প্রদর্শন করে, Windows ম্যালওয়্যার নমুনায় ৫৫% গড় নির্ভুলতায় পৌঁছায়, যা অন্যান্য জেনারেটিভ রিপ্লে-ভিত্তিক মডেলের চেয়ে ২৮% বেশি।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

ম্যালওয়্যার শ্রেণীবিভাগের প্রধান চ্যালেঞ্জ হল বিপর্যয়মূলক বিস্মৃতি (Catastrophic Forgetting) ঘটনা। যখন মেশিন লার্নিং মডেল নতুন ডেটায় ক্রমাগত প্রশিক্ষণ নেয়, তখন পুরানো ডেটায় এর কর্মক্ষমতা উল্লেখযোগ্যভাবে হ্রাস পায়। এটি ম্যালওয়্যার ক্ষেত্রে বিশেষভাবে গুরুতর কারণ:

  1. ম্যালওয়্যারের দ্রুত বিবর্তন: AV-TEST ইনস্টিটিউট প্রতিদিন ৪৫০,০০০টি নতুন ম্যালওয়্যার এবং সম্ভাব্য অবাঞ্ছিত প্রোগ্রাম (PUA) রেকর্ড করে
  2. ভাইরাসটোটাল প্রতিদিন ১ মিলিয়নেরও বেশি সফটওয়্যার জমা প্রক্রিয়া করে
  3. অ্যান্টিভাইরাস কোম্পানিগুলির দ্বিধা: হয় পুরানো নমুনা সরিয়ে দিন (পুরানো ম্যালওয়্যার পুনরায় আবির্ভূত হওয়ার ঝুঁকি নিয়ে), অথবা নতুন নমুনা উপেক্ষা করুন (নতুন হুমকি মিস করার ঝুঁকি নিয়ে)

হুমকি মডেল

পেপারটি একটি নির্দিষ্ট হুমকির পরিস্থিতি সংজ্ঞায়িত করে: আক্রমণকারী শুধুমাত্র নতুন ডেটায় আপডেট করা মেশিন লার্নিং সিস্টেম বাইপাস করতে উত্তরাধিকার ম্যালওয়্যার ব্যবহার করে। মূল প্রশিক্ষণ এবং আক্রমণের মধ্যে সময়ের ব্যবধান বৃদ্ধির সাথে সাথে সফল এড়ানোর সম্ভাবনা বৃদ্ধি পায়।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

  1. ঐতিহ্যবাহী মেশিন লার্নিং পদ্ধতি: বিপর্যয়মূলক বিস্মৃতি কার্যকরভাবে পরিচালনা করতে পারে না
  2. কম্পিউটার ভিশন ক্ষেত্রের ক্রমাগত শিক্ষা পদ্ধতি: ম্যালওয়্যার শ্রেণীবিভাগে সরাসরি প্রয়োগ করলে খারাপ ফলাফল পাওয়া যায়, কর্মক্ষমতা এমনকি "কোনো" ভিত্তিরেখার চেয়েও খারাপ
  3. সংরক্ষণ সীমাবদ্ধতা: গোপনীয়তা নিয়মের কারণে, ঐতিহাসিক ডেটা সংরক্ষণ সীমাবদ্ধ

মূল অবদান

  1. ম্যালওয়্যার ডোমেনের জন্য বিশেষায়িত ক্রমাগত শিক্ষা মডেল: ১০০টি ম্যালওয়্যার পরিবারের ১১টি ক্রমাগত শিক্ষা কাজে ৫৫% গড় নির্ভুলতা অর্জন করে MalCL প্রস্তাব করে, যা বিদ্যমান পদ্ধতির চেয়ে ২৮% উন্নতি
  2. উন্নত বৈশিষ্ট্য মিলানো জেনারেটিভ রিপ্লে: GAN জেনারেটর বৈশিষ্ট্য মিলানো ক্ষতি ফাংশনের সাথে একত্রিত করে, মূল এবং সংশ্লেষিত নমুনার মধ্যে বৈশিষ্ট্য পার্থক্য হ্রাস করে
  3. উদ্ভাবনী রিপ্লে নমুনা নির্বাচন প্রক্রিয়া: শ্রেণীবিভাগকারীর মধ্যবর্তী স্তরের বৈশিষ্ট্যের উপর ভিত্তি করে বিভিন্ন নির্বাচন কৌশল বিকাশ করে, উৎপাদিত নমুনা এবং মূল ডেটার সারিবদ্ধতা উন্নত করে
  4. কৌশলগত কাজ সেট নির্মাণ: বড় বিভাগ প্রাথমিক কাজে বরাদ্দ করার কৌশল অন্বেষণ করে, বিপর্যয়মূলক বিস্মৃতি কার্যকরভাবে হ্রাস করে

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

MalCL শ্রেণী-বর্ধনশীল শিক্ষা (Class-Incremental Learning) সমস্যা সমাধান করে:

  • ইনপুট: ম্যালওয়্যার বৈশিষ্ট্য ভেক্টর ক্রম
  • আউটপুট: ম্যালওয়্যার পরিবার শ্রেণীবিভাগ
  • সীমাবদ্ধতা: প্রতিটি কাজ নতুন ম্যালওয়্যার বিভাগ প্রবর্তন করে, একই সাথে ঐতিহাসিক বিভাগের স্বীকৃতি বজায় রাখতে হবে

মডেল আর্কিটেকচার

সামগ্রিক প্রবাহ

MalCL দুটি মূল উপাদান রয়েছে:

  1. GAN মডিউল: অতীত কাজের সংশ্লেষিত ম্যালওয়্যার নমুনা তৈরি করে
  2. শ্রেণীবিভাগকারী মডিউল: ম্যালওয়্যার পরিবার শ্রেণীবিভাগ সম্পাদন করে

GAN আর্কিটেকচার ডিজাইন

জেনারেটর (Generator):

  • ৪টি 1D কনভোলিউশন স্তর + ২টি সম্পূর্ণ সংযুক্ত স্তর + ৩টি বিপরীত কনভোলিউশন স্তর
  • শেষ স্তর ছাড়া সব জায়গায় ReLU সক্রিয়করণ এবং ব্যাচ স্বাভাবিকীকরণ ব্যবহার করে
  • আউটপুট স্তর Sigmoid সক্রিয়করণ ব্যবহার করে

বিচারক (Discriminator):

  • ২টি কনভোলিউশন স্তর + ২টি সম্পূর্ণ সংযুক্ত স্তর
  • দ্বিতীয় কনভোলিউশন স্তরের সমতল করার যুক্তি বৈশিষ্ট্য মিলানোর জন্য ব্যবহৃত হয়
  • চূড়ান্ত আউটপুট Sigmoid স্তর ব্যবহার করে

শ্রেণীবিভাগকারী আর্কিটেকচার

  • ৩টি কনভোলিউশন স্তর + ১টি সম্পূর্ণ সংযুক্ত স্তর
  • প্রথম দুটি কনভোলিউশন স্তরের পরে সর্বোচ্চ পুলিং এবং ড্রপআউট
  • তৃতীয় কনভোলিউশন স্তরের সমতল করার যুক্তি রিপ্লে নমুনা নির্বাচনের জন্য ব্যবহৃত হয়
  • আউটপুট স্তর Softmax ব্যবহার করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

১. বৈশিষ্ট্য মিলানো ক্ষতি (Feature Matching Loss)

ঐতিহ্যবাহী বাইনারি ক্রস-এন্ট্রপি ক্ষতি:

LG = -1/m ∑(i=1 to m) log(D(G(zi)))

বৈশিষ্ট্য মিলানো ক্ষতি:

LG = 1/m ∑(i=1 to m) ||Ex~pdata[D(f)(x)] - Ez~pz[D(f)(G(z))]||

যেখানে D(f)(·) বিচারকের মধ্যবর্তী স্তরের আউটপুট নির্দেশ করে, এই ক্ষতি ফাংশন চূড়ান্ত আউটপুটের পরিবর্তে আরও সমৃদ্ধ মধ্যবর্তী বৈশিষ্ট্যগুলিতে ফোকাস করে।

২. রিপ্লে নমুনা নির্বাচন কৌশল

এক-হট লেবেলে L2 দূরত্বের উপর ভিত্তি করে নির্বাচন:

Sc,k = {s | argmin √((Ci(s) - yc)²), ∀s ∈ S, yc ∈ Y}

লজিস্টিক রিগ্রেশনে L1 দূরত্বের উপর ভিত্তি করে নির্বাচন:

  • ব্যাচ গড় অনুযায়ী: বৈশ্বিক গড়ের কাছাকাছি নমুনা নির্বাচন করে
  • শ্রেণী গড় অনুযায়ী: প্রতিটি শ্রেণীর জন্য শ্রেণী কেন্দ্রের কাছাকাছি k টি নমুনা নির্বাচন করে
Sc,k = {s | argmin |Li(s) - L̄i,c(xj)|, ∀s ∈ S, ∀x ∈ Xc}

পরীক্ষামূলক সেটআপ

ডেটাসেট

  1. EMBER ডেটাসেট:
    • ৩৩৭,০৩৫টি ম্যালওয়্যার Windows PE ফাইল
    • ১০০টি ম্যালওয়্যার পরিবার, প্রতিটি পরিবারে >৪০০ নমুনা
    • বৈশিষ্ট্যে ফাইল আকার, PE এবং COFF হেডার তথ্য, DLL বৈশিষ্ট্য ইত্যাদি অন্তর্ভুক্ত
  2. AZ-Class ডেটাসেট:
    • ২৮৫,৫৮২টি Android ম্যালওয়্যার নমুনা
    • ১০০টি ম্যালওয়্যার পরিবার, প্রতিটি পরিবারে ≥২০০ নমুনা
    • Drebin বৈশিষ্ট্য ব্যবহার করে, ৮টি বিভাগ অন্তর্ভুক্ত (হার্ডওয়্যার অ্যাক্সেস, অনুমতি, API কল ইত্যাদি)
    • চূড়ান্ত বৈশিষ্ট্য মাত্রা: ২,৪৩৯

মূল্যায়ন মেট্রিক্স

  • গড় নির্ভুলতা (Mean Accuracy): সমস্ত কাজের গড় শ্রেণীবিভাগ নির্ভুলতা
  • ন্যূনতম নির্ভুলতা (Min Accuracy): সমস্ত কাজের মধ্যে সর্বনিম্ন নির্ভুলতা

তুলনামূলক পদ্ধতি

  1. ভিত্তি পদ্ধতি:
    • কোনো (None): শুধুমাত্র নতুন ডেটায় প্রশিক্ষণ (বিপর্যয়মূলক বিস্মৃতির নিম্ন সীমা)
    • যৌথ (Joint): সমস্ত ঐতিহাসিক ডেটা ব্যবহার করে প্রশিক্ষণ (আদর্শ উপরের সীমা)
  2. পূর্ববর্তী কাজ:
    • GR (জেনারেটিভ রিপ্লে): GAN ব্যবহার করে জেনারেটিভ রিপ্লে
    • BI-R (ব্রেইন-অনুপ্রাণিত রিপ্লে): VAE এর বর্ধিত জেনারেটিভ রিপ্লে

বাস্তবায়ন বিবরণ

  • কাজ নির্মাণ: প্রথম কাজ ৫০ শ্রেণী, পরবর্তী প্রতিটি কাজে ৫টি শ্রেণী যোগ করা হয়, মোট ১১টি কাজ
  • অপ্টিমাইজার: GAN এর জন্য Adam, শ্রেণীবিভাগকারীর জন্য SGD
  • ব্যাচ আকার: ২৫৬
  • শিক্ষার হার: শ্রেণীবিভাগকারী ১e-৩, গতিবেগ ০.৯, ওজন ক্ষয় ১e-৭

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

পদ্ধতিEMBER ডেটাসেট
গড়ন্যূনতম
কোনো (ভিত্তি)২৭.৫%০.৬%
যৌথ (উপরের সীমা)৮৮.৭%৭৪.৫%
GR২৬.৮%৯.৫%
BI-R২৭.০%৯.২%
MalCL (সর্বোত্তম)৫৪.৫%২১.৮%

মূল আবিষ্কার:

  • MalCL কোনো ভিত্তিরেখার চেয়ে ২৭% উন্নতি করে
  • বিদ্যমান জেনারেটিভ রিপ্লে পদ্ধতি (GR, BI-R) থেকে ২৮% উন্নতি করে
  • সর্বোত্তম কনফিগারেশন: FML + শ্রেণী গড় লজিস্টিক রিগ্রেশনে L1 দূরত্ব

বিলোপন পরীক্ষা

ক্ষতি ফাংশন তুলনা

  • বৈশিষ্ট্য মিলানো ক্ষতি বনাম বাইনারি ক্রস-এন্ট্রপি: FML সমস্ত নির্বাচন কৌশলে BCE এর চেয়ে উন্নত
  • শ্রেণী গড় লজিস্টিক রিগ্রেশনে L1: সর্বোত্তম পারফরম্যান্স, নির্ভুলতা ৫৫% বনাম লেবেলে L2 এর ৫০%

কাজ সেট নির্মাণ কৌশল

কৌশলগত কাজ নির্মাণ: বড় বিভাগ প্রাথমিক কাজে বরাদ্দ করা

  • প্রথম কাজ: ৫০টি "বিশাল" শ্রেণী (গড় ৫,৩৯৭ নমুনা)
  • পরবর্তী কাজ: ছোট শ্রেণী এলোমেলো নির্বাচন (গড় ৬৭০ নমুনা)
  • ফলাফল: নির্ভুলতা ৭৪% এ উন্নীত, যৌথ ভিত্তির কাছাকাছি কর্মক্ষমতা

ক্রস-ডেটাসেট যাচাইকরণ

AZ-Class ডেটাসেট ফলাফল:

  • EMBER ডেটাসেটের চেয়ে উন্নত কর্মক্ষমতা
  • নির্ভুলতা পরিসীমা আরও সংকীর্ণ, আরও স্থিতিশীল নির্দেশ করে
  • কারণ: EMBER ডেটাসেট আরও গুরুতর শ্রেণী অসন্তুলন

সম্পর্কিত কাজ

ক্রমাগত শিক্ষা পদ্ধতি শ্রেণীবিভাগ

  1. রিপ্লে কৌশল:
    • নির্ভুল রিপ্লে: Experience Replay (ER), iCaRL
    • জেনারেটিভ রিপ্লে: GR, BI-R, DDGR
  2. নিয়মিতকরণ পদ্ধতি:
    • Elastic Weight Consolidation (EWC)
    • Synaptic Intelligence (SI)

ম্যালওয়্যার শ্রেণীবিভাগে ক্রমাগত শিক্ষা

  • Rahman এবং অন্যরা প্রথমবার ম্যালওয়্যার শ্রেণীবিভাগে ক্রমাগত শিক্ষা অন্বেষণ করেছেন
  • Chen এবং অন্যরা বৈপরীত্য শিক্ষা এবং সক্রিয় শিক্ষা একত্রিত করেছেন
  • বিদ্যমান পদ্ধতি প্রধানত ধারণা বিচ্যুতির উপর ফোকাস করে বিপর্যয়মূলক বিস্মৃতির পরিবর্তে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. MalCL কার্যকরভাবে ম্যালওয়্যার শ্রেণীবিভাগে বিপর্যয়মূলক বিস্মৃতি হ্রাস করেছে
  2. বৈশিষ্ট্য মিলানো ক্ষতি উল্লেখযোগ্যভাবে উৎপাদিত নমুনার গুণমান উন্নত করে
  3. শ্রেণীবিভাগকারীর লুকানো স্তরের উপর ভিত্তি করে নমুনা নির্বাচন কৌশল উল্লেখযোগ্য প্রভাব ফেলে
  4. কৌশলগত কাজ নির্মাণ কর্মক্ষমতা উন্নতির জন্য অত্যন্ত গুরুত্বপূর্ণ

সীমাবদ্ধতা

  1. যৌথ ভিত্তির সাথে এখনও বড় ব্যবধান: MalCL সর্বোত্তম ৫৪.৫% বনাম যৌথ ৮৮.৭%
  2. গণনা খরচ বিশ্লেষণ অনুপস্থিত: GAN প্রশিক্ষণ এবং উৎপাদনের গণনা খরচ বিস্তারিত বিশ্লেষণ নেই
  3. প্রতিকূল নমুনা শক্তিশালীতা: উৎপাদিত নমুনা প্রতিকূল আক্রমণের মুখোমুখি হওয়ার শক্তিশালীতা বিবেচনা করা হয়নি
  4. বৈশিষ্ট্য প্রকৌশল নির্ভরতা: পূর্বনির্ধারিত বৈশিষ্ট্যের উপর নির্ভর করে, সাধারণীকরণ ক্ষমতা সীমাবদ্ধ করতে পারে
  5. দীর্ঘমেয়াদী কর্মক্ষমতা মূল্যায়ন: দীর্ঘ সময় ক্রম জুড়ে কর্মক্ষমতা মূল্যায়ন অনুপস্থিত

প্রভাব

  1. একাডেমিক অবদান: প্রথমবার GAN-ভিত্তিক জেনারেটিভ রিপ্লে সিস্টেমেটিকভাবে ম্যালওয়্যার শ্রেণীবিভাগে প্রয়োগ করা হয়েছে
  2. ব্যবহারিক মূল্য: অ্যান্টিভাইরাস কোম্পানিগুলির জন্য ক্রমাগত শিক্ষার ব্যবহারিক সমাধান প্রদান করে
  3. পদ্ধতি সর্বজনীনতা: প্রযুক্তিগত কাঠামো অন্যান্য নিরাপত্তা সনাক্তকরণ ক্ষেত্রে প্রসারিত করা যায়
  4. ওপেন সোর্স প্রতিশ্রুতি: কোড প্রকাশ্যে করার প্রতিশ্রুতি, গবেষণা পুনরুৎপাদন এবং উন্নয়নে সহায়তা করে

প্রযোজ্য পরিস্থিতি

  1. এন্টারপ্রাইজ নিরাপত্তা সুরক্ষা: ক্রমাগত আপডেটের প্রয়োজনীয় ম্যালওয়্যার সনাক্তকরণ সিস্টেম
  2. সম্পদ সীমাবদ্ধ পরিবেশ: বড় পরিমাণ ঐতিহাসিক ডেটা সংরক্ষণ করতে পারে না এমন পরিস্থিতি
  3. গোপনীয়তা সংবেদনশীল অ্যাপ্লিকেশন: মূল ম্যালওয়্যার নমুনা রাখতে পারে না এমন পরিবেশ
  4. রিয়েল-টাইম সনাক্তকরণ সিস্টেম: নতুন হুমকির দ্রুত অভিযোজনের প্রয়োজনীয় অনলাইন সনাক্তকরণ সিস্টেম

রেফারেন্স

এই পেপারটি ক্রমাগত শিক্ষা, ম্যালওয়্যার সনাক্তকরণ এবং জেনারেটিভ প্রতিদ্বন্দ্বী নেটওয়ার্ক ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

  • Shin et al. (2017): গভীর জেনারেটিভ রিপ্লে সহ ক্রমাগত শিক্ষা
  • Rahman, Coull, এবং Wright (2022): ম্যালওয়্যার শ্রেণীবিভাগে ক্রমাগত শিক্ষা অন্বেষণ করা
  • Anderson এবং Roth (2018): EMBER ডেটাসেট
  • Arp et al. (2014): Drebin বৈশিষ্ট্য নিষ্কাশন পদ্ধতি

সামগ্রিক মূল্যায়ন: এই পেপারটি ম্যালওয়্যার শ্রেণীবিভাগে বিপর্যয়মূলক বিস্মৃতির সমস্যার সমাধানে একটি উদ্ভাবনী সমাধান প্রস্তাব করে, প্রযুক্তিগত পদ্ধতি এবং পরীক্ষামূলক যাচাইকরণ উভয় ক্ষেত্রেই যথেষ্ট সম্পূর্ণ। যদিও কর্মক্ষমতায় উন্নতির জায়গা রয়েছে, তবে এটি এই ক্ষেত্রের গবেষণা এবং প্রয়োগে গুরুত্বপূর্ণ অবদান প্রদান করে।