2025-11-25T22:19:18.206879

Machine Unlearning Meets Adversarial Robustness via Constrained Interventions on LLMs

Rezkellah, Dakhmouche
With the increasing adoption of Large Language Models (LLMs), more customization is needed to ensure privacy-preserving and safe generation. We address this objective from two critical aspects: unlearning of sensitive information and robustness to jail-breaking attacks. We investigate various constrained optimization formulations that address both aspects in a \emph{unified manner}, by finding the smallest possible interventions on LLM weights that either make a given vocabulary set unreachable or embed the LLM with robustness to tailored attacks by shifting part of the weights to a \emph{safer} region. Beyond unifying two key properties, this approach contrasts with previous work in that it doesn't require an oracle classifier that is typically not available or represents a computational overhead. Surprisingly, we find that the simplest point-wise constraint-based intervention we propose leads to better performance than max-min interventions, while having a lower computational cost. Comparison against state-of-the-art defense methods demonstrates superior performance of the proposed approach.
academic

মেশিন আনলার্নিং এবং অ্যাডভার্সারিয়াল রোবাস্টনেস এলএলএম-এ সীমাবদ্ধ হস্তক্ষেপের মাধ্যমে

মৌলিক তথ্য

  • পেপার আইডি: 2510.03567
  • শিরোনাম: Machine Unlearning Meets Adversarial Robustness via Constrained Interventions on LLMs
  • লেখক: Fatmazohra Rezkellah (Université Paris-Dauphine), Ramzi Dakhmouche (EPFL & Empa)
  • শ্রেণীবিভাগ: cs.LG cs.CL cs.CR cs.CY math.OC
  • প্রকাশনা সম্মেলন: 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Constrained Optimization for Machine Learning (COML)
  • পেপার লিঙ্ক: https://arxiv.org/abs/2510.03567

সারসংক্ষেপ

বৃহৎ ভাষা মডেল (LLMs) এর ব্যাপক গ্রহণের সাথে সাথে গোপনীয়তা সুরক্ষা এবং নিরাপদ প্রজন্ম নিশ্চিত করার জন্য আরও কাস্টমাইজেশনের প্রয়োজন। এই পেপারটি দুটি মূল দিক থেকে এই লক্ষ্যটি সমাধান করে: সংবেদনশীল তথ্যের বিস্মৃতি এবং জেইলব্রেক আক্রমণের বিরুদ্ধে স্থিতিস্থাপকতা। গবেষকরা বিভিন্ন সীমাবদ্ধ অপ্টিমাইজেশন সূত্র প্রস্তাব করেছেন যা LLM ওজনে ন্যূনতম সম্ভাব্য হস্তক্ষেপ খুঁজে বের করে এই দুটি দিক একীভূত করে, নির্দিষ্ট শব্দভাণ্ডার সেটকে অপ্রাপ্য করে তোলে বা আংশিক ওজন আরও নিরাপদ অঞ্চলে স্থানান্তরিত করে LLM-এর কাস্টম আক্রমণের বিরুদ্ধে স্থিতিস্থাপকতা বৃদ্ধি করে। এই পদ্ধতিটি সাধারণত অনুপলব্ধ বা গণনামূলক ওভারহেডের প্রতিনিধিত্ব করে এমন ওরাকেল শ্রেণীবিভাজকের প্রয়োজন করে না। আশ্চর্যজনকভাবে, লেখকরা আবিষ্কার করেছেন যে প্রস্তাবিত সবচেয়ে সহজ পয়েন্ট-সীমাবদ্ধ হস্তক্ষেপ পদ্ধতি সর্বাধিক-ন্যূনতম হস্তক্ষেপের চেয়ে ভাল কর্মক্ষমতা প্রদান করে, যখন গণনামূলক খরচ কম থাকে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই গবেষণা দুটি মূল সমস্যা সমাধান করে:

  1. মেশিন আনলার্নিং সমস্যা: ন্যূনতম গণনামূলক খরচে ভাষা মডেলের প্রজন্ম স্থান থেকে নির্দিষ্ট তথ্য (নির্দিষ্ট শব্দভাণ্ডার সেট) কীভাবে মুছে ফেলতে হয়
  2. প্রতিকূল স্থিতিস্থাপকতা সমস্যা: ভাষা মডেলকে বিপজ্জনক বা বিষাক্ত সামগ্রীর দিকে পরিচালিত করে এমন জেইলব্রেক প্রতিকূল আক্রমণের বিরুদ্ধে কীভাবে আরও স্থিতিস্থাপক করা যায়

গুরুত্ব

নিরাপত্তা-সংবেদনশীল অ্যাপ্লিকেশনে (যেমন অনলাইন সামগ্রী মডারেশন, গোপনীয় ডেটা প্রক্রিয়াকরণ) LLMs এর স্থাপনার সাথে সাথে, প্রজন্ম মডেল আউটপুটের নিরাপত্তা নিশ্চিত করা একটি মূল প্রয়োজনীয়তা হয়ে উঠেছে। বিদ্যমান পদ্ধতিগুলি গণনামূলক দক্ষতা এবং প্রতিরক্ষা কার্যকারিতার মধ্যে ট্রেড-অফ সম্মুখীন হয়।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

  1. ফাইন-টিউনিং এবং মডেল বর্ধন: বড় গণনামূলক ওভারহেড
  2. প্রম্পট-ভিত্তিক প্রতিরক্ষা: দুর্বল এবং প্রতিকূল ম্যানিপুলেশনের জন্য সহজে সংবেদনশীল
  3. হালকা-ওজনের প্রোব পদ্ধতি: সীমিত প্রশিক্ষণ ডেটা দ্বারা সীমাবদ্ধ, প্রতিকূল আক্রমণের বিরুদ্ধে অকার্যকর
  4. আনলার্নিং পদ্ধতি: প্রধানত শিক্ষক-শিক্ষার্থী কাঠামোর মাধ্যমে আংশিক পুনরায় প্রশিক্ষণ বা পুনরাবৃত্তিমূলক ফাইন-টিউনিং, উচ্চ গণনামূলক খরচ

গবেষণা প্রেরণা

লেখকরা রিগ্রেশনে নীতিগত স্থিতিস্থাপকতা পদ্ধতি দ্বারা অনুপ্রাণিত, একটি একীভূত কাঠামো প্রস্তাব করেছেন যা প্রতিকূল স্থিতিস্থাপকতা এবং আনলার্নিং সমস্যা একসাথে সমাধান করে, লুকানো স্থানের পথে তথ্যের নিহিত সংরক্ষণের তথ্য ব্যবহার করে।

মূল অবদান

  1. একীভূত কাঠামো: বিভিন্ন সীমাবদ্ধ অপ্টিমাইজেশন সমস্যা প্রস্তাব এবং সমাধান করে যা LLMs-কে প্রতিকূল আক্রমণের বিরুদ্ধে স্থিতিস্থাপক এবং অপ্রয়োজনীয় সামগ্রী ভুলে যাওয়ার ক্ষমতা প্রদান করে
  2. বাহ্যিক শ্রেণীবিভাজক প্রয়োজন নেই: প্রম্পট স্থানে ক্রমাগত শিথিলকরণ প্রবর্তন এবং সরাসরি সীমাবদ্ধ ধারণা এমবেডিং-এ হস্তক্ষেপ সম্পাদন করে কৃত্রিম প্রোবের প্রয়োজন অতিক্রম করে
  3. কর্মক্ষমতা উন্নতি: অত্যাধুনিক প্রতিরক্ষা অ্যালগরিদমের তুলনায় কর্মক্ষমতা উন্নতি প্রদর্শন করে এবং LLMs-এ অর্থনৈতিক আনলার্নিংয়ের জন্য নতুন অত্যাধুনিক স্তর স্থাপন করে
  4. গণনামূলক দক্ষতা: সবচেয়ে সহজ পয়েন্ট-সীমাবদ্ধ পদ্ধতি কর্মক্ষমতা এবং গণনামূলক খরচ উভয় ক্ষেত্রেই জটিল সর্বাধিক-ন্যূনতম হস্তক্ষেপকে ছাড়িয়ে যায়

পদ্ধতির বিস্তারিত বিবরণ

কাজের সংজ্ঞা

প্রশিক্ষিত ভাষা মডেল ℓ : Σ → Σ দেওয়া, দুটি মৌলিক নিরাপত্তা-সম্পর্কিত কাজ বিবেচনা করুন:

  1. ℓ এর প্রজন্ম স্থান থেকে ন্যূনতম গণনামূলক খরচে নির্দিষ্ট তথ্য (শব্দভাণ্ডার সেট) কীভাবে মুছে ফেলতে হয়
  2. ℓ কে বিপজ্জনক বা বিষাক্ত সামগ্রীর দিকে পরিচালিত করে এমন জেইলব্রেক প্রতিকূল আক্রমণের বিরুদ্ধে কীভাবে আরও স্থিতিস্থাপক করা যায়

তিনটি সীমাবদ্ধ হস্তক্ষেপ পদ্ধতি

1. নিরাপদ অঞ্চলের দিকে (TSR)

জেইলব্রেক প্রম্পটের জন্য নিরাপদ প্রতিক্রিয়া সম্ভাবনা সর্বাধিক করার জন্য ন্যূনতম ওজন বিঘ্ন খুঁজে বের করুন:

min_{‖δ‖≤ε} L_safety(ℓ_{θ+δ}(x), y_safe)

যেখানে নিরাপত্তা ক্ষতি ফাংশন সংজ্ঞায়িত করা হয়:

L_safety(f_{θ+δ}(x), y_safe) = -log(∑_{k∈K_safety} p_k(x; θ + δ))

সুবিধা: বিপজ্জনক প্রজন্মের উদাহরণের প্রয়োজন নেই, প্রজেকশন গ্রেডিয়েন্ট ডিসেন্টের মাধ্যমে সমাধান করা যায় অসুবিধা: নিরাপদ প্রজন্মের সীমাবদ্ধতা নরম সীমাবদ্ধতা, দুর্বল কর্মক্ষমতা

2. ঝুঁকিপূর্ণ অঞ্চল থেকে দূরে (ARR)

একটি সর্বাধিক-ন্যূনতম সমস্যা গ্রহণ করুন:

max_{‖δ‖≤ε} min_{x∈X} L_harmful(ℓ_{θ+δ}(x), y_harmful)

ক্ষতিকারক ক্ষতি ফাংশন সংজ্ঞায়িত করা হয়:

L_harmful(ℓ_{θ+δ}(x), y_harmful) = -log(∑_{k∈K_harmful} p_k(x; θ + δ))

বৈশিষ্ট্য: সর্বনিম্ন কেস ইনপুট পরিস্থিতি বিবেচনা করে, বিচ্ছিন্ন কাঠামো পরিচালনার জন্য সম্ভাব্যতা শিথিলকরণ ব্যবহার করে অসুবিধা: ক্ষতিকারক ধারণা সেটের জ্ঞান প্রয়োজন, অত্যন্ত রক্ষণশীল হতে পারে

3. পয়েন্ট-সীমাবদ্ধ অঞ্চল (PCR)

ন্যূনতম হস্তক্ষেপের উপর ভিত্তি করে সহজ পয়েন্ট-সীমাবদ্ধ কৌশল, LLM MLP সক্রিয়করণ জেইলব্রেক প্রম্পটের জন্য বিপজ্জনক আউটপুট এমবেডিংয়ের সমান নয় করে তোলে:

min_{θ^{(l)}∈R^{d_l}} ‖δ_l‖_2^2
subject to ‖o^{(l)}(x; θ + δ_l) - c_i‖_2 ≥ ε, ∀i ≤ n

সুবিধা: KKT শর্তের উপর ভিত্তি করে আধা-বন্ধ-ফর্ম সমাধান, উচ্চ গণনামূলক দক্ষতা, সর্বোত্তম কর্মক্ষমতা অসুবিধা: নিষিদ্ধ ধারণা সেট C প্রয়োজন

বন্ধ-ফর্ম সমাধান

একক-সীমাবদ্ধ ক্ষেত্রে, বন্ধ-ফর্ম সমাধান:

δ^{(l)*}_{single} = [ε - ‖r_i‖_2]_+ / ‖h_{intermediate}‖_2^2 * r_i h^T_{intermediate} / ‖r_i‖_2

বহু-সীমাবদ্ধ ক্ষেত্রে সবচেয়ে লঙ্ঘনকারী সীমাবদ্ধতা পরিচালনার জন্য পুনরাবৃত্তিমূলক অ্যালগরিদম ব্যবহার করা হয়।

পরীক্ষামূলক সেটআপ

ডেটাসেট

  1. কাস্টম আনুগত্য ডেটাসেট: 100টি নিষিদ্ধ কীওয়ার্ড সহ (যেমন "abuse", "attack", "bomb" ইত্যাদি সহিংসতা, অপরাধ-সম্পর্কিত শব্দভাণ্ডার)
  2. HarmBench: মান LLM প্রতিরক্ষা বেঞ্চমার্ক পরীক্ষা সেট

মূল্যায়ন মেট্রিক্স

  1. আক্রমণ সাফল্যের হার (ASR): প্রতিকূল আক্রমণের সাফল্যের পরিমাপ (যত কম ভাল)
  2. প্রত্যাখ্যান স্তর: মডেল সম্পূর্ণভাবে প্রতিক্রিয়া প্রত্যাখ্যান করার অনুপাত (যত বেশি ভাল)
  3. বিভ্রান্তি: হস্তক্ষেপের আগে এবং পরে প্রদত্ত ক্রম তুলনা করে আনলার্নিং স্তর পরিমাপ করা হয়

তুলনামূলক পদ্ধতি

  • SmoothLLM: অত্যাধুনিক প্রতিকূল প্রতিরক্ষা অ্যালগরিদম
  • Self-reminder: স্ব-স্মারক প্রতিরক্ষা পদ্ধতি
  • সুরক্ষা-মুক্ত বেসলাইন: মূল মডেল

পরীক্ষা মডেল

  • Llama-3.1 8B Instruct
  • Mistral 7B v0.2
  • Gemma 2B-IT

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

প্রতিকূল স্থিতিস্থাপকতা ফলাফল

HarmBench ডেটাসেটে আক্রমণ সাফল্যের হার:

মডেলসুরক্ষা-মুক্তপয়েন্ট-সীমাবদ্ধ (এই পেপার)SmoothLLMSelf-Reminder
Llama-3.1 8B11.00.07.2450.8
Mistral 7B30.05.8818.928.5
Gemma 2B-IT22.02.5088.22519.58

প্রত্যাখ্যান প্যাটার্ন বিশ্লেষণ:

মডেলএই পেপার (%)SmoothLLM(%)Self-Reminder(%)
Llama-3.1 8B100.087.524.3
Gemma 2B-IT97.41036.9
Mistral 7B26.737.520

মেশিন আনলার্নিং ফলাফল

নিষিদ্ধ শব্দ বিভ্রান্তি বিশ্লেষণ (উচ্চতর বিভ্রান্তি ভাল আনলার্নিং নির্দেশ করে):

মডেলডেটাসেটবেসলাইনপয়েন্ট-সীমাবদ্ধ হস্তক্ষেপ
Gemma-2B-ITObedience8.81612.72
Gemma-2B-ITHarmBench16.75718.157
Mistral-7BObedience8.62713.74
Llama-3-8BObedience6.487.735

গণনামূলক দক্ষতা

প্রতিটি পরীক্ষার ক্ষেত্রে গড় সময়:

মডেলআক্রমণ সময় (s)PCR পদ্ধতি (s)SmoothLLM (s)
LLaMA 3 8B38.8920.1636.12
Mistral-7B27.4317.2840.17
Gemma 2B14.37510.4411.62

গুরুত্বপূর্ণ আবিষ্কার

  1. পয়েন্ট-সীমাবদ্ধ পদ্ধতি সর্বোত্তম: সবচেয়ে সহজ PCR পদ্ধতি কর্মক্ষমতা এবং গণনামূলক দক্ষতা উভয় ক্ষেত্রেই আরও জটিল TSR এবং ARR পদ্ধতিকে ছাড়িয়ে যায়
  2. একীভূত কাঠামো কার্যকর: একই পদ্ধতি একযোগে আনলার্নিং এবং স্থিতিস্থাপকতা সমস্যা পরিচালনা করতে পারে
  3. স্তর সংখ্যা প্রভাব: আরও MLP স্তরের হস্তক্ষেপ ভাল কর্মক্ষমতা নিয়ে আসে
  4. গণনামূলক সুবিধা স্পষ্ট: বিদ্যমান পদ্ধতির তুলনায় উল্লেখযোগ্যভাবে গণনামূলক ওভারহেড হ্রাস করে

সম্পর্কিত কাজ

নিরাপদ প্রজন্ম পদ্ধতি

  1. ফাইন-টিউনিং পদ্ধতি: বড় গণনামূলক ওভারহেড
  2. প্রম্পট ইঞ্জিনিয়ারিং: প্রতিকূল ম্যানিপুলেশনের জন্য সহজে সংবেদনশীল
  3. অনিশ্চয়তা পরিমাণীকরণ: গণনামূলক জটিলতা
  4. মডেল বর্ধন: উচ্চ সম্পদ প্রয়োজন

হালকা-ওজনের পদ্ধতি

  1. সক্রিয়করণ স্থান প্রোব: প্রশিক্ষণ ডেটা সীমাবদ্ধতা দ্বারা প্রভাবিত
  2. প্রতিকূল সনাক্তকরণ: বিঘ্নিত ইনপুটের পরিসংখ্যানগত বৈশিষ্ট্য বিশ্লেষণ

মেশিন আনলার্নিং

  1. শিক্ষক-শিক্ষার্থী কাঠামো: আংশিক পুনরায় প্রশিক্ষণ, উচ্চ গণনামূলক খরচ
  2. পুনরাবৃত্তিমূলক ফাইন-টিউনিং: একই গণনামূলক চ্যালেঞ্জের সম্মুখীন

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. LLM আনলার্নিং এবং স্থিতিস্থাপকতা একীভূতভাবে পরিচালনা করার জন্য সীমাবদ্ধ অপ্টিমাইজেশন কাঠামো প্রস্তাব করা হয়েছে
  2. পয়েন্ট-সীমাবদ্ধ পদ্ধতি সরলতা এবং কার্যকারিতার মধ্যে সর্বোত্তম ভারসাম্য অর্জন করে
  3. বাহ্যিক শ্রেণীবিভাজকের প্রয়োজন নেই, গণনামূলক ওভারহেড এবং বাস্তবায়ন জটিলতা হ্রাস করে
  4. একাধিক বেঞ্চমার্কে বিদ্যমান অত্যাধুনিক পদ্ধতি অতিক্রম করে

সীমাবদ্ধতা

  1. ধারণা সেট নির্ভরতা: PCR এবং ARR পদ্ধতি পূর্ব-সংজ্ঞায়িত নিষিদ্ধ ধারণা সেট প্রয়োজন
  2. মূল্যায়ন মেট্রিক্স: আনলার্নিং মূল্যায়ন প্রধানত বিভ্রান্তির উপর ভিত্তি করে, সম্ভবত অপর্যাপ্ত
  3. সাধারণীকরণ ক্ষমতা: বিভিন্ন ধরনের আক্রমণ এবং মডেলে সাধারণীকরণ ক্ষমতা আরও যাচাইয়ের প্রয়োজন
  4. তাত্ত্বিক বিশ্লেষণ: পদ্ধতির তাত্ত্বিক গ্যারান্টির গভীর বিশ্লেষণ অনুপস্থিত

ভবিষ্যত দিকনির্দেশনা

  1. পূর্ব-সংজ্ঞায়িত ধারণা সেটের প্রয়োজন নেই এমন অভিযোজিত পদ্ধতি বিকাশ করুন
  2. আরও ব্যাপক আনলার্নিং মূল্যায়ন মেট্রিক্স অন্বেষণ করুন
  3. বৃহত্তর স্কেল মডেলে পদ্ধতির স্কেলেবিলিটি অধ্যয়ন করুন
  4. তাত্ত্বিক সংমিশ্রণ এবং নিরাপত্তা গ্যারান্টি প্রদান করুন

গভীর মূল্যায়ন

শক্তি

  1. সমস্যার গুরুত্ব: LLM নিরাপদ স্থাপনায় দুটি মূল সমস্যা সমাধান করে
  2. পদ্ধতির উদ্ভাবন: প্রথমবারের মতো আনলার্নিং এবং স্থিতিস্থাপকতা সীমাবদ্ধ অপ্টিমাইজেশন কাঠামোতে একীভূত করে
  3. ব্যবহারিক মূল্য: গণনামূলকভাবে দক্ষ সমাধান প্রদান করে
  4. পর্যাপ্ত পরীক্ষা: একাধিক মডেল এবং ডেটাসেটে ব্যাপক মূল্যায়ন
  5. তাত্ত্বিক ভিত্তি: KKT শর্তের উপর ভিত্তি করে বন্ধ-ফর্ম সমাধান প্রদান করে

অপূর্ণতা

  1. অপর্যাপ্ত তাত্ত্বিক বিশ্লেষণ: পদ্ধতির সংমিশ্রণ এবং সর্বোত্তমতার তাত্ত্বিক বিশ্লেষণ অনুপস্থিত
  2. মূল্যায়ন সীমাবদ্ধতা: আনলার্নিং মূল্যায়ন প্রধানত একক বিভ্রান্তি মেট্রিকের উপর নির্ভর করে
  3. আক্রমণ বৈচিত্র্য: প্রধানত নির্দিষ্ট ধরনের জেইলব্রেক আক্রমণের জন্য, অন্যান্য আক্রমণ ধরনের প্রভাব অজানা
  4. দীর্ঘমেয়াদী প্রভাব: ওজন হস্তক্ষেপ মডেলের দীর্ঘমেয়াদী কর্মক্ষমতার উপর প্রভাব আরও অধ্যয়নের প্রয়োজন

প্রভাব

  1. একাডেমিক অবদান: LLM নিরাপত্তা গবেষণার জন্য নতুন একীভূত দৃষ্টিভঙ্গি প্রদান করে
  2. ব্যবহারিক মূল্য: সীমিত সম্পদের সংস্থাগুলির জন্য অর্থনৈতিক নিরাপত্তা সমাধান প্রদান করে
  3. পুনরুৎপাদনযোগ্যতা: বিস্তারিত অ্যালগরিদম বর্ণনা এবং বাস্তবায়ন বিবরণ প্রদান করে
  4. সম্প্রসারণযোগ্যতা: কাঠামো অন্যান্য নিরাপত্তা-সম্পর্কিত কাজে সম্প্রসারণযোগ্য

প্রযোজ্য পরিস্থিতি

  1. শিক্ষা ক্ষেত্র: অনুপযুক্ত সামগ্রী প্রজন্ম প্রতিরোধ করুন
  2. স্বাস্থ্যসেবা: সংবেদনশীল চিকিৎসা তথ্য সুরক্ষা করুন
  3. অনলাইন প্ল্যাটফর্ম: সামগ্রী নিরাপত্তা মডারেশন
  4. এন্টারপ্রাইজ অ্যাপ্লিকেশন: গোপনীয় তথ্য সুরক্ষা

সংদর্ভ

পেপারটি প্রতিকূল প্রশিক্ষণ, মেশিন আনলার্নিং, LLM নিরাপত্তা এবং অন্যান্য সম্পর্কিত ক্ষেত্রের সর্বশেষ গবেষণা কাজ সহ একাধিক প্রাসঙ্গিক ক্ষেত্রের গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, এই গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি এবং তুলনামূলক বেঞ্চমার্ক প্রদান করে।

সামগ্রিক মূল্যায়ন: এটি LLM নিরাপত্তা ক্ষেত্রে একটি গুরুত্বপূর্ণ অবদান সহ একটি পেপার, যা একীভূত সীমাবদ্ধ অপ্টিমাইজেশন কাঠামোর মাধ্যমে আনলার্নিং এবং স্থিতিস্থাপকতা সমস্যা একসাথে সমাধান করে এবং গণনামূলকভাবে দক্ষ সমাধান প্রদান করে। যদিও তাত্ত্বিক বিশ্লেষণ এবং মূল্যায়ন দিক থেকে কিছু অপূর্ণতা রয়েছে, তবে এর ব্যবহারিক মূল্য এবং উদ্ভাবনী পদ্ধতি এটিকে এই ক্ষেত্রে একটি গুরুত্বপূর্ণ অগ্রগতি করে তোলে।