2025-11-25T22:19:18.206879

Machine Unlearning Meets Adversarial Robustness via Constrained Interventions on LLMs

Rezkellah, Dakhmouche
With the increasing adoption of Large Language Models (LLMs), more customization is needed to ensure privacy-preserving and safe generation. We address this objective from two critical aspects: unlearning of sensitive information and robustness to jail-breaking attacks. We investigate various constrained optimization formulations that address both aspects in a \emph{unified manner}, by finding the smallest possible interventions on LLM weights that either make a given vocabulary set unreachable or embed the LLM with robustness to tailored attacks by shifting part of the weights to a \emph{safer} region. Beyond unifying two key properties, this approach contrasts with previous work in that it doesn't require an oracle classifier that is typically not available or represents a computational overhead. Surprisingly, we find that the simplest point-wise constraint-based intervention we propose leads to better performance than max-min interventions, while having a lower computational cost. Comparison against state-of-the-art defense methods demonstrates superior performance of the proposed approach.
academic

मशीन अनलर्निंग एडवर्सेरियल रोबस्टनेस से मिलती है LLMs पर कंस्ट्रेंड इंटरवेंशन के माध्यम से

बुनियादी जानकारी

  • पेपर ID: 2510.03567
  • शीर्षक: Machine Unlearning Meets Adversarial Robustness via Constrained Interventions on LLMs
  • लेखक: Fatmazohra Rezkellah (Université Paris-Dauphine), Ramzi Dakhmouche (EPFL & Empa)
  • वर्गीकरण: cs.LG cs.CL cs.CR cs.CY math.OC
  • प्रकाशन सम्मेलन: 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop: Constrained Optimization for Machine Learning (COML)
  • पेपर लिंक: https://arxiv.org/abs/2510.03567

सारांश

बड़े भाषा मॉडल (LLMs) के व्यापक अपनाने के साथ, गोपनीयता सुरक्षा और सुरक्षित पीढ़ी सुनिश्चित करने के लिए अधिक अनुकूलन की आवश्यकता है। यह पेपर दो महत्वपूर्ण पहलुओं से इस लक्ष्य को संबोधित करता है: संवेदनशील जानकारी का विस्मरण और जेलब्रेक हमलों के प्रति मजबूती। शोधकर्ताओं ने विभिन्न कंस्ट्रेंड ऑप्टिमाइजेशन सूत्र प्रस्तावित किए हैं, जो LLM वजन में न्यूनतम संभावित हस्तक्षेप खोजकर इन दोनों पहलुओं को एकीकृत करते हैं, जिससे दिए गए शब्दावली सेट को अप्राप्य बनाया जाता है या आंशिक वजन को अधिक सुरक्षित क्षेत्रों में स्थानांतरित करके LLM की अनुकूलित हमलों के प्रति मजबूती बढ़ाई जाती है। यह विधि आमतौर पर अनुपलब्ध या कम्प्यूटेशनल ओवरहेड का प्रतिनिधित्व करने वाले ओरेकल क्लासिफायर की आवश्यकता नहीं है। आश्चर्यजनक रूप से, लेखकों ने पाया कि प्रस्तावित सबसे सरल बिंदु कंस्ट्रेंड हस्तक्षेप विधि अधिकतम-न्यूनतम हस्तक्षेप की तुलना में बेहतर प्रदर्शन करती है, साथ ही कम कम्प्यूटेशनल लागत के साथ।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

यह अनुसंधान दो मुख्य समस्याओं को हल करता है:

  1. मशीन विस्मरण समस्या: भाषा मॉडल के जनरेशन स्पेस से न्यूनतम कम्प्यूटेशनल लागत पर कुछ जानकारी (विशिष्ट शब्दावली सेट) को कैसे हटाया जाए
  2. प्रतिकूल मजबूती समस्या: भाषा मॉडल को जेलब्रेक प्रतिकूल हमलों के प्रति कैसे अधिक मजबूत बनाया जाए जो खतरनाक या विषाक्त सामग्री की ओर ले जाते हैं

महत्व

सुरक्षा-संवेदनशील अनुप्रयोगों (जैसे ऑनलाइन सामग्री संयम, गोपनीय डेटा प्रसंस्करण) में LLMs के तैनाती के साथ, जनरेशन मॉडल आउटपुट की सुरक्षा सुनिश्चित करना एक महत्वपूर्ण आवश्यकता बन गई है। मौजूदा विधियां कम्प्यूटेशनल दक्षता और रक्षा प्रभावशीलता के बीच ट्रेडऑफ में हैं।

मौजूदा विधियों की सीमाएं

  1. फाइन-ट्यूनिंग और मॉडल वृद्धि: बड़ी कम्प्यूटेशनल ओवरहेड
  2. प्रॉम्प्ट-आधारित रक्षा: कमजोर और प्रतिकूल हेरफेर के लिए संवेदनशील
  3. हल्के वजन की जांच विधियां: सीमित प्रशिक्षण डेटा द्वारा प्रतिबंधित, प्रतिकूल हमलों के लिए अप्रभावी
  4. विस्मरण विधियां: मुख्य रूप से शिक्षक-छात्र ढांचे के आंशिक पुनः प्रशिक्षण या पुनरावृत्तिमूलक फाइन-ट्यूनिंग के माध्यम से, उच्च कम्प्यूटेशनल लागत

अनुसंधान प्रेरणा

लेखकों को प्रतिगमन में सिद्धांतपूर्ण मजबूती विधियों से प्रेरणा मिली, जो एक एकीकृत ढांचा प्रस्तावित करते हैं जो प्रतिकूल मजबूती और विस्मरण समस्या दोनों को हल करता है, जो यह तथ्य उपयोग करते हुए कि जानकारी अव्यक्त स्पेस पथ में निहित रूप से संग्रहीत है।

मुख्य योगदान

  1. एकीकृत ढांचा: विभिन्न कंस्ट्रेंड ऑप्टिमाइजेशन समस्याओं को प्रस्तावित और हल करता है, जो LLMs को प्रतिकूल हमलों के प्रति मजबूती और अनावश्यक सामग्री को विस्मृत करने की क्षमता दोनों प्रदान करता है
  2. बाहरी क्लासिफायर की आवश्यकता नहीं: प्रॉम्प्ट स्पेस पर निरंतर शिथिलता प्रस्तुत करके और प्रत्यक्ष कंस्ट्रेंड अवधारणा एम्बेडिंग हस्तक्षेप निष्पादित करके कृत्रिम जांच की आवश्यकता को दूर करता है
  3. प्रदर्शन में सुधार: अत्याधुनिक रक्षा एल्गोरिदम की तुलना में प्रदर्शन सुधार दिखाता है, और LLMs पर आर्थिक विस्मरण के लिए नया अत्याधुनिक स्तर निर्धारित करता है
  4. कम्प्यूटेशनल दक्षता: सबसे सरल बिंदु कंस्ट्रेंड विधि प्रदर्शन और कम्प्यूटेशनल लागत दोनों में जटिल अधिकतम-न्यूनतम हस्तक्षेप से बेहतर है

विधि विस्तार

कार्य परिभाषा

प्रशिक्षित भाषा मॉडल ℓ : Σ → Σ दिया गया, दो मौलिक सुरक्षा-संबंधित कार्यों पर विचार करें:

  1. ℓ के जनरेशन स्पेस से न्यूनतम कम्प्यूटेशनल लागत पर कुछ जानकारी (शब्दावली सेट) को कैसे हटाया जाए
  2. ℓ को जेलब्रेक प्रतिकूल हमलों के प्रति कैसे अधिक मजबूत बनाया जाए जो खतरनाक या विषाक्त सामग्री की ओर ले जाते हैं

तीन कंस्ट्रेंड हस्तक्षेप विधियां

1. सुरक्षित क्षेत्र की ओर (TSR)

जेलब्रेक प्रॉम्प्ट के लिए सुरक्षित प्रतिक्रिया संभावना को अधिकतम करने के लिए न्यूनतम वजन व्यतिक्रम खोजना:

min_{‖δ‖≤ε} L_safety(ℓ_{θ+δ}(x), y_safe)

जहां सुरक्षा हानि फ़ंक्शन परिभाषित है:

L_safety(f_{θ+δ}(x), y_safe) = -log(∑_{k∈K_safety} p_k(x; θ + δ))

लाभ: खतरनाक पीढ़ी के नमूनों की आवश्यकता नहीं है, प्रक्षेपण ग्रेडिएंट डिसेंट के माध्यम से हल किया जा सकता है नुकसान: सुरक्षित पीढ़ी पर कंस्ट्रेंड नरम है, कमजोर प्रदर्शन

2. जोखिम क्षेत्र से दूर (ARR)

अधिकतम-न्यूनतम समस्या अपनाता है:

max_{‖δ‖≤ε} min_{x∈X} L_harmful(ℓ_{θ+δ}(x), y_harmful)

हानिकारक हानि फ़ंक्शन परिभाषित है:

L_harmful(ℓ_{θ+δ}(x), y_harmful) = -log(∑_{k∈K_harmful} p_k(x; θ + δ))

विशेषता: सबसे खराब स्थिति इनपुट परिदृश्य पर विचार करता है, असतत संरचनाओं को संभालने के लिए संभाव्यता शिथिलता का उपयोग करता है नुकसान: हानिकारक अवधारणा सेट के ज्ञान की आवश्यकता है, संभवतः बहुत रूढ़िवादी

3. बिंदु कंस्ट्रेंड क्षेत्र (PCR)

न्यूनतम हस्तक्षेप पर आधारित सरल बिंदु कंस्ट्रेंड रणनीति, जो LLM MLP सक्रियण को जेलब्रेक प्रॉम्प्ट के लिए खतरनाक आउटपुट एम्बेडिंग के बराबर नहीं बनाता है:

min_{θ^{(l)}∈R^{d_l}} ‖δ_l‖_2^2
subject to ‖o^{(l)}(x; θ + δ_l) - c_i‖_2 ≥ ε, ∀i ≤ n

लाभ: KKT शर्तों के आधार पर अर्ध-बंद-रूप समाधान, उच्च कम्प्यूटेशनल दक्षता, सर्वोत्तम प्रदर्शन नुकसान: निषिद्ध अवधारणा सेट C की आवश्यकता है

बंद-रूप समाधान

एकल कंस्ट्रेंड स्थिति के लिए, बंद-रूप समाधान है:

δ^{(l)*}_{single} = [ε - ‖r_i‖_2]_+ / ‖h_{intermediate}‖_2^2 * r_i h^T_{intermediate} / ‖r_i‖_2

बहु-कंस्ट्रेंड स्थिति सबसे अधिक उल्लंघन करने वाली कंस्ट्रेंड को संभालने के लिए पुनरावृत्तिमूलक एल्गोरिदम अपनाती है।

प्रायोगिक सेटअप

डेटासेट

  1. कस्टम आज्ञाकारिता डेटासेट: 100 निषिद्ध कीवर्ड युक्त (जैसे "abuse", "attack", "bomb" आदि हिंसा, अपराध संबंधित शब्दावली)
  2. HarmBench: मानक LLM रक्षा बेंचमार्क परीक्षण सेट

मूल्यांकन मेट्रिक्स

  1. हमले की सफलता दर (ASR): प्रतिकूल हमले की सफलता को मापता है (जितना कम उतना अच्छा)
  2. अस्वीकार स्तर: मॉडल पूरी तरह से प्रतिक्रिया देने से इनकार करने का अनुपात (जितना अधिक उतना अच्छा)
  3. भ्रम: हस्तक्षेप से पहले और बाद में दिए गए अनुक्रम के भ्रम की तुलना करके विस्मरण स्तर को मापता है

तुलना विधियां

  • SmoothLLM: अत्याधुनिक प्रतिकूल रक्षा एल्गोरिदम
  • Self-reminder: आत्म-अनुस्मारक रक्षा विधि
  • कोई सुरक्षा आधारभूत नहीं: मूल मॉडल

परीक्षण मॉडल

  • Llama-3.1 8B Instruct
  • Mistral 7B v0.2
  • Gemma 2B-IT

प्रायोगिक परिणाम

मुख्य परिणाम

प्रतिकूल मजबूती परिणाम

HarmBench डेटासेट पर हमले की सफलता दर:

मॉडलकोई सुरक्षा नहींबिंदु कंस्ट्रेंड (यह पेपर)SmoothLLMSelf-Reminder
Llama-3.1 8B11.00.07.2450.8
Mistral 7B30.05.8818.928.5
Gemma 2B-IT22.02.5088.22519.58

अस्वीकार पैटर्न विश्लेषण:

मॉडलयह पेपर (%)SmoothLLM(%)Self-Reminder(%)
Llama-3.1 8B100.087.524.3
Gemma 2B-IT97.41036.9
Mistral 7B26.737.520

मशीन विस्मरण परिणाम

निषिद्ध शब्द भ्रम विश्लेषण (उच्च भ्रम विस्मरण प्रभाव को बेहतर दर्शाता है):

मॉडलडेटासेटआधारभूतबिंदु कंस्ट्रेंड हस्तक्षेप
Gemma-2B-ITObedience8.81612.72
Gemma-2B-ITHarmBench16.75718.157
Mistral-7BObedience8.62713.74
Llama-3-8BObedience6.487.735

कम्प्यूटेशनल दक्षता

प्रति परीक्षण मामले का औसत समय:

मॉडलहमले का समय(s)PCR विधि(s)SmoothLLM(s)
LLaMA 3 8B38.8920.1636.12
Mistral-7B27.4317.2840.17
Gemma 2B14.37510.4411.62

महत्वपूर्ण निष्कर्ष

  1. बिंदु कंस्ट्रेंड विधि सर्वोत्तम है: सबसे सरल PCR विधि प्रदर्शन और कम्प्यूटेशनल दक्षता दोनों में अधिक जटिल TSR और ARR विधियों से बेहतर है
  2. एकीकृत ढांचा प्रभावी है: एक ही विधि विस्मरण और मजबूती समस्या दोनों को एक साथ संभाल सकती है
  3. परत संख्या प्रभाव: अधिक MLP परतों का हस्तक्षेप बेहतर प्रदर्शन लाता है
  4. कम्प्यूटेशनल लाभ स्पष्ट है: मौजूदा विधियों की तुलना में कम्प्यूटेशनल ओवरहेड में महत्वपूर्ण कमी

संबंधित कार्य

सुरक्षित पीढ़ी विधियां

  1. फाइन-ट्यूनिंग विधियां: बड़ी कम्प्यूटेशनल ओवरहेड
  2. प्रॉम्प्ट इंजीनियरिंग: प्रतिकूल हेरफेर के लिए संवेदनशील
  3. अनिश्चितता परिमाणीकरण: कम्प्यूटेशनल रूप से जटिल
  4. मॉडल वृद्धि: उच्च संसाधन आवश्यकताएं

हल्के वजन की विधियां

  1. सक्रियण स्पेस जांच: प्रशिक्षण डेटा सीमा से प्रभावित
  2. प्रतिकूल पहचान: विकृत इनपुट के सांख्यिकीय विशेषताओं का विश्लेषण

मशीन विस्मरण

  1. शिक्षक-छात्र ढांचा: आंशिक पुनः प्रशिक्षण, उच्च कम्प्यूटेशनल लागत
  2. पुनरावृत्तिमूलक फाइन-ट्यूनिंग: समान कम्प्यूटेशनल चुनौतियों का सामना

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. LLM विस्मरण और मजबूती को एकीकृत रूप से संभालने के लिए कंस्ट्रेंड ऑप्टिमाइजेशन ढांचा प्रस्तावित किया गया है
  2. बिंदु कंस्ट्रेंड विधि सरलता और प्रभावशीलता के बीच सर्वोत्तम संतुलन प्राप्त करती है
  3. बाहरी क्लासिफायर की आवश्यकता नहीं है, कम्प्यूटेशनल ओवरहेड और कार्यान्वयन जटिलता को कम करता है
  4. कई बेंचमार्क पर मौजूदा अत्याधुनिक विधियों से बेहतर है

सीमाएं

  1. अवधारणा सेट निर्भरता: PCR और ARR विधियों को पूर्वनिर्धारित निषिद्ध अवधारणा सेट की आवश्यकता है
  2. मूल्यांकन मेट्रिक्स: विस्मरण मूल्यांकन मुख्य रूप से भ्रम पर आधारित है, संभवतः अपर्याप्त
  3. सामान्यीकरण क्षमता: विभिन्न प्रकार के हमलों और मॉडलों पर सामान्यीकरण क्षमता को आगे सत्यापन की आवश्यकता है
  4. सैद्धांतिक विश्लेषण: विधि के सैद्धांतिक गारंटियों के गहन विश्लेषण का अभाव

भविष्य की दिशाएं

  1. पूर्वनिर्धारित अवधारणा सेट की आवश्यकता नहीं वाली अनुकूली विधियां विकसित करना
  2. अधिक व्यापक विस्मरण मूल्यांकन मेट्रिक्स की खोज
  3. बड़े पैमाने के मॉडलों पर विधि की स्केलेबिलिटी का अनुसंधान
  4. सैद्धांतिक अभिसरण और सुरक्षा गारंटियां प्रदान करना

गहन मूल्यांकन

लाभ

  1. समस्या महत्व: LLM सुरक्षित तैनाती में दो महत्वपूर्ण समस्याओं को हल करता है
  2. विधि नवाचार: पहली बार विस्मरण और मजबूती को कंस्ट्रेंड ऑप्टिमाइजेशन ढांचे में एकीकृत करता है
  3. व्यावहारिक मूल्य: कम्प्यूटेशनल रूप से कुशल समाधान प्रदान करता है
  4. पर्याप्त प्रयोग: कई मॉडलों और डेटासेट पर व्यापक मूल्यांकन
  5. सैद्धांतिक आधार: KKT शर्तों के आधार पर बंद-रूप समाधान प्रदान करता है

कमियां

  1. अपर्याप्त सैद्धांतिक विश्लेषण: विधि के अभिसरण और इष्टतमता के सैद्धांतिक विश्लेषण का अभाव
  2. मूल्यांकन सीमाएं: विस्मरण मूल्यांकन मुख्य रूप से भ्रम एकल मेट्रिक पर निर्भर है
  3. हमले की विविधता: मुख्य रूप से विशिष्ट प्रकार के जेलब्रेक हमलों पर केंद्रित, अन्य हमले प्रकारों पर प्रभाव अज्ञात
  4. दीर्घकालीन प्रभाव: वजन हस्तक्षेप का मॉडल के दीर्घकालीन प्रदर्शन पर प्रभाव को आगे अनुसंधान की आवश्यकता है

प्रभाव

  1. शैक्षणिक योगदान: LLM सुरक्षा अनुसंधान के लिए नया एकीकृत दृष्टिकोण प्रदान करता है
  2. व्यावहारिक मूल्य: संसाधन-सीमित संगठनों के लिए आर्थिक सुरक्षा समाधान प्रदान करता है
  3. पुनरुत्पादनीयता: विस्तृत एल्गोरिदम विवरण और कार्यान्वयन विवरण प्रदान करता है
  4. विस्तारशीलता: ढांचा अन्य सुरक्षा-संबंधित कार्यों तक विस्तारित किया जा सकता है

लागू परिदृश्य

  1. शिक्षा क्षेत्र: अनुचित सामग्री की पीढ़ी को रोकना
  2. स्वास्थ्यसेवा: संवेदनशील चिकित्सा जानकारी की सुरक्षा
  3. ऑनलाइन प्लेटफॉर्म: सामग्री सुरक्षा संयम
  4. एंटरप्राइज अनुप्रयोग: गोपनीय जानकारी सुरक्षा

संदर्भ

पेपर प्रतिकूल प्रशिक्षण, मशीन विस्मरण, LLM सुरक्षा आदि दिशाओं में संबंधित क्षेत्रों के कई महत्वपूर्ण कार्यों का हवाला देता है, जो इस अनुसंधान के लिए एक मजबूत सैद्धांतिक आधार और तुलना बेंचमार्क प्रदान करते हैं।

समग्र मूल्यांकन: यह LLM सुरक्षा क्षेत्र में महत्वपूर्ण योगदान वाला एक पेपर है, जो एकीकृत कंस्ट्रेंड ऑप्टिमाइजेशन ढांचे के माध्यम से विस्मरण और मजबूती समस्याओं को एक साथ हल करता है, कम्प्यूटेशनल रूप से कुशल समाधान प्रदान करता है। हालांकि सैद्धांतिक विश्लेषण और मूल्यांकन पहलुओं में कुछ कमियां हैं, लेकिन इसका व्यावहारिक मूल्य और नवाचार इसे इस क्षेत्र में महत्वपूर्ण प्रगति बनाते हैं।