Foundation models have revolutionized computer vision by enabling broad generalization across diverse tasks. Yet, they remain highly susceptible to adversarial perturbations and targeted backdoor attacks. Mitigating such vulnerabilities remains an open challenge, especially given that the large-scale nature of the models prohibits retraining to ensure safety. Existing backdoor removal approaches rely on costly fine-tuning to override the harmful behavior, and can often degrade performance on other unrelated tasks. This raises the question of whether backdoors can be removed without compromising the general capabilities of the models. In this work, we address this question and study how backdoors are encoded in the model weight space, finding that they are disentangled from other benign tasks. Specifically, this separation enables the isolation and erasure of the backdoor's influence on the model with minimal impact on clean performance. Building on this insight, we introduce a simple unlearning method that leverages such disentanglement. Through extensive experiments with CLIP-based models and common adversarial triggers, we show that, given the knowledge of the attack, our method achieves approximately perfect unlearning, while retaining, on average, 96% of clean accuracy. Additionally, we demonstrate that even when the attack and its presence are unknown, our method successfully unlearns backdoors by proper estimation using reverse-engineered triggers. Overall, our method consistently yields better unlearning and clean accuracy tradeoffs when compared to present state-of-the-art defenses.
फाउंडेशन मॉडल ने विविध कार्यों में व्यापक सामान्यीकरण को सक्षम करके कंप्यूटर विजन में क्रांति ला दी है। फिर भी, वे विरोधी गड़बड़ी और लक्षित बैकडोर हमलों के प्रति अत्यधिक संवेदनशील रहते हैं। ऐसी कमजोरियों को कम करना एक खुली चुनौती बनी हुई है, विशेष रूप से यह देखते हुए कि मॉडल की बड़े पैमाने की प्रकृति सुरक्षा सुनिश्चित करने के लिए पुनः प्रशिक्षण को प्रतिबंधित करती है। मौजूदा बैकडोर हटाने के दृष्टिकोण हानिकारक व्यवहार को ओवरराइड करने के लिए महंगे फाइन-ट्यूनिंग पर निर्भर करते हैं, और अक्सर अन्य असंबंधित कार्यों पर प्रदर्शन को कम कर सकते हैं। यह सवाल उठाता है कि क्या बैकडोर को मॉडल की सामान्य क्षमताओं से समझौता किए बिना हटाया जा सकता है। इस कार्य में, हम इस प्रश्न को संबोधित करते हैं और अध्ययन करते हैं कि बैकडोर मॉडल वजन स्थान में कैसे एन्कोड किए जाते हैं, यह पाते हुए कि वे अन्य सौम्य कार्यों से अलग हैं। विशेष रूप से, यह पृथक्करण स्वच्छ प्रदर्शन पर न्यूनतम प्रभाव के साथ बैकडोर के प्रभाव को अलग करने और मिटाने में सक्षम बनाता है। इस अंतर्दृष्टि के आधार पर, हम एक सरल अनलर्निंग विधि प्रस्तुत करते हैं जो ऐसे विघटन का लाभ उठाती है। CLIP-आधारित मॉडल और सामान्य विरोधी ट्रिगर के साथ व्यापक प्रयोगों के माध्यम से, हम दिखाते हैं कि, हमले के ज्ञान को देखते हुए, हमारी विधि लगभग पूर्ण अनलर्निंग प्राप्त करती है, जबकि औसतन 96% स्वच्छ सटीकता बनाए रखती है। इसके अतिरिक्त, हम प्रदर्शित करते हैं कि जब हमला और इसकी उपस्थिति अज्ञात हो, तब भी हमारी विधि उलट-पुलट ट्रिगर का उपयोग करके उचित अनुमान द्वारा बैकडोर को सफलतापूर्वक अनलर्न करती है। कुल मिलाकर, हमारी विधि वर्तमान अत्याधुनिक रक्षा की तुलना में लगातार बेहतर अनलर्निंग और स्वच्छ सटीकता व्यापार-बंद प्रदान करती है।
यह अनुसंधान बड़े फाउंडेशन मॉडल में बैकडोर हमलों (Backdoor Attacks) से सुरक्षा की समस्या को संबोधित करता है। बैकडोर हमले प्रशिक्षण डेटा में विशिष्ट ट्रिगर (trigger) वाले कुछ नमूने इंजेक्ट करके, मॉडल को उस ट्रिगर युक्त इनपुट पर पूर्वनिर्धारित दुर्भावनापूर्ण व्यवहार करने के लिए प्रेरित करते हैं, जबकि सामान्य इनपुट पर सामान्य रूप से कार्य करते हैं।
लेखक वजन विघटन (weight disentanglement) सिद्धांत के आधार पर, यह मानते हैं कि बैकडोर व्यवहार मॉडल वजन स्थान में सामान्य कार्यों से अलग है, इसलिए रैखिक संचालन के माध्यम से बैकडोर को सटीक रूप से हटाया जा सकता है बिना सामान्य कार्यक्षमता को प्रभावित किए।
सैद्धांतिक अंतर्दृष्टि: पहली बार वजन विघटन सिद्धांत को बैकडोर विश्लेषण में लागू किया, CLIP जैसे Transformer मॉडल में बैकडोर ज्ञान और स्वच्छ ज्ञान वजन स्थान में विघटित हैं, यह साबित किया
TBAR विधि: Trigger removal by Backdoor ARithmetic (TBAR) प्रस्तुत किया, कार्य वेक्टर अंकगणित पर आधारित एक हल्की बैकडोर अनलर्निंग विधि
उत्कृष्ट प्रदर्शन: ज्ञात ट्रिगर की स्थिति में, 99% बैकडोर हटाने की दर प्राप्त करता है, जबकि 96% स्वच्छ सटीकता बनाए रखता है, मौजूदा विधियों की तुलना में डेटा आवश्यकता दो परिमाण कम है
अज्ञात हमले का परिदृश्य: उलट-पुलट इंजीनियरिंग तकनीक के साथ, अज्ञात हमले की स्थिति में भी बैकडोर को सफलतापूर्वक हटाता है, 90% से अधिक स्वच्छ सटीकता बनाए रखता है
एक बैकडोर-संक्रमित मॉडल θb दिया गया है, लक्ष्य बैकडोर व्यवहार को हटाना है (हमले की सफलता दर ASR को शून्य तक कम करना), जबकि स्वच्छ डेटा पर मॉडल के प्रदर्शन को अधिकतम सीमा तक बनाए रखना है (स्वच्छ सटीकता CA)।
वजन विघटन त्रुटि ξ(αc, αt) को दृश्यमान करके, यह साबित किया कि स्वच्छ कार्य और ट्रिगर कार्य वजन स्थान में वास्तव में अलग हैं, मुख्य धारणा की सही्ता को सत्यापित किया।
प्रयोग दिखाते हैं कि विस्मृति सेट आकार (300 से 30k) में वृद्धि प्रदर्शन में सुधार सीमित है, यह दर्शाता है कि सटीक रूप से पहचानना कि क्या विस्मृत करना है, डेटा पैमाने से अधिक महत्वपूर्ण है।
विभिन्न अनुपातों में स्वच्छ और ट्रिगर डेटा के मिश्रण का उपयोग करते हुए, परिणाम दिखाते हैं कि शुद्ध ट्रिगर डेटा सर्वोत्तम CA-ASR व्यापार-बंद प्राप्त करता है।
बैकडोर हमले डेटा विषाक्तता हमलों का एक प्रकार हैं, जो प्रशिक्षण डेटा को संशोधित करके मॉडल में छिपी कमजोरियां डालते हैं। CLIP जैसे बहु-मोडल मॉडल अपने व्यापक अनुप्रयोग के कारण मुख्य हमले का लक्ष्य बन गए हैं।
मशीन अनलर्निंग विशिष्ट सीखे हुए व्यवहार को चुनिंदा रूप से हटाने का लक्ष्य रखता है, सटीक अनलर्निंग और अनुमानित अनलर्निंग दो श्रेणियों में विभाजित है। मौजूदा विधियां बैकडोर हटाने के कार्य पर सीमित प्रभाव दिखाती हैं।
कार्य अंकगणित सीखे हुए कार्यों को वजन स्थान में वेक्टर के रूप में एन्कोड करता है, रैखिक संचालन के माध्यम से कार्य जोड़ना, हटाना और संयोजित करना संभव है। वजन विघटन गुण इन संचालनों की प्रभावशीलता का सैद्धांतिक आधार है।