2025-11-21T16:31:15.957266

HoneypotNet: Backdoor Attacks Against Model Extraction

Wang, Gu, Teng et al.

Model extraction attacks are one type of inference-time attacks that approximate the functionality and performance of a black-box victim model by launching a certain number of queries to the model and then leveraging the model's predictions to train a substitute model. These attacks pose severe security threats to production models and MLaaS platforms and could cause significant monetary losses to the model owners. A body of work has proposed to defend machine learning models against model extraction attacks, including both active defense methods that modify the model's outputs or increase the query overhead to avoid extraction and passive defense methods that detect malicious queries or leverage watermarks to perform post-verification. In this work, we introduce a new defense paradigm called attack as defense which modifies the model's output to be poisonous such that any malicious users that attempt to use the output to train a substitute model will be poisoned. To this end, we propose a novel lightweight backdoor attack method dubbed HoneypotNet that replaces the classification layer of the victim model with a honeypot layer and then fine-tunes the honeypot layer with a shadow model (to simulate model extraction) via bi-level optimization to modify its output to be poisonous while remaining the original performance. We empirically demonstrate on four commonly used benchmark datasets that HoneypotNet can inject backdoors into substitute models with a high success rate. The injected backdoor not only facilitates ownership verification but also disrupts the functionality of substitute models, serving as a significant deterrent to model extraction attacks.

academic

HoneypotNet: मॉडल एक्सट्रैक्शन के विरुद्ध बैकडोर अटैक

बुनियादी जानकारी

पेपर ID: 2501.01090
शीर्षक: HoneypotNet: मॉडल एक्सट्रैक्शन के विरुद्ध बैकडोर अटैक
लेखक: Yixu Wang, Tianle Gu, Yan Teng, Yingchun Wang, Xingjun Ma
वर्गीकरण: cs.CR (क्रिप्टोग्राफी और सुरक्षा), cs.CV (कंप्यूटर विजन)
प्रकाशन समय/सम्मेलन: 2 जनवरी 2025 को arXiv में प्रस्तुत
पेपर लिंक: https://arxiv.org/abs/2501.01090

सारांश

मॉडल एक्सट्रैक्शन अटैक एक अनुमान समय का अटैक है जो ब्लैकबॉक्स पीड़ित मॉडल के विरुद्ध एक निश्चित संख्या में क्वेरी करके, मॉडल के भविष्यवाणी परिणामों का उपयोग करके एक विकल्प मॉडल को प्रशिक्षित करता है, जिससे पीड़ित मॉडल की कार्यक्षमता और प्रदर्शन का अनुमान लगाया जा सकता है। इस तरह के अटैक उत्पादन मॉडल और MLaaS प्लेटफॉर्म के लिए गंभीर सुरक्षा खतरे पैदा करते हैं, जो मॉडल मालिकों को महत्वपूर्ण आर्थिक नुकसान दे सकते हैं। यह पेपर एक नया रक्षा प्रतिमान "रक्षा के रूप में अटैक" (attack as defense) प्रस्तावित करता है, जो मॉडल आउटपुट को संशोधित करके इसे जहरीला बनाता है, जिससे इन आउटपुट का उपयोग करके विकल्प मॉडल को प्रशिक्षित करने का प्रयास करने वाले किसी भी दुर्भावनापूर्ण उपयोगकर्ता को जहर दिया जाता है। इसके लिए, लेखकों ने HoneypotNet प्रस्तावित किया है, जो एक हल्का बैकडोर अटैक विधि है, जो पीड़ित मॉडल की वर्गीकरण परत को एक हनीपॉट परत से बदलता है, और दोहरी-परत अनुकूलन और शैडो मॉडल (मॉडल एक्सट्रैक्शन प्रक्रिया का अनुकरण) के माध्यम से हनीपॉट परत को सूक्ष्म-समायोजित करता है, मूल प्रदर्शन को बनाए रखते हुए आउटपुट को जहरीला बनाता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

मॉडल एक्सट्रैक्शन अटैक मशीन लर्निंग एज़ ए सर्विस (MLaaS) प्लेटफॉर्म के सामने आने वाले मुख्य खतरों में से एक बन गया है। हमलावर API क्वेरी के माध्यम से ब्लैकबॉक्स मॉडल को क्वेरी करते हैं, लौटाए गए भविष्यवाणी परिणामों का उपयोग करके कार्यात्मक रूप से समान विकल्प मॉडल को प्रशिक्षित करते हैं, जिससे मॉडल के बौद्धिक संपत्ति को चोरी किया जा सकता है।

समस्या की महत्ता

आर्थिक नुकसान: मॉडल एक्सट्रैक्शन अटैक मॉडल मालिकों को महत्वपूर्ण आर्थिक नुकसान दे सकते हैं
बौद्धिक संपत्ति सुरक्षा: गहन शिक्षण मॉडल की प्रशिक्षण लागत अधिक है, प्रभावी सुरक्षा की आवश्यकता है
सुरक्षा खतरा: हमलावर निकाले गए मॉडल का उपयोग करके आगे के विरोधी अटैक कर सकते हैं

मौजूदा विधियों की सीमाएं

मौजूदा रक्षा विधियां मुख्य रूप से दो श्रेणियों में विभाजित हैं:

निष्क्रिय रक्षा: दुर्भावनापूर्ण क्वेरी का पता लगाने या वॉटरमार्किंग का उपयोग करके पश्चात सत्यापन के माध्यम से, लेकिन पूर्व ज्ञान पर निर्भर है, प्रभाव सीमित है
सक्रिय रक्षा: मॉडल आउटपुट में व्यवधान या क्वेरी ओवरहेड बढ़ाकर एक्सट्रैक्शन को रोकने के लिए, लेकिन कम्प्यूटेशनल ओवरहेड बड़ा है और उन्नत अटैक द्वारा बाईपास किया जा सकता है

अनुसंधान प्रेरणा

पारंपरिक रक्षा विधियां एक हथियार दौड़ की समस्या का सामना करती हैं, यह पेपर "रक्षा के रूप में अटैक" का एक नया प्रतिमान प्रस्तावित करता है, सक्रिय रूप से विकल्प मॉडल पर अटैक करके इसकी कार्यक्षमता को नष्ट करता है, जो हमलावरों के लिए एक मजबूत निवारक बनाता है।

मुख्य योगदान

नया रक्षा प्रतिमान: पहली बार "रक्षा के रूप में अटैक" (attack as defense) रक्षा प्रतिमान प्रस्तावित किया, सक्रिय रूप से विकल्प मॉडल पर बैकडोर अटैक करता है
HoneypotNet विधि: मूल वर्गीकरण परत को बदलने के लिए एक हल्का हनीपॉट परत डिज़ाइन किया, दोहरी-परत अनुकूलन के माध्यम से जहरीले संभाव्यता वेक्टर उत्पन्न करता है
ट्रिगर-मुक्त बैकडोर: सार्वभौमिक विरोधी व्यवधान (UAP) को बैकडोर ट्रिगर के रूप में उपयोग करने का नवीन तरीका, छवि में स्पष्ट रूप से ट्रिगर इंजेक्ट करने की आवश्यकता नहीं है
दोहरी कार्यक्षमता: इंजेक्ट किया गया बैकडोर स्वामित्व सत्यापन और विकल्प मॉडल कार्यक्षमता को नष्ट करने दोनों के लिए उपयोग किया जा सकता है, एक मजबूत निवारक प्रभाव बनाता है
प्रायोगिक सत्यापन: चार बेंचमार्क डेटासेट पर विधि की प्रभावशीलता सत्यापित की गई, अटैक सफलता दर 56.99%-92.35% तक पहुंची

विधि विवरण

कार्य परिभाषा

एक पीड़ित मॉडल F दिया गया है, लक्ष्य एक हनीपॉट परत H डिज़ाइन करना है, जैसे कि:

सामान्य इनपुट पर मूल प्रदर्शन बनाए रखता है
जब हमलावर H के आउटपुट का उपयोग करके विकल्प मॉडल F̂ को प्रशिक्षित करता है, तो F̂ को बैकडोर इंजेक्ट किया जाता है
बैकडोर स्वामित्व सत्यापन और प्रतिवर्ती अटैक के लिए उपयोग किया जा सकता है

मॉडल आर्किटेक्चर

हनीपॉट परत डिज़ाइन

हनीपॉट परत H को पूरी तरह से जुड़ी परत के रूप में परिभाषित किया गया है:

H(x) = W · F_feat(x) + b

जहां F_feat(x) पीड़ित मॉडल का विशेषता आउटपुट है, W और b सीखने योग्य पैरामीटर हैं।

दोहरी-परत अनुकूलन ढांचा

मुख्य अनुकूलन उद्देश्य:

argmin_θH E_x∈Ds[L(H(x),F(x)) + L(H(x+δ),y_target)]

बाधा शर्तें:

argmin_θFs E_x∈Ds[L(Fs(x),H(x))]
argmin_δ E_x∈Dv[L(Fs(x+δ),y_target)]

तीन-चरण पुनरावृत्ति प्रक्रिया

एक्सट्रैक्शन सिमुलेशन: हमलावर की मॉडल एक्सट्रैक्शन प्रक्रिया का अनुकरण करने के लिए शैडो मॉडल Fs का उपयोग करता है
ट्रिगर जनरेशन: ग्रेडिएंट साइन अपडेट के माध्यम से UAP ट्रिगर δ उत्पन्न करता है
सूक्ष्म-समायोजन: बैकडोर इंजेक्ट करते हुए सामान्य कार्यक्षमता बनाए रखने के लिए हनीपॉट परत पैरामीटर अपडेट करता है

तकनीकी नवाचार

ट्रिगर के रूप में सार्वभौमिक विरोधी व्यवधान

गहन शिक्षण मॉडल की अंतर्निहित विरोधी कमजोरी का लाभ उठाता है
UAP एक गैर-विषाक्त ट्रिगर के रूप में कार्य कर सकता है, स्पष्ट इंजेक्शन की आवश्यकता नहीं है
साझा विरोधी कमजोरी के माध्यम से बैकडोर हस्तांतरण को लागू करता है

गति अनुकूलन के साथ ट्रिगर अपडेट

δi = α·δi-1 - (1-α)·ε·sign(E_x∈Dv[g(δi-1)])
g(δ) = ∇δL(Fs(M⊙x + (1-M)⊙δ), y_target)

मास्क बाधा

छिपाव बढ़ाने के लिए ट्रिगर स्थान को सीमित करने के लिए पूर्वनिर्धारित मास्क M का उपयोग करता है।

प्रायोगिक सेटअप

डेटासेट

पीड़ित मॉडल डेटासेट: CIFAR10, CIFAR100, Caltech256, CUBS200
अटैक डेटासेट: ImageNet (12 मिलियन छवियां)
शैडो डेटासेट: CC3M (5000 छवियों का यादृच्छिक चयन)
सत्यापन डेटासेट: छोटे पैमाने पर कार्य-संबंधित डेटासेट

मूल्यांकन मेट्रिक्स

स्वच्छ परीक्षण सटीकता (Acc_c): विकल्प मॉडल की स्वच्छ परीक्षण नमूनों पर सटीकता
सत्यापन परीक्षण सटीकता (Acc_v): विकल्प मॉडल की ट्रिगर नमूनों पर लक्ष्य लेबल की भविष्यवाणी करने की सटीकता
अटैक सफलता दर (ASR): रक्षा कर्ता की प्रतिवर्ती अटैक की सफलता दर

तुलना विधियां

एक्सट्रैक्शन अटैक: KnockoffNets, ActiveThief (Entropy & k-Center), SPSG, BlackBox Dissector
बेसलाइन रक्षा: कोई रक्षा नहीं, DVBW (डेटासेट स्वामित्व सत्यापन विधि)

कार्यान्वयन विवरण

BLO पुनरावृत्ति: 30 पुनरावृत्तियां, प्रत्येक में 3 चरण प्रत्येक 5 epoch
शैडो मॉडल: ResNet18 (हल्का)
ट्रिगर आकार: CIFAR डेटासेट 6×6, अन्य डेटासेट 28×28
अनुकूलक: SGD, गति 0.9, सीखने की दर 0.1 (शैडो मॉडल)/0.02 (हनीपॉट परत)

प्रायोगिक परिणाम

मुख्य परिणाम

30k क्वेरी बजट के तहत, HoneypotNet सभी डेटासेट और अटैक विधियों पर उल्लेखनीय परिणाम प्राप्त करता है:

अटैक विधि	CIFAR10 ASR	CIFAR100 ASR	CUBS200 ASR	Caltech256 ASR
KnockoffNets	59.35%	85.71%	78.31%	79.13%
ActiveThief (Entropy)	56.99%	74.35%	83.22%	77.43%
ActiveThief (k-Center)	67.49%	74.63%	80.27%	80.80%
SPSG	66.12%	77.11%	83.51%	77.88%
BlackBox Dissector	78.59%	80.05%	92.35%	78.98%

मुख्य निष्कर्ष

उच्च सफलता दर: सभी परीक्षण परिदृश्यों में ASR 56% से अधिक है
प्रदर्शन बनाए रखना: Acc_c बिना रक्षा के स्थिति के बराबर है, हमलावर को संदेह नहीं होगा
मजबूत सत्यापन क्षमता: Acc_v बेसलाइन विधि से काफी अधिक है, स्वामित्व सत्यापन को प्रभावी रूप से समर्थन करता है
हार्ड लेबल मजबूतता: BlackBox Dissector के हार्ड लेबल अटैक के तहत भी उच्च प्रभावशीलता बनाए रखता है

विलोपन प्रयोग

ट्रिगर आकार प्रभाव

1×1 से 15×15 तक ट्रिगर आकार के प्रयोग से पता चलता है:
बड़े ट्रिगर उच्च ASR लाते हैं
ट्रिगर आकार और छिपाव के बीच संतुलन की आवश्यकता है

विभिन्न विकल्प मॉडल आर्किटेक्चर

आर्किटेक्चर	CIFAR10 ASR	CIFAR100 ASR	CUBS200 ASR	Caltech256 ASR
ResNet34	59.35%	85.71%	78.31%	79.13%
VGG16	97.16%	87.10%	89.82%	62.17%
DenseNet121	51.68%	53.72%	65.46%	58.00%

रक्षा मजबूतता विश्लेषण

बैकडोर पहचान परिहार

Cognitive Distillation (CD) पहचान विधि का उपयोग करके परीक्षण, परिणाम दिखाते हैं कि स्वच्छ नमूने और बैकडोर नमूनों का L1 मानदंड वितरण अत्यधिक समान है, जो UAP ट्रिगर की अच्छी छिपाव क्षमता को दर्शाता है।

तंत्रिका नोड प्रूनिंग मजबूतता

Reconstructive Neuron Pruning (RNP) रक्षा के विरुद्ध परीक्षण से पता चलता है कि प्रूनिंग प्रक्रिया के बाद भी, ASR एक उच्च स्तर पर रहता है, बैकडोर की मजबूतता को दर्शाता है।

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

नए प्रतिमान की प्रभावशीलता: "रक्षा के रूप में अटैक" प्रतिमान मॉडल एक्सट्रैक्शन रक्षा के लिए नई सोच प्रदान करता है
तकनीकी व्यवहार्यता: HoneypotNet ने सफलतापूर्वक हल्का बैकडोर इंजेक्शन लागू किया
व्यावहारिक मूल्य: विधि विभिन्न अटैक परिदृश्यों में उत्कृष्ट प्रदर्शन करती है, व्यावहारिक अनुप्रयोग क्षमता है

सीमाएं

कम्प्यूटेशनल ओवरहेड: हालांकि अपेक्षाकृत हल्का है, फिर भी दोहरी-परत अनुकूलन प्रक्रिया की आवश्यकता है
ट्रिगर दृश्यमानता: बड़े ट्रिगर की खोज की जा सकती है
आर्किटेक्चर निर्भरता: विभिन्न विकल्प मॉडल आर्किटेक्चर के लिए प्रभाव में अंतर है
रक्षा प्रतिरोध: अधिक उन्नत रक्षा विधियों का सामना कर सकता है

भविष्य की दिशाएं

शैडो मॉडल एकीकरण: मजबूतता बढ़ाने के लिए कई शैडो मॉडल का उपयोग करता है
अनुकूली ट्रिगर: अधिक छिपे हुए ट्रिगर जनरेशन विधि डिज़ाइन करता है
अनुप्रयोग विस्तार: विधि को अन्य प्रकार के मॉडल और कार्यों तक विस्तारित करता है
सैद्धांतिक विश्लेषण: अधिक गहन सैद्धांतिक गारंटी प्रदान करता है

गहन मूल्यांकन

शक्तियां

मजबूत नवाचार: पहली बार "रक्षा के रूप में अटैक" रक्षा प्रतिमान प्रस्तावित किया, विचार नवीन है
उन्नत तकनीक: UAP और बैकडोर अटैक को चतुराई से संयोजित करता है, ट्रिगर-मुक्त इंजेक्शन की तकनीकी समस्या को हल करता है
व्यापक प्रयोग: कई डेटासेट, कई अटैक विधियों पर व्यापक मूल्यांकन किया गया
उच्च व्यावहारिक मूल्य: विधि हल्का है, वास्तविक सिस्टम में तैनाती के लिए उपयुक्त है
दोहरी कार्यक्षमता: स्वामित्व सत्यापन और कार्यक्षमता विनाश दोनों को एक साथ लागू करता है, मजबूत निवारक प्रभाव बनाता है

कमियां

अपर्याप्त सैद्धांतिक विश्लेषण: विधि अभिसरण और सुरक्षा के लिए सैद्धांतिक गारंटी का अभाव है
रक्षा सीमाएं: कुछ उन्नत अटैक विधियों के विरुद्ध मजबूतता को आगे सत्यापन की आवश्यकता है
नैतिक विचार: विकल्प मॉडल पर सक्रिय अटैक नैतिक और कानूनी मुद्दों को शामिल कर सकता है
लागू दायरा: मुख्य रूप से छवि वर्गीकरण कार्यों के लिए, अन्य कार्यों की लागू क्षमता अज्ञात है

प्रभाव

शैक्षणिक योगदान: मॉडल सुरक्षा रक्षा क्षेत्र के लिए नई अनुसंधान दिशा प्रदान करता है
व्यावहारिक मूल्य: MLaaS प्लेटफॉर्म के लिए व्यावहारिक रक्षा उपकरण प्रदान करता है
पुनरुत्पादनीयता: पेपर विस्तृत कार्यान्वयन विवरण प्रदान करता है, पुनरुत्पादन को सुविधाजनक बनाता है
प्रेरणा: अधिक "रक्षा के रूप में अटैक" प्रकार की रक्षा विधियों को प्रेरित कर सकता है

लागू परिदृश्य

MLaaS प्लेटफॉर्म: क्लाउड मशीन लर्निंग सेवा के मॉडल सुरक्षा
व्यावसायिक मॉडल: उच्च-मूल्य गहन शिक्षण मॉडल की बौद्धिक संपत्ति सुरक्षा
API सेवाएं: मॉडल चोरी से बचाव की आवश्यकता वाली ऑनलाइन अनुमान सेवाएं
किनारे तैनाती: संसाधन-सीमित वातावरण में हल्का रक्षा

संदर्भ

पेपर मशीन लर्निंग सुरक्षा, मॉडल एक्सट्रैक्शन अटैक और रक्षा, बैकडोर अटैक आदि क्षेत्रों के महत्वपूर्ण कार्यों का हवाला देता है, जिसमें KnockoffNets, ActiveThief, बैकडोर अटैक के अग्रणी कार्य शामिल हैं, जो अनुसंधान के लिए एक ठोस सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह पेपर प्रस्तावित HoneypotNet विधि मॉडल एक्सट्रैक्शन रक्षा क्षेत्र में महत्वपूर्ण नवाचार महत्व रखती है, "रक्षा के रूप में अटैक" विचार इस क्षेत्र के लिए नई अनुसंधान दिशा खोलता है। तकनीकी कार्यान्वयन चतुर है, प्रायोगिक मूल्यांकन व्यापक है, उच्च शैक्षणिक मूल्य और व्यावहारिक मूल्य है। हालांकि सैद्धांतिक विश्लेषण और कुछ तकनीकी विवरणों में सुधार की गुंजाइश है, लेकिन कुल मिलाकर यह एक उच्च-गुणवत्ता का अनुसंधान कार्य है।