2025-11-14T05:43:10.071295

Defending Diffusion Models Against Membership Inference Attacks via Higher-Order Langevin Dynamics

Sterling, El-Laham, Bugallo

Recent advances in generative artificial intelligence applications have raised new data security concerns. This paper focuses on defending diffusion models against membership inference attacks. This type of attack occurs when the attacker can determine if a certain data point was used to train the model. Although diffusion models are intrinsically more resistant to membership inference attacks than other generative models, they are still susceptible. The defense proposed here utilizes critically-damped higher-order Langevin dynamics, which introduces several auxiliary variables and a joint diffusion process along these variables. The idea is that the presence of auxiliary variables mixes external randomness that helps to corrupt sensitive input data earlier on in the diffusion process. This concept is theoretically investigated and validated on a toy dataset and a speech dataset using the Area Under the Receiver Operating Characteristic (AUROC) curves and the FID metric.

academic

विसरण मॉडल को उच्च-क्रम लैंजविन गतिविज्ञान के माध्यम से सदस्यता अनुमान हमलों से बचाना

मूल जानकारी

पेपर ID: 2509.14225
शीर्षक: विसरण मॉडल को उच्च-क्रम लैंजविन गतिविज्ञान के माध्यम से सदस्यता अनुमान हमलों से बचाना
लेखक: बेंजामिन स्टर्लिंग (स्टोनी ब्रुक विश्वविद्यालय), यूसुफ अल-लहम (स्टोनी ब्रुक विश्वविद्यालय), मोनिका एफ. बुगालो (स्टोनी ब्रुक विश्वविद्यालय)
वर्गीकरण: cs.LG, stat.ML
प्रकाशन समय: 16 अक्टूबर 2025 (arXiv v2)
पेपर लिंक: https://arxiv.org/abs/2509.14225

सारांश

यह पेपर जनरेटिव कृत्रिम बुद्धिमत्ता अनुप्रयोगों में उत्पन्न होने वाली नई डेटा सुरक्षा समस्याओं को संबोधित करता है, विशेष रूप से विसरण मॉडल को सदस्यता अनुमान हमलों (MIA) से बचाने पर ध्यान केंद्रित करता है। सदस्यता अनुमान हमला एक ऐसा हमला है जिसमें हमलावर यह निर्धारित कर सकता है कि क्या कोई विशेष डेटा बिंदु मॉडल को प्रशिक्षित करने के लिए उपयोग किया गया था। हालांकि विसरण मॉडल अन्य जनरेटिव मॉडल की तुलना में सदस्यता अनुमान हमलों के प्रति आंतरिक रूप से अधिक प्रतिरोधी हैं, फिर भी कमजोरियां मौजूद हैं। इस पेपर में प्रस्तावित रक्षा विधि गंभीर रूप से अवमंदित उच्च-क्रम लैंजविन गतिविज्ञान (HOLD++) का उपयोग करती है, जो कई सहायक चर और इन चर के साथ संयुक्त विसरण प्रक्रिया को पेश करती है। मूल विचार यह है कि सहायक चर की उपस्थिति बाहरी यादृच्छिकता को मिश्रित करती है, जो विसरण प्रक्रिया के प्रारंभिक चरण में संवेदनशील इनपुट डेटा को नष्ट करने में सहायता करती है। इस अवधारणा को सैद्धांतिक रूप से अध्ययन किया गया है और खिलौना डेटासेट और भाषण डेटासेट पर AUROC वक्र और FID मेट्रिक्स का उपयोग करके सत्यापित किया गया है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

इस अनुसंधान द्वारा समाधान की जाने वाली मूल समस्या सदस्यता अनुमान हमले (Membership Inference Attacks, MIA) का विसरण मॉडल पर खतरा है। सदस्यता अनुमान हमला एक गोपनीयता हमला है जिसमें हमलावर यह निर्धारित करने का प्रयास करता है कि क्या कोई विशेष डेटा नमूना लक्ष्य मॉडल को प्रशिक्षित करने के लिए उपयोग किया गया था।

महत्व विश्लेषण

डेटा गोपनीयता सुरक्षा की आवश्यकता: जनरेटिव AI अनुप्रयोगों के तीव्र विकास के साथ, विशेष रूप से चिकित्सा डेटा, संवेदनशील बौद्धिक संपत्ति आदि क्षेत्रों में अनुप्रयोग के साथ, प्रशिक्षण डेटा की गोपनीयता की सुरक्षा अत्यंत महत्वपूर्ण हो गई है
विसरण मॉडल की कमजोरी: हालांकि विसरण मॉडल GAN जैसे अन्य जनरेटिव मॉडल की तुलना में बेहतर आंतरिक हमला प्रतिरोध क्षमता रखते हैं, फिर भी वे बैकडोर हमलों, सदस्यता अनुमान हमलों और विरोधी हमलों के लिए असुरक्षित हैं
मौजूदा रक्षा विधियों की सीमाएं: वर्तमान मुख्य रक्षा साधन जैसे अंतर गोपनीयता विसरण मॉडल (DPDM) गोपनीयता-उपयोगिता व्यापार समस्या का सामना करते हैं, अर्थात् गोपनीयता सुरक्षा स्तर उत्पन्न नमूने की गुणवत्ता से सीधे संबंधित है

अनुसंधान प्रेरणा

सदस्यता अनुमान हमलों की रक्षा मुख्य रूप से अंतर गोपनीयता, L2 नियमितकरण और ज्ञान आसवन को शामिल करती है। इस पेपर की प्रेरणा एक नई रक्षा रणनीति की खोज करना है, विसरण प्रक्रिया की संरचना में सुधार के माध्यम से गोपनीयता सुरक्षा को बढ़ाना, बिना सीधे डेटा वृद्धि या कठोर अंतर गोपनीयता बाधाओं के।

मूल योगदान

गंभीर रूप से अवमंदित उच्च-क्रम लैंजविन गतिविज्ञान (HOLD++) पर आधारित एक नई रक्षा ढांचा प्रस्तावित किया, सहायक चर को पेश करके सदस्यता अनुमान हमलों के प्रति प्रतिरोध को बढ़ाया
HOLD++ के लिए Rényi अंतर गोपनीयता सैद्धांतिक गारंटी स्थापित की, यह साबित किया कि गोपनीयता हानि विसरण प्रक्रिया की शुरुआत में अधिकतम तक पहुंचती है और समय के साथ एकरूप रूप से घटती है
सहायक चर और गोपनीयता सुरक्षा के बीच संबंध का खुलासा किया, यह साबित किया कि माध्य वर्ग त्रुटि को β, L^(-1) और n जैसे पैरामीटर को समायोजित करके "ट्यून" किया जा सकता है
स्विस रोल खिलौना डेटासेट और LJ Speech भाषण डेटासेट पर विधि की प्रभावशीलता का सत्यापन किया, AUROC और FID मेट्रिक्स का उपयोग करके रक्षा प्रभाव और उत्पादन गुणवत्ता का मूल्यांकन किया

विधि विस्तार

कार्य परिभाषा

इनपुट: प्रशिक्षण डेटासेट D, विसरण मॉडल पैरामीटर आउटपुट: सदस्यता अनुमान हमलों के प्रति प्रतिरोधी विसरण मॉडल बाधाएं: उत्पादन गुणवत्ता को बनाए रखते हुए गोपनीयता सुरक्षा को अधिकतम करना

मॉडल आर्किटेक्चर

HOLD++ अग्रगामी प्रक्रिया

HOLD++ की अग्रगामी स्टोकेस्टिक अंतर समीकरण को इस प्रकार परिभाषित किया गया है:

dx_t = Fx_t dt + G dw

जहां:

F = Σ(i=1 to n-1) γ_i(E_{i,i+1} - E_{i+1,i}) - ξE_{n,n}
G = √(2ξL^(-1))E_{n,n}
x_0 = (q_0^T, p_0^T, s_0^T, ...)^T

मुख्य गणितीय अभिव्यक्ति

अग्रगामी प्रक्रिया का माध्य और सहप्रसरण:

μ_t = exp(Ft)x_0
Σ_t = L^(-1)I + exp(Ft)(Σ_0 - L^(-1)I)exp(Ft)^T

नमूनाकरण Cholesky अपघटन के माध्यम से कार्यान्वित किया जाता है:

x_t = μ_t + L_t ε

PIA हमला अनुकूलन

HOLD++ के लिए PIA हमले का संकेतक बन जाता है:

R_{t,p} = ||Fx_t - (1/2)GG^T S_θ(x_t,t)||_p

तकनीकी नवाचार बिंदु

सहायक चर पेश करने से यादृच्छिकता मिश्रण: वेग, त्वरण आदि सहायक चर को पेश करके, विसरण प्रक्रिया के प्रारंभिक चरण में अतिरिक्त यादृच्छिकता को पेश किया जाता है, जिससे हमलावर के लिए मूल डेटा का सटीक अनुमान लगाना कठिन हो जाता है
गैर-नियतात्मक स्कोर फ़ंक्शन: HOLD++ का स्कोर नेटवर्क केवल अंतिम सहायक चर के स्कोर को मॉडल करता है, जिससे पूरी तरह से नियतात्मक हमला असंभव हो जाता है
सैद्धांतिक गोपनीयता गारंटी: कठोर Rényi अंतर गोपनीयता विश्लेषण प्रदान करता है, गोपनीयता हानि की ऊपरी सीमा को साबित करता है

प्रयोगात्मक सेटअप

डेटासेट

स्विस रोल डेटासेट: द्वि-आयामी खिलौना डेटासेट, सैद्धांतिक भविष्यवाणी को सत्यापित करने के लिए
LJ Speech डेटासेट: वास्तविक भाषण डेटासेट, Grad-TTS का उपयोग करके पाठ-से-भाषण रूपांतरण के लिए

मूल्यांकन मेट्रिक्स

AUROC (ROC वक्र के अंतर्गत क्षेत्र): सदस्यता अनुमान हमले की प्रभावशीलता का मूल्यांकन
- 1.0 के करीब प्रशिक्षण/गैर-प्रशिक्षण डेटा को पूरी तरह से अलग करने वाले हमले को इंगित करता है
- 0.5 के करीब यादृच्छिक अनुमान के समान हमले प्रभाव को इंगित करता है
FID (Fréchet Inception Distance): उत्पन्न डेटा गुणवत्ता का मूल्यांकन

तुलनात्मक विधियां

पारंपरिक विसरण मॉडल (n=1)
विभिन्न क्रम के HOLD++ (n=2,3,...)
विभिन्न विचरण कारक β के विन्यास

कार्यान्वयन विवरण

स्विस रोल प्रयोग: 40,000 प्रशिक्षण दौर, 15-परत पूरी तरह से जुड़ा नेटवर्क, ReLU सक्रियण, परत सामान्यीकरण
LJ Speech प्रयोग: Grad-TTS आर्किटेक्चर का उपयोग, n=2 तक परीक्षण (उच्च क्रम प्रशिक्षण कठिन)
95% विश्वास अंतराल प्राप्त करने के लिए 25 बार प्रयोग दोहराए गए

प्रायोगिक परिणाम

मुख्य परिणाम

स्विस रोल डेटासेट

AUROC मॉडल क्रम n और विचरण कारक β में वृद्धि के साथ में काफी कम हो जाता है
β=2 और β=10 के 95% विश्वास अंतराल ओवरलैप नहीं होते हैं, जो सांख्यिकीय महत्व को इंगित करता है
उच्च-क्रम मॉडल (n>1) गोपनीयता सुरक्षा के मामले में पारंपरिक विसरण मॉडल से स्पष्ट रूप से बेहतर हैं

LJ Speech डेटासेट

प्रयोगात्मक परिणाम दर्शाते हैं कि n=2 n=1 की तुलना में बेहतर गोपनीयता सुरक्षा और उत्पादन गुणवत्ता रखता है:

Epochs	FID (n=1)	FID (n=2)	AUROC (n=1)	AUROC (n=2)
30	91.65	77.50	0.503	0.597
60	94.31	62.57	0.686	0.481
90	102.50	65.20	0.869	0.525
180	89.18	57.43	0.949	0.696

विलोपन प्रयोग

मॉडल क्रम n का प्रभाव: n में वृद्धि के साथ, AUROC में काफी कमी आती है, गोपनीयता सुरक्षा बढ़ती है
विचरण कारक β का प्रभाव: बड़े β मान बेहतर गोपनीयता सुरक्षा प्रदान करते हैं
समय वितरण विश्लेषण: गोपनीयता कमजोरी मुख्य रूप से विसरण प्रक्रिया के प्रारंभिक चरण में केंद्रित है

प्रयोगात्मक निष्कर्ष

CIFAR-10 पर अप्रत्याशित परिणाम: छवि डेटासेट पर AUROC 0.5 के करीब है, जो दर्शाता है कि निरंतर समय विसरण मॉडल स्वयं MIA के प्रति मजबूत प्रतिरोध क्षमता रखते हैं
भाषण डेटा की विशेषता: मेल स्पेक्ट्रोग्राम छवियों की तुलना में डेटा वृद्धि के लिए अधिक कठिन हैं, जिससे भाषण डेटा MIA हमलों के लिए अधिक असुरक्षित हो जाता है
गुणवत्ता-गोपनीयता व्यापार: उच्च-क्रम मॉडल बेहतर गोपनीयता सुरक्षा प्रदान करते समय, उच्च गुणवत्ता वाले उत्पन्न नमूने भी पैदा कर सकते हैं

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

HOLD++ प्रभावी MIA रक्षा प्रदान करता है: सहायक चर द्वारा पेश की गई यादृच्छिकता के माध्यम से सदस्यता अनुमान हमले की सफलता दर में काफी कमी आती है
सैद्धांतिक गारंटी और व्यावहारिक सत्यापन सुसंगत हैं: Rényi अंतर गोपनीयता विश्लेषण प्रयोगात्मक परिणामों के अनुरूप है
गुणवत्ता-गोपनीयता दोहरा सुधार: कुछ मामलों में, उच्च-क्रम मॉडल उत्पादन गुणवत्ता और गोपनीयता सुरक्षा दोनों में सुधार करते हैं

सीमाएं

प्रशिक्षण जटिलता में वृद्धि: उच्च-क्रम मॉडल का प्रशिक्षण अधिक कठिन है, विशेष रूप से जटिल डेटासेट पर
पैरामीटर समायोजन की जटिलता: मॉडल क्रम n, विचरण कारक β, गोपनीयता पैरामीटर ε_num के बीच व्यापार की आवश्यकता है
सीमित उच्च-क्रम सत्यापन: वास्तविक डेटासेट पर केवल n=2 तक सत्यापित, उच्च क्रम के प्रभाव पर्याप्त रूप से सत्यापित नहीं हैं

भविष्य की दिशाएं

अधिक कुशल उच्च-क्रम मॉडल प्रशिक्षण विधियों की खोज
अन्य प्रकार के जनरेटिव मॉडल पर उच्च-क्रम गतिविज्ञान अनुप्रयोग का अनुसंधान
स्व-अनुकूली पैरामीटर चयन रणनीति का विकास

गहन मूल्यांकन

शक्तियां

सैद्धांतिक नवाचार मजबूत है: उच्च-क्रम लैंजविन गतिविज्ञान को गोपनीयता सुरक्षा के साथ कुशलतापूर्वक जोड़ा गया है, नई सैद्धांतिक दृष्टिकोण प्रदान करता है
गणितीय विश्लेषण कठोर है: पूर्ण Rényi अंतर गोपनीयता प्रमाण और गोपनीयता हानि ऊपरी सीमा विश्लेषण प्रदान करता है
प्रयोगात्मक डिजाइन तर्कसंगत है: खिलौना डेटासेट से वास्तविक डेटासेट तक की क्रमिक सत्यापन रणनीति वैज्ञानिक रूप से प्रभावी है
व्यावहारिक मूल्य अधिक है: पारंपरिक अंतर गोपनीयता के अलावा नई रक्षा सोच प्रदान करता है

कमियां

प्रयोगात्मक पैमाना सीमित है: केवल दो डेटासेट पर सत्यापन, बड़े पैमाने पर डेटासेट पर प्रयोग की कमी है
कम्प्यूटेशनल ओवरहेड विश्लेषण अनुपस्थित है: उच्च-क्रम मॉडल द्वारा लाई गई अतिरिक्त कम्प्यूटेशनल लागत का विस्तृत विश्लेषण नहीं किया गया है
अन्य रक्षा विधियों के साथ तुलना अपर्याप्त है: मुख्य रूप से पारंपरिक विसरण मॉडल के साथ तुलना, DPDM आदि विधियों के साथ प्रत्यक्ष तुलना की कमी है
पैरामीटर संवेदनशीलता विश्लेषण पर्याप्त गहरा नहीं है: मुख्य हाइपरपैरामीटर चयन के लिए मार्गदर्शन स्पष्ट नहीं है

प्रभाव

शैक्षणिक योगदान: विसरण मॉडल गोपनीयता सुरक्षा के लिए नई सैद्धांतिक ढांचा और व्यावहारिक विधि प्रदान करता है
व्यावहारिक मूल्य: चिकित्सा, वित्त आदि संवेदनशील डेटा क्षेत्रों में महत्वपूर्ण अनुप्रयोग संभावना है
पुनरुत्पादनीयता: लेखक ने खुला स्रोत कोड प्रदान किया है, अनुसंधान पुनरुत्पादन और विस्तार को सुविधाजनक बनाता है

लागू परिस्थितियां

संवेदनशील डेटा उत्पादन: चिकित्सा इमेजिंग, भाषण संश्लेषण आदि गोपनीयता से संबंधित उत्पादन कार्य
संघीय शिक्षा पर्यावरण: डेटा गोपनीयता की सुरक्षा करते हुए सहयोगी प्रशिक्षण की आवश्यकता
औद्योगिक अनुप्रयोग: बौद्धिक संपत्ति सुरक्षा के लिए कठोर आवश्यकता वाले जनरेटिव मॉडल तैनाती

संदर्भ

यह पेपर 17 महत्वपूर्ण संदर्भों का हवाला देता है, जो विसरण मॉडल मूल सिद्धांत, सदस्यता अनुमान हमले विधियां, अंतर गोपनीयता तकनीक और उच्च-क्रम लैंजविन गतिविज्ञान आदि मुख्य क्षेत्रों के प्रतिनिधि कार्य को शामिल करते हैं, अनुसंधान के लिए मजबूत सैद्धांतिक आधार प्रदान करते हैं।

समग्र मूल्यांकन: यह विसरण मॉडल गोपनीयता सुरक्षा क्षेत्र में महत्वपूर्ण नवाचार महत्व वाला एक पेपर है। उच्च-क्रम लैंजविन गतिविज्ञान को सदस्यता अनुमान हमले रक्षा के साथ जोड़कर, एक नई और प्रभावी समाधान प्रदान करता है। हालांकि प्रयोगात्मक पैमाने और कुछ तकनीकी विवरणों में सुधार की गुंजाइश है, लेकिन इसके सैद्धांतिक योगदान और व्यावहारिक मूल्य इसे इस क्षेत्र में महत्वपूर्ण प्रगति बनाते हैं।