2025-11-13T23:49:14.865072

PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models

Li, Yu, Zhao
AI foundation models have recently demonstrated impressive capabilities across a wide range of tasks. Fine-tuning (FT) is a method of customizing a pre-trained AI foundation model by further training it on a smaller, targeted dataset. In this paper, we initiate the study of the Privacy-Preserving Parameter-Efficient FT (P3EFT) framework, which can be viewed as the intersection of Parameter-Efficient FT (PEFT) and Privacy-Preserving FT (PPFT). PEFT modifies only a small subset of the model's parameters to achieve FT (i.e., adapting a pre-trained model to a specific dataset), while PPFT uses privacy-preserving technologies to protect the confidentiality of the model during the FT process. There have been many studies on PEFT or PPFT but very few on their fusion, which motivates our work on P3EFT to achieve both parameter efficiency and model privacy. To exemplify our P3EFT, we present the PrivTuner scheme, which incorporates Fully Homomorphic Encryption (FHE) enabled privacy protection into LoRA (short for ``Low-Rank Adapter''). Intuitively speaking, PrivTuner allows the model owner and the external data owners to collaboratively implement PEFT with encrypted data. After describing PrivTuner in detail, we further investigate its energy consumption and privacy protection. Then, we consider a PrivTuner system over wireless communications and formulate a joint optimization problem to adaptively minimize energy while maximizing privacy protection, with the optimization variables including FDMA bandwidth allocation, wireless transmission power, computational resource allocation, and privacy protection. A resource allocation algorithm is devised to solve the problem. Experiments demonstrate that our algorithm can significantly reduce energy consumption while adapting to different privacy requirements.
academic

होमोमॉर्फिक एन्क्रिप्शन और LoRA के साथ PrivTuner: AI फाउंडेशन मॉडल्स के गोपनीयता-संरक्षण पैरामीटर-कुशल फाइन-ट्यूनिंग के लिए एक P3EFT योजना

मूल जानकारी

  • पेपर ID: 2410.00433
  • शीर्षक: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models
  • लेखक: Yang Li, Wenhan Yu, Jun Zhao (नानयांग तकनीकी विश्वविद्यालय)
  • वर्गीकरण: cs.CR (क्रिप्टोग्राफी और सुरक्षा)
  • प्रकाशन समय: अक्टूबर 2024 (arXiv प्रीप्रिंट)
  • पेपर लिंक: https://arxiv.org/abs/2410.00433

सारांश

यह पेपर गोपनीयता-संरक्षण पैरामीटर-कुशल फाइन-ट्यूनिंग (P3EFT) ढांचा प्रस्तावित करता है, जो पैरामीटर-कुशल फाइन-ट्यूनिंग (PEFT) को गोपनीयता-संरक्षण फाइन-ट्यूनिंग (PPFT) के साथ जोड़ता है। लेखकों ने PrivTuner योजना डिजाइन की है, जो पूर्ण होमोमॉर्फिक एन्क्रिप्शन (FHE) को LoRA में एकीकृत करती है, जिससे मॉडल मालिकों और बाहरी डेटा मालिकों के बीच सहयोगी गोपनीयता-संरक्षण फाइन-ट्यूनिंग प्राप्त होती है। पेपर वायरलेस संचार वातावरण में PrivTuner सिस्टम पर विचार करता है, ऊर्जा खपत को कम करते हुए गोपनीयता संरक्षण को अधिकतम करने के लिए एक संयुक्त अनुकूलन समस्या स्थापित करता है, और संबंधित संसाधन आवंटन एल्गोरिदम प्रस्तावित करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

मुख्य समस्याएं

  1. गोपनीयता संरक्षण की आवश्यकता: AI फाउंडेशन मॉडल्स की फाइन-ट्यूनिंग प्रक्रिया में डेटा गोपनीयता और मॉडल गोपनीयता समस्याएं मौजूद हैं। उद्यम निजी डेटा साझा करने के लिए अनिच्छुक हैं, साथ ही मॉडल मालिक भी मॉडल पैरामीटर को उजागर करने के लिए अनिच्छुक हैं।
  2. कम्प्यूटेशनल दक्षता चुनौती: पारंपरिक पूर्ण-पैरामीटर फाइन-ट्यूनिंग विशाल कम्प्यूटेशनल ओवरहेड प्रस्तुत करती है, विशेष रूप से बड़े फाउंडेशन मॉडल्स के लिए, स्थानीय फाइन-ट्यूनिंग संसाधन-सीमित उपकरणों के लिए एक महत्वपूर्ण बोझ बनाता है।
  3. मौजूदा विधियों की सीमाएं:
    • PEFT विधियां कम्प्यूटेशनल बोझ को कम करती हैं, लेकिन गोपनीयता संरक्षण समस्याओं को नजरअंदाज करती हैं
    • PPFT विधियां गोपनीयता की रक्षा कर सकती हैं, लेकिन आमतौर पर अतिरिक्त संचार और कम्प्यूटेशनल ओवरहेड प्रस्तुत करती हैं

अनुसंधान प्रेरणा

मौजूदा अनुसंधान मुख्य रूप से PEFT या PPFT के अलग-अलग अनुप्रयोग पर केंद्रित है, दोनों के संलयन का व्यवस्थित अध्ययन अभाव है। यह पेपर इस अंतराल को भरने का लक्ष्य रखता है, P3EFT ढांचा प्रस्तावित करता है, जो सीमित कम्प्यूटेशनल बजट के तहत गोपनीयता संरक्षण और पैरामीटर दक्षता के दोहरे उद्देश्य को प्राप्त करता है।

मुख्य योगदान

  1. P3EFT ढांचा प्रस्तावित करना: पहली बार व्यवस्थित रूप से PEFT और PPFT को जोड़ता है, दो अनुसंधान क्षेत्रों के बीच अंतराल को पाटता है।
  2. PrivTuner योजना डिजाइन करना: CKKS पूर्ण होमोमॉर्फिक एन्क्रिप्शन योजना को LoRA तकनीक के साथ जोड़ता है, डेटा और मॉडल गोपनीयता की रक्षा करते हुए कम्प्यूटेशनल बोझ को कम करते हुए सुरक्षित और कुशल सहयोगी फाइन-ट्यूनिंग प्राप्त करता है।
  3. खपत और गोपनीयता संरक्षण मॉडल स्थापित करना: सर्वर और डिवाइस दृष्टिकोण से समय और ऊर्जा खपत मॉडल का विश्लेषण करता है, गोपनीयता संरक्षण स्तर के लिए मात्रात्मक मेट्रिक्स प्रदान करता है।
  4. संयुक्त अनुकूलन एल्गोरिदम डिजाइन करना: शाखा और बाउंड (B&B) और भिन्नात्मक प्रोग्रामिंग तकनीकों को जोड़ने वाला संसाधन आवंटन एल्गोरिदम प्रस्तावित करता है, कम्प्यूटेशनल क्षमता, वायरलेस संचार संसाधनों और FHE सेटिंग्स की संयुक्त अनुकूलन समस्या को प्रभावी ढंग से हल करता है।

विधि विवरण

कार्य परिभाषा

P3EFT कार्य को इस प्रकार परिभाषित किया गया है: पूर्व-प्रशिक्षित फाउंडेशन मॉडल W₀ और निजी डेटासेट दिए गए हैं, डेटा गोपनीयता और मॉडल गोपनीयता की रक्षा करते हुए, केवल कुछ पैरामीटर अपडेट करके मॉडल फाइन-ट्यूनिंग प्राप्त करें।

PrivTuner आर्किटेक्चर

सिस्टम मॉडल

  • प्रतिभागी: मॉडल मालिक सर्वर और N बाहरी मोबाइल डिवाइसेस
  • सुरक्षा मॉडल: ईमानदार लेकिन जिज्ञासु (honest but curious) मॉडल
  • मुख्य विचार: डिवाइसेस FHE एन्क्रिप्टेड डेटा प्रेषित करते हैं, मूल डेटा नहीं, सर्वर एन्क्रिप्टेड डेटा पर कम्प्यूटेशन निष्पादित करता है

मुख्य चरण

चरण 1: डेटा एन्क्रिप्शन

pkₙ, skₙ = KeyGen(λₙ, qₙ), ∀n ∈ N
X̃ᶠᵗₙ = Enc(pkₙ, Xᶠᵗₙ), ∀n ∈ N

चरण 2: अडैप्टर जनरेशन LoRA तकनीक का उपयोग करके निम्न-रैंक अडैप्टर जनरेट करता है:

Aₙ = {A¹ₙ, A²ₙ} = LoRAₙ(W₀), ∀n ∈ N

चरण 3: एन्क्रिप्टेड भविष्यवाणी एन्क्रिप्टेड डेटा पर भविष्यवाणी निष्पादित करता है:

Ỹᵖₙ = Eval(pkₙ, (W₀, Aₙ), X̃ᶠᵗₙ, fᵖ), ∀n ∈ N

जहां भविष्यवाणी फ़ंक्शन है:

fᵖ(W₀, Aₙ, X̃ᶠᵗₙ) = W₀X̃ᶠᵗₙ + A¹ₙA²ₙX̃ᶠᵗₙ

चरण 4: डिक्रिप्शन और हानि गणना

Yᵖₙ = Dec(skₙ, Ỹᵖₙ)
Lₙ = Lₙ(Yᵖₙ, Yᶠᵗₙ)

चरण 5: अडैप्टर अपडेट हानि फ़ंक्शन के आधार पर अडैप्टर पैरामीटर अपडेट करता है।

HE-friendly BERT-Tiny मॉडल

CKKS योजना का उपयोग करके BERT-Tiny मॉडल में गैर-रैखिक फ़ंक्शन्स को संभालता है:

  • Softmax: मैक्लॉरिन श्रृंखला का उपयोग करके घातीय फ़ंक्शन को अनुमानित करता है
  • GeLU: चेबिशेव बहुपद अनुमान का उपयोग करता है
  • LayerNorm: माध्य और मानक विचलन की पूर्व-गणना करके गणना को सरल बनाता है
  • विभाजन संचालन: चेबिशेव बहुपद अनुमान का उपयोग करता है

तकनीकी नवाचार बिंदु

  1. FHE और LoRA का जैविक संयोजन: पहली बार CKKS पूर्ण होमोमॉर्फिक एन्क्रिप्शन को LoRA तकनीक के साथ जोड़ता है, एन्क्रिप्टेड डोमेन पर पैरामीटर-कुशल फाइन-ट्यूनिंग प्राप्त करता है।
  2. गैर-रैखिक फ़ंक्शन्स हैंडलिंग: Transformer मॉडल में गैर-रैखिक फ़ंक्शन्स की FHE वातावरण में कम्प्यूटेशनल समस्याओं को व्यवस्थित रूप से हल करता है।
  3. संसाधन अनुकूलन ढांचा: वायरलेस संचार वातावरण में व्यावहारिक बाधाओं पर विचार करता है, ऊर्जा खपत और गोपनीयता संरक्षण के बीच व्यापार-बंद अनुकूलन मॉडल स्थापित करता है।

प्रायोगिक सेटअप

डेटासेट

GLUE बेंचमार्क से तीन डेटासेट का उपयोग करता है:

  • SST-2: भावना विश्लेषण कार्य
  • MRPC: वाक्य समानता निर्णय
  • RTE: पाठ निहितार्थ पहचान

प्रायोगिक वातावरण

  • हार्डवेयर: Intel Xeon Gold 5218R CPU@2.10GHz
  • FHE लाइब्रेरी: OpenFHE with HEXL त्वरण
  • FHE पैरामीटर: बहुपद डिग्री λ=2¹⁵, गुणांक मॉड्यूलस q=1767 bits

मूल्यांकन मेट्रिक्स

  • सटीकता: मॉडल वर्गीकरण प्रदर्शन
  • ऊर्जा खपत: कुल ऊर्जा खपत (जूल)
  • गोपनीयता संरक्षण स्तर: LWE-estimator के आधार पर सुरक्षा स्तर (बिट्स)
  • रन टाइम: विभिन्न संचालनों का समय ओवरहेड

तुलना विधियां

  • Average Allocation: औसत संसाधन आवंटन
  • Optimize f,g only: केवल कम्प्यूटेशनल आवृत्ति अनुकूलन
  • Optimize p,B only: केवल ट्रांसमिशन पावर और बैंडविड्थ अनुकूलन

प्रायोगिक परिणाम

मुख्य परिणाम

मॉडल प्रदर्शन

डेटासेटBERT-TinyFHE-BERT-Tinyप्रदर्शन गिरावट
SST-20.8230.7900.033
MRPC0.7030.6750.028
RTE0.6010.5640.037

रन टाइम विश्लेषण

संचालनसमय खपत (सेकंड)
एन्क्रिप्शन (क्लाइंट)0.7106
भविष्यवाणी (सर्वर)163.3211
डिक्रिप्शन (क्लाइंट)0.0119
कुल164.0436

विभिन्न λ के तहत प्रदर्शन व्यापार-बंद

λरन टाइमसुरक्षा स्तर (बिट्स)
2¹⁵164.04s66.1
2¹⁶330.13s128.4
2¹⁷719.64s277.0

ऊर्जा खपत अनुकूलन परिणाम

विभिन्न संसाधन कॉन्फ़िगरेशन के तहत, प्रस्तावित संयुक्त अनुकूलन एल्गोरिदम बेसलाइन विधियों की तुलना में:

  • बैंडविड्थ भिन्नता: जब कुल बैंडविड्थ 5MHz से 25MHz तक बढ़ता है, एल्गोरिदम हमेशा इष्टतम प्रदर्शन बनाए रखता है
  • ट्रांसमिशन पावर: 10-30dBm रेंज में, अनुकूलन एल्गोरिदम स्थिर प्रदर्शन दिखाता है
  • समय बजट: जैसे-जैसे डिवाइस समय बजट बढ़ता है, ऊर्जा खपत में उल्लेखनीय कमी आती है

गोपनीयता संरक्षण व्यापार-बंद विश्लेषण

वजन पैरामीटर ω (1-10) को समायोजित करके:

  • ऊर्जा खपत और गोपनीयता का व्यापार-बंद: ω बढ़ने पर, गोपनीयता संरक्षण स्तर में सुधार होता है लेकिन ऊर्जा खपत बढ़ती है
  • डिवाइस चयन रणनीति: गोपनीयता-केंद्रित डिवाइसेस बड़े λ मान चुनने की ओर झुकते हैं

विलोपन प्रयोग

विभिन्न अनुकूलन घटकों की प्रभावशीलता को सत्यापित करता है:

  • संयुक्त अनुकूलन f,g या p,B के अलग-अलग अनुकूलन की तुलना में महत्वपूर्ण सुधार दिखाता है
  • शाखा और बाउंड एल्गोरिदम असतत अनुकूलन समस्या को प्रभावी ढंग से हल करता है
  • भिन्नात्मक प्रोग्रामिंग तकनीक गैर-उत्तल अनुकूलन चुनौती को सफलतापूर्वक संभालती है

संबंधित कार्य

PEFT संबंधित अनुसंधान

  • LoRA: निम्न-रैंक अडैप्टर तकनीक
  • Prefix-tuning, Prompt tuning, BitFit: अन्य पैरामीटर-कुशल विधियां

PPFT संबंधित अनुसंधान

  • संघीय शिक्षा: वितरित गोपनीयता-संरक्षण प्रशिक्षण
  • अंतर गोपनीयता: गोपनीयता की रक्षा के लिए शोर जोड़ना
  • सुरक्षित बहु-पक्षीय कम्प्यूटेशन: बहु-पक्षीय सहयोगी कम्प्यूटेशन
  • होमोमॉर्फिक एन्क्रिप्शन: एन्क्रिप्टेड डोमेन कम्प्यूटेशन

गहन शिक्षा में FHE के अनुप्रयोग

  • CNN अनुप्रयोग: CryptoNets, CareNets आदि
  • RNN अनुप्रयोग: अनुक्रमिक डेटा के लिए गोपनीयता-संरक्षण
  • Transformer अनुप्रयोग: Iron, BOLT, BlindTune आदि

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. P3EFT ढांचे की व्यवहार्यता: PrivTuner पैरामीटर दक्षता और गोपनीयता संरक्षण दोनों को एक साथ प्राप्त करने की संभावना को सफलतापूर्वक प्रमाणित करता है
  2. व्यावहारिकता सत्यापन: GLUE डेटासेट पर स्वीकार्य प्रदर्शन प्राप्त करता है, गोपनीयता संरक्षण की लागत अपेक्षाकृत कम है
  3. अनुकूलन एल्गोरिदम प्रभावशीलता: संयुक्त संसाधन आवंटन एल्गोरिदम ऊर्जा खपत-गोपनीयता व्यापार-बंद में उत्कृष्ट प्रदर्शन करता है

सीमाएं

  1. अडैप्टर गोपनीयता: वर्तमान योजना में अडैप्टर सादे पाठ रूप में संग्रहीत होते हैं, जो कुछ जानकारी लीक कर सकते हैं
  2. कम्प्यूटेशनल ओवरहेड: FHE संचालन अभी भी महत्वपूर्ण कम्प्यूटेशनल ओवरहेड प्रस्तुत करते हैं, जो वास्तविक समय अनुप्रयोगों को सीमित करते हैं
  3. सुरक्षा मॉडल सीमा: केवल ईमानदार लेकिन जिज्ञासु मॉडल पर विचार करता है, दुर्भावनापूर्ण प्रतिद्वंद्वी परिदृश्य को संभालता नहीं है
  4. स्केलेबिलिटी समस्या: जैसे-जैसे मॉडल आकार बढ़ता है, FHE ओवरहेड एक बाधा बन सकता है

भविष्य की दिशाएं

  1. दुर्भावनापूर्ण सुरक्षा: दुर्भावनापूर्ण प्रतिद्वंद्वी मॉडल तक विस्तार
  2. हार्डवेयर त्वरण: GPU जैसे विशेष हार्डवेयर का उपयोग करके FHE कम्प्यूटेशन को त्वरित करना
  3. मजबूत गोपनीयता संरक्षण: अडैप्टर गोपनीयता की रक्षा के लिए MPC जैसी तकनीकों की खोज
  4. बड़े मॉडल अनुकूलन: बड़े पैमाने के मॉडल पर अनुप्रयोग का अनुसंधान

गहन मूल्यांकन

शक्तियां

  1. मजबूत नवाचार: पहली बार व्यवस्थित रूप से PEFT और PPFT को जोड़ता है, महत्वपूर्ण अनुसंधान अंतराल को भरता है
  2. सैद्धांतिक पूर्णता: पूर्ण सैद्धांतिक विश्लेषण ढांचा प्रदान करता है, जिसमें सुरक्षा, जटिलता और अभिसरण विश्लेषण शामिल है
  3. पर्याप्त प्रयोग: कई आयामों से विधि की प्रभावशीलता को सत्यापित करता है, जिसमें सटीकता, ऊर्जा खपत, गोपनीयता संरक्षण आदि शामिल हैं
  4. व्यावहारिक विचार: वायरलेस संचार वातावरण में व्यावहारिक बाधाओं पर विचार करता है, अच्छी अनुप्रयोग संभावनाएं हैं

कमियां

  1. प्रदर्शन गिरावट: FHE द्वारा प्रस्तुत कम्प्यूटेशनल ओवरहेड से महत्वपूर्ण प्रदर्शन गिरावट होती है (लगभग 3-4% सटीकता नुकसान)
  2. स्केलेबिलिटी सीमा: वर्तमान प्रयोग केवल BERT-Tiny पर किए गए हैं, बड़े मॉडल की प्रयोज्यता सत्यापित होनी बाकी है
  3. सुरक्षा धारणा: ईमानदार लेकिन जिज्ञासु मॉडल वास्तविक अनुप्रयोगों में अत्यधिक आदर्शवादी हो सकता है
  4. पैरामीटर ट्यूनिंग: कई FHE पैरामीटर के चयन के लिए विशेषज्ञ ज्ञान की आवश्यकता होती है, उपयोग की दहलीज बढ़ाता है

प्रभाव

  1. शैक्षणिक योगदान: गोपनीयता-संरक्षण मशीन लर्निंग क्षेत्र के लिए नई अनुसंधान दिशा प्रदान करता है
  2. व्यावहारिक मूल्य: गोपनीयता-संरक्षण AI सेवाओं के लिए व्यवहार्य तकनीकी पथ प्रदान करता है
  3. पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण और पैरामीटर सेटिंग्स प्रदान करता है, पुनरुत्पादन को सुविधाजनक बनाता है

लागू परिदृश्य

  1. चिकित्सा AI: चिकित्सा डेटा संवेदनशील है, मॉडल फाइन-ट्यूनिंग के लिए गोपनीयता संरक्षण की आवश्यकता है
  2. वित्तीय सेवाएं: वित्तीय संस्थानों के बीच मॉडल सहयोगी प्रशिक्षण
  3. एज कम्प्यूटिंग: संसाधन-सीमित वातावरण में गोपनीयता-संरक्षण AI सेवाएं
  4. संघीय शिक्षा: संघीय शिक्षा के लिए एक वर्धित तकनीक के रूप में

संदर्भ

पेपर कई महत्वपूर्ण कार्यों का हवाला देता है, जिनमें शामिल हैं:

  • LoRA मूल पेपर Hu et al., ICLR 2021
  • CKKS होमोमॉर्फिक एन्क्रिप्शन योजना Cheon et al., 2017
  • BERT मॉडल Devlin et al., 2018
  • संबंधित गोपनीयता-संरक्षण गहन शिक्षा कार्य

समग्र मूल्यांकन: यह तकनीकी नवाचार, सैद्धांतिक विश्लेषण और प्रायोगिक सत्यापन के सभी पहलुओं में उत्कृष्ट प्रदर्शन करने वाला एक उच्च-गुणवत्ता वाला अनुसंधान पेपर है। हालांकि कुछ सीमाएं हैं, लेकिन यह गोपनीयता-संरक्षण AI क्षेत्र के लिए महत्वपूर्ण अनुसंधान दिशा खोलता है, जिसमें महत्वपूर्ण शैक्षणिक मूल्य और अनुप्रयोग संभावनाएं हैं।