2025-11-19T21:37:14.535760

Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption

Lee, Lee, Kim et al.
Recent studies have explored the deployment of privacy-preserving deep neural networks utilizing homomorphic encryption (HE), especially for private inference (PI). Many works have attempted the approximation-aware training (AAT) approach in PI, changing the activation functions of a model to low-degree polynomials that are easier to compute on HE by allowing model retraining. However, due to constraints in the training environment, it is often necessary to consider post-training approximation (PTA), using the pre-trained parameters of the existing plaintext model without retraining. Existing PTA studies have uniformly approximated the activation function in all layers to a high degree to mitigate accuracy loss from approximation, leading to significant time consumption. This study proposes an optimized layerwise approximation (OLA), a systematic framework that optimizes both accuracy loss and time consumption by using different approximation polynomials for each layer in the PTA scenario. For efficient approximation, we reflect the layerwise impact on the classification accuracy by considering the actual input distribution of each activation function while constructing the optimization problem. Additionally, we provide a dynamic programming technique to solve the optimization problem and achieve the optimized layerwise degrees in polynomial time. As a result, the OLA method reduces inference times for the ResNet-20 model and the ResNet-32 model by 3.02 times and 2.82 times, respectively, compared to prior state-of-the-art implementations employing uniform degree polynomials. Furthermore, we successfully classified CIFAR-10 by replacing the GELU function in the ConvNeXt model with only 3-degree polynomials using the proposed method, without modifying the backbone model.
academic

पूर्ण समरूप एन्क्रिप्शन पर कुशल निजी अनुमान के लिए अनुकूलित परतवार सन्निकटन

मूल जानकारी

  • पेपर ID: 2310.10349
  • शीर्षक: पूर्ण समरूप एन्क्रिप्शन पर कुशल निजी अनुमान के लिए अनुकूलित परतवार सन्निकटन
  • लेखक: Junghyun Lee, Joon-Woo Lee, Eunsang Lee, Young-Sik Kim, Yongwoo Lee, Yongjune Kim, Jong-Seon No
  • वर्गीकरण: cs.CR (क्रिप्टोग्राफी और सुरक्षा), cs.AI (कृत्रिम बुद्धिमत्ता)
  • प्रकाशन समय: अक्टूबर 2023 (arXiv v4: 14 अक्टूबर 2025)
  • पेपर लिंक: https://arxiv.org/abs/2310.10349

सारांश

यह पेपर पूर्ण समरूप एन्क्रिप्शन (FHE) पर कुशल निजी अनुमान के लिए एक अनुकूलित परतवार सन्निकटन (OLA) विधि प्रस्तावित करता है। यह विधि प्रत्येक परत के लिए विभिन्न सन्निकटन बहुपदों का उपयोग करके सटीकता हानि और समय खपत को अनुकूलित करती है, पश्च-प्रशिक्षण सन्निकटन (PTA) परिदृश्य में अनुमान दक्षता को महत्वपूर्ण रूप से बढ़ाती है। OLA विधि ResNet-20 और ResNet-32 मॉडल के अनुमान समय को क्रमशः 3.02 गुना और 2.82 गुना कम करती है, और ConvNeXt मॉडल में GELU फ़ंक्शन को केवल 3 डिग्री बहुपद से सफलतापूर्वक प्रतिस्थापित करती है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

गोपनीयता-संरक्षित मशीन लर्निंग (PPML) में, पूर्ण समरूप एन्क्रिप्शन (FHE) एन्क्रिप्टेड डेटा पर सीधे गणना करने की अनुमति देता है, लेकिन FHE योजनाएं केवल बुनियादी अंकगणितीय संचालन (जोड़ और गुणा) का समर्थन करती हैं, और गैर-अंकगणितीय सक्रियण फ़ंक्शन (जैसे ReLU, GELU, sigmoid आदि) को सीधे संभाल नहीं सकती हैं।

समस्या की महत्ता

  1. गोपनीयता की बढ़ती मांग: क्लाउड कंप्यूटिंग के विकास के साथ, MLaaS (मशीन लर्निंग सेवा के रूप में) को डेटा गोपनीयता की सुरक्षा करते हुए सेवा प्रदान करने की आवश्यकता है
  2. व्यावहारिकता की आवश्यकता: मौजूदा विधियों का अनुमान समय बहुत लंबा है, जो वास्तविक अनुप्रयोग आवश्यकताओं को पूरा करना मुश्किल है
  3. मॉडल संगतता: मॉडल को पुनः प्रशिक्षित किए बिना निजी अनुमान को लागू करने की आवश्यकता है

मौजूदा विधियों की सीमाएं

  1. AAT विधि: मॉडल को पुनः प्रशिक्षित करने की आवश्यकता है, और बड़े पैमाने पर डेटासेट पर प्रभावी नहीं है
  2. PTA विधि: सभी परतें एकीकृत उच्च-डिग्री बहुपद सन्निकटन का उपयोग करती हैं, जिससे अनुमान समय लंबा हो जाता है
  3. कम्प्यूटेशनल दक्षता: मौजूदा विधियां वर्गीकरण सटीकता पर विभिन्न परतों के विभिन्न प्रभावों पर विचार नहीं करती हैं

अनुसंधान प्रेरणा

PTA विधि की मुख्य बाधा—अनुमान समय बहुत लंबा—को संबोधित करते हुए, एक व्यवस्थित परतवार अनुकूलन ढांचा प्रस्तावित करें, जो विभिन्न परतों के लिए विभिन्न डिग्री के सन्निकटन बहुपदों का उपयोग करके सटीकता और दक्षता को संतुलित करता है।

मुख्य योगदान

  1. OLA ढांचा प्रस्तावित करें: PTA परिदृश्य के लिए पहली बार परतवार अनुकूलित सन्निकटन विधि प्रस्तावित करें, प्रत्येक परत के लिए विभिन्न डिग्री के बहुपद का उपयोग करें
  2. वितरण-जागरूक सन्निकटन: भारित न्यूनतम वर्ग के आधार पर, विभिन्न परतों के सक्रियण फ़ंक्शन के वास्तविक इनपुट वितरण पर विचार करें
  3. गतिशील प्रोग्रामिंग एल्गोरिदम: बहुपद समय जटिलता के साथ इष्टतम डिग्री आवंटन को हल करने के लिए अनुकूलन एल्गोरिदम प्रदान करें
  4. महत्वपूर्ण प्रदर्शन सुधार: ResNet और ConvNeXt मॉडल पर 2.82-3.02 गुना अनुमान त्वरण प्राप्त करें
  5. सैद्धांतिक विश्लेषण: संपूर्ण गणितीय सैद्धांतिक आधार और अभिसरण प्रमाण प्रदान करें

विधि विवरण

कार्य परिभाषा

इनपुट: गैर-अंकगणितीय सक्रियण फ़ंक्शन युक्त पूर्व-प्रशिक्षित गहन तंत्रिका नेटवर्क मॉडल आउटपुट: प्रत्येक परत के लिए इष्टतम बहुपद डिग्री आवंटन बाधाएं: अनुमान समय बजट K, सटीकता हानि थ्रेशोल्ड उद्देश्य: औसत हानि विचरण को कम करें, समय बाधा को संतुष्ट करें

मॉडल आर्किटेक्चर

1. वितरण-जागरूक सन्निकटन (प्रमेय 1)

सक्रियण फ़ंक्शन f(x) और इनपुट वितरण φ(x) के लिए, इष्टतम d डिग्री सन्निकटन बहुपद है:

P_φ[d; f](x) = Σ(l=0 to d) h_l(x) ∫ φ(t)f(t)h_l(t)dt

जहां {h_l(x)} Gram-Schmidt प्रक्रिया के माध्यम से प्राप्त ऑर्थोगोनल बहुपद आधार है।

2. औसत हानि विचरण मॉडलिंग

सन्निकटन त्रुटि को एक यादृच्छिक चर के रूप में मानते हुए, हानि फ़ंक्शन का विचरण है:

Var[ΔL] = Σ(i=1 to N_L) A_i E_φi[d_i; f]

जहां:

  • A_i = (1/N_T) Σ_k Σ_j (∂L/∂a_{i,j})²: i-वीं परत का सटीकता पर प्रभाव भार
  • E_φid_i; f: i-वीं परत की न्यूनतम MSE

3. अनुकूलन समस्या सूत्रीकरण

न्यूनतम करें: V(d) = Σ(i=1 to N_L) A_i E_i(d_i)
विषय: T(d) = Σ(i=1 to N_L) T_i(d_i) ≤ K

4. गतिशील प्रोग्रामिंग समाधान (एल्गोरिदम 1)

  • समय जटिलता: O(N_L × N_K × |S|)
  • स्पेस जटिलता: O(N_L × N_K)
  • पुनरावर्ती संबंध: P(l+1,k) {P(l,k')} के इष्टतम समाधान पर आधारित है

तकनीकी नवाचार बिंदु

  1. परतवार विभेदीकृत प्रसंस्करण: विभिन्न परतों के लिए विभिन्न बहुपद डिग्री आवंटित करने के लिए पहली बार व्यवस्थित रूप से
  2. इनपुट वितरण मॉडलिंग: सैद्धांतिक वितरण के बजाय वास्तविक परत-दर-परत डेटा वितरण का उपयोग करें
  3. स्केलिंग वितरण-जागरूक सन्निकटन: पैरामीटर r के माध्यम से वितरण विचरण को समायोजित करें, कम संभावना क्षेत्र में सन्निकटन सटीकता में सुधार करें
  4. मॉड्यूलस चेन प्रबंधन: विभिन्न डिग्री के लिए FHE पैरामीटर अनुकूलित करें, bootstrapping ओवरहेड को कम करें

प्रयोगात्मक सेटअप

डेटासेट

  • CIFAR-10/100: छोटे पैमाने की छवि वर्गीकरण डेटासेट
  • ImageNet: बड़े पैमाने की छवि वर्गीकरण डेटासेट
  • पूर्व-प्रसंस्करण: मानकीकरण और डेटा संवर्धन

मूल्यांकन मेट्रिक्स

  • अनुमान समय: FHE वातावरण में वास्तविक निष्पादन समय
  • Top-1 सटीकता: वर्गीकरण सटीकता
  • τ(d): असतत समय विलंब संकेतक
  • त्वरण अनुपात: baseline के सापेक्ष समय में कमी

तुलनात्मक विधियां

  • Minimax सन्निकटन: Lee et al. 4 की समग्र minimax बहुपद विधि
  • एकीकृत डिग्री विधि: सभी परतें समान डिग्री बहुपद का उपयोग करती हैं
  • AAT विधि: HyPHEN, DeepReDuce आदि पुनः-प्रशिक्षण विधियां

कार्यान्वयन विवरण

  • FHE योजना: RNS-CKKS
  • सुरक्षा स्तर: 128-bit
  • डिग्री खोज स्पेस: S = {3,7,15,31,63,88,127,154,210,255,261,393,511,603,703,813,917,1023}
  • असतत इकाई: ν = 1/4
  • लाइब्रेरी: Lattigo v3.0.5

प्रयोगात्मक परिणाम

मुख्य परिणाम

मॉडलडेटासेटविधिसटीकता(%)τ(d)त्वरण अनुपात
ResNet-20CIFAR-10Minimax91.552,788-
ResNet-20CIFAR-10OLA90.691,1062.52×
ResNet-32CIFAR-10Minimax92.454,624-
ResNet-32CIFAR-10OLA91.691,9272.40×

FHE वास्तविक परीक्षण परिणाम:

  • ResNet-20: अनुमान समय 1,231s से 407s तक कम (3.02× त्वरण)
  • ResNet-32: अनुमान समय 1,913s से 679s तक कम (2.82× त्वरण)

विलोपन प्रयोग

घटकवितरण-जागरूकगतिशील प्रोग्रामिंगResNet-20 τ(d)ResNet-110 τ(d)
आधार✗✗1,44021,172
+वितरण-जागरूक✓✗1,14210,725
+गतिशील प्रोग्रामिंग✓✓1,1069,448

निष्कर्ष:

  • वितरण-जागरूक सन्निकटन सबसे बड़ा प्रदर्शन सुधार में योगदान देता है
  • गतिशील प्रोग्रामिंग गहरे नेटवर्क में अधिक प्रभावी है (ResNet-110 में 11.91% कमी)

ConvNeXt मॉडल परिणाम

  • ConvNeXt-T (CIFAR-10): केवल 3 डिग्री बहुपद का उपयोग करके 91.42% सटीकता प्राप्त करें
  • ConvNeXt-S (ImageNet): डिग्री ≤31 के बहुपद का उपयोग करके 84.64% सटीकता प्राप्त करें

पूर्व-प्रसंस्करण ओवरहेड विश्लेषण

डेटासेटमॉडलइनपुट वितरण विश्लेषण(s)गतिशील प्रोग्रामिंग(s)
CIFAR-10ResNet-208.127.76
CIFAR-10ResNet-11017.97773.07
ImageNetResNet-189,510.946.23

संबंधित कार्य

HE-आधारित PPML अनुसंधान दिशा

  1. PTA विधि: Lee et al. 4,5, Kim et al. 6 - रैखिक संचालन अनुकूलन पर ध्यान केंद्रित
  2. AAT विधि: HyPHEN 17, DeepReDuce 43 - मॉडल पुनः-प्रशिक्षण की आवश्यकता है
  3. संकर विधि: HE और MPC को जोड़ने वाली योजनाएं

गैर-अंकगणितीय संचालन प्रसंस्करण

  1. TFHE योजना: बिट संचालन का समर्थन करता है, बड़ी मेमोरी ओवरहेड
  2. CKKS योजना: पैकिंग का समर्थन करता है, फ़ंक्शन सन्निकटन की आवश्यकता है
  3. बहुपद सन्निकटन: minimax, न्यूनतम वर्ग आदि विधियां

इस पेपर के लाभ

  • पहली बार परतवार अनुकूलन की व्यवस्थित ढांचा प्रस्तावित करें
  • सैद्धांतिक आधार संपूर्ण, प्रयोगात्मक सत्यापन पर्याप्त
  • PTA परिदृश्य में महत्वपूर्ण प्रदर्शन सुधार प्राप्त करें

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. परतवार सन्निकटन की प्रभावशीलता: विभिन्न परतें वर्गीकरण सटीकता को प्रभावित करने में भिन्न होती हैं, परतवार अनुकूलन उचित है
  2. व्यावहारिकता में सुधार: महत्वपूर्ण अनुमान त्वरण FHE-आधारित PI को वास्तविक अनुप्रयोग के करीब लाता है
  3. सैद्धांतिक पूर्णता: संपूर्ण गणितीय सैद्धांतिक ढांचा और कुशल समाधान एल्गोरिदम प्रदान करें

सीमाएं

  1. पूर्व-प्रसंस्करण ओवरहेड: बड़े पैमाने पर डेटासेट (ImageNet) के लिए, इनपुट वितरण विश्लेषण को काफी समय की आवश्यकता है
  2. मेमोरी आवश्यकता: गतिशील प्रोग्रामिंग एल्गोरिदम गहरे नेटवर्क में मेमोरी खपत अधिक है
  3. सक्रियण फ़ंक्शन सीमा: मुख्य रूप से एकल-चर सक्रियण फ़ंक्शन के लिए, softmax जैसे बहु-चर फ़ंक्शन के लिए विस्तार की आवश्यकता है

भविष्य की दिशाएं

  1. Transformer समर्थन: बड़ी भाषा मॉडल के निजी अनुमान तक विस्तार करें
  2. बहु-चर फ़ंक्शन: softmax आदि फ़ंक्शन के लिए सन्निकटन विधि विकसित करें
  3. स्व-अनुकूल अनुकूलन: हार्डवेयर संसाधनों के अनुसार गतिशील रूप से सन्निकटन रणनीति समायोजित करें
  4. संघीय शिक्षा एकीकरण: अन्य गोपनीयता-संरक्षण तकनीकों के साथ संयोजन करें

गहन मूल्यांकन

शक्तियां

  1. मजबूत नवाचार: PTA में परतवार अनुकूलन समस्या को व्यवस्थित रूप से हल करने वाली पहली विधि
  2. ठोस सिद्धांत: गणितीय व्युत्पत्ति कठोर, प्रमेय प्रमाण संपूर्ण
  3. पर्याप्त प्रयोग: कई डेटासेट, कई मॉडल आर्किटेक्चर का व्यापक सत्यापन
  4. उच्च व्यावहारिक मूल्य: महत्वपूर्ण प्रदर्शन सुधार विधि को वास्तविक अनुप्रयोग क्षमता देता है
  5. स्पष्ट लेखन: पेपर संरचना तार्किक, तकनीकी विवरण सटीक

कमियां

  1. कम्प्यूटेशनल जटिलता: हालांकि बहुपद समय है, लेकिन अति-बड़े पैमाने के नेटवर्क में अभी भी चुनौतियों का सामना कर सकता है
  2. पैरामीटर संवेदनशीलता: स्केलिंग पैरामीटर r का चयन अनुभवजन्य ट्यूनिंग की आवश्यकता है
  3. सामान्यीकरण क्षमता: मुख्य रूप से CNN आर्किटेक्चर पर सत्यापित, अन्य आर्किटेक्चर पर प्रयोज्यता को आगे सत्यापन की आवश्यकता है
  4. सुरक्षा विश्लेषण: सन्निकटन द्वारा पेश की गई अतिरिक्त सुरक्षा जोखिमों का गहन विश्लेषण अभाव

प्रभाव

  1. शैक्षणिक योगदान: FHE-आधारित PPML क्षेत्र को नई अनुकूलन सोच प्रदान करता है
  2. व्यावहारिक मूल्य: गोपनीयता-संरक्षित AI को वास्तविक अनुप्रयोग की ओर महत्वपूर्ण कदम बढ़ाता है
  3. पुनरुत्पादनीयता: विस्तृत कार्यान्वयन विवरण और खुला-स्रोत प्रतिबद्धता प्रदान करता है
  4. प्रेरणा मूल्य: परतवार अनुकूलन की सोच अन्य गोपनीयता-संरक्षण परिदृश्यों तक विस्तारित हो सकती है

प्रयोज्य परिदृश्य

  1. क्लाउड AI सेवा: उपयोगकर्ता डेटा गोपनीयता की सुरक्षा करने वाली मशीन लर्निंग सेवा
  2. चिकित्सा AI: संवेदनशील चिकित्सा डेटा को संभालने वाली निदान प्रणाली
  3. वित्तीय जोखिम नियंत्रण: गोपनीयता-संरक्षित क्रेडिट मूल्यांकन और जोखिम विश्लेषण
  4. संघीय शिक्षा: सुरक्षित एकत्रीकरण के पूरक तकनीक के रूप में

संदर्भ

  1. Lee et al. "Low-complexity deep convolutional neural networks on fully homomorphic encryption using multiplexed convolutions." ICML 2022.
  2. Kim et al. "Optimized privacy-preserving cnn inference with fully homomorphic encryption." IEEE TIFS 2023.
  3. Gilad-Bachrach et al. "Cryptonets: Applying neural networks to encrypted data with high throughput and accuracy." ICML 2016.
  4. Cheon et al. "A full rns variant of approximate homomorphic encryption." SAC 2018.

सारांश: इस पेपर द्वारा प्रस्तावित OLA विधि FHE-आधारित निजी अनुमान क्षेत्र में महत्वपूर्ण महत्व रखती है, परतवार अनुकूलन के माध्यम से अनुमान दक्षता में महत्वपूर्ण सुधार करती है, गोपनीयता-संरक्षित AI के वास्तविक अनुप्रयोग के लिए महत्वपूर्ण आधार तैयार करती है। कुछ सीमाओं के बावजूद, इसकी नवाचार और व्यावहारिक मूल्य इसे इस क्षेत्र का महत्वपूर्ण योगदान बनाती है।