2025-11-19T21:37:14.535760

Optimized Layerwise Approximation for Efficient Private Inference on Fully Homomorphic Encryption

Lee, Lee, Kim et al.

Recent studies have explored the deployment of privacy-preserving deep neural networks utilizing homomorphic encryption (HE), especially for private inference (PI). Many works have attempted the approximation-aware training (AAT) approach in PI, changing the activation functions of a model to low-degree polynomials that are easier to compute on HE by allowing model retraining. However, due to constraints in the training environment, it is often necessary to consider post-training approximation (PTA), using the pre-trained parameters of the existing plaintext model without retraining. Existing PTA studies have uniformly approximated the activation function in all layers to a high degree to mitigate accuracy loss from approximation, leading to significant time consumption. This study proposes an optimized layerwise approximation (OLA), a systematic framework that optimizes both accuracy loss and time consumption by using different approximation polynomials for each layer in the PTA scenario. For efficient approximation, we reflect the layerwise impact on the classification accuracy by considering the actual input distribution of each activation function while constructing the optimization problem. Additionally, we provide a dynamic programming technique to solve the optimization problem and achieve the optimized layerwise degrees in polynomial time. As a result, the OLA method reduces inference times for the ResNet-20 model and the ResNet-32 model by 3.02 times and 2.82 times, respectively, compared to prior state-of-the-art implementations employing uniform degree polynomials. Furthermore, we successfully classified CIFAR-10 by replacing the GELU function in the ConvNeXt model with only 3-degree polynomials using the proposed method, without modifying the backbone model.

academic

সম্পূর্ণ সমরূপী এনক্রিপশনে দক্ষ ব্যক্তিগত অনুমানের জন্য অপ্টিমাইজড স্তরবিন্যাস আনুমানিকতা

মৌলিক তথ্য

পত্র আইডি: 2310.10349
শিরোনাম: সম্পূর্ণ সমরূপী এনক্রিপশনে দক্ষ ব্যক্তিগত অনুমানের জন্য অপ্টিমাইজড স্তরবিন্যাস আনুমানিকতা
লেখক: Junghyun Lee, Joon-Woo Lee, Eunsang Lee, Young-Sik Kim, Yongwoo Lee, Yongjune Kim, Jong-Seon No
শ্রেণীবিভাগ: cs.CR (ক্রিপ্টোগ্রাফি এবং নিরাপত্তা), cs.AI (কৃত্রিম বুদ্ধিমত্তা)
প্রকাশনার সময়: ২০২৩ সালের অক্টোবর (arXiv v4: ২০২৫ সালের অক্টোবর ১৪ তারিখ)
পত্রের লিঙ্ক: https://arxiv.org/abs/2310.10349

সারসংক্ষেপ

এই পত্রটি সম্পূর্ণ সমরূপী এনক্রিপশন (FHE) এ দক্ষ ব্যক্তিগত অনুমানের জন্য একটি অপ্টিমাইজড স্তরবিন্যাস আনুমানিকতা (OLA) পদ্ধতি প্রস্তাব করে। এই পদ্ধতিটি প্রতিটি স্তরের জন্য বিভিন্ন আনুমানিক বহুপদ ব্যবহার করে নির্ভুলতার ক্ষতি এবং সময় ব্যয় অপ্টিমাইজ করে, প্রশিক্ষণ-পরবর্তী আনুমানিকতা (PTA) পরিস্থিতিতে অনুমানের দক্ষতা উল্লেখযোগ্যভাবে উন্নত করে। OLA পদ্ধতি ResNet-20 এবং ResNet-32 মডেলের অনুমান সময় যথাক্রমে ৩.০২ গুণ এবং ২.৮২ গুণ হ্রাস করে, এবং ConvNeXt মডেলে GELU ফাংশনকে মাত্র ৩ ডিগ্রি বহুপদ দিয়ে সফলভাবে প্রতিস্থাপন করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

গোপনীয়তা-সুরক্ষিত মেশিন লার্নিং (PPML) এ, সম্পূর্ণ সমরূপী এনক্রিপশন (FHE) এনক্রিপ্ট করা ডেটায় সরাসরি গণনা করার অনুমতি দেয়, কিন্তু FHE স্কিমগুলি শুধুমাত্র মৌলিক পাটিগণিত ক্রিয়াকলাপ (যোগ এবং গুণ) সমর্থন করে, অ-পাটিগণিত সক্রিয়করণ ফাংশন (যেমন ReLU, GELU, sigmoid ইত্যাদি) সরাসরি পরিচালনা করতে পারে না।

সমস্যার গুরুত্ব

১. গোপনীয়তা চাহিদা বৃদ্ধি: ক্লাউড কম্পিউটিং এর বিকাশের সাথে, MLaaS (মেশিন লার্নিং সেবা হিসাবে) ডেটা গোপনীয়তা রক্ষা করার সাথে সাথে সেবা প্রদান করতে প্রয়োজন २. ব্যবহারিক প্রয়োজনীয়তা: বিদ্যমান পদ্ধতিগুলির অনুমান সময় অত্যধিক দীর্ঘ, বাস্তব অ্যাপ্লিকেশন প্রয়োজনীয়তা পূরণ করা কঠিন ३. মডেল সামঞ্জস্যতা: মডেল পুনরায় প্রশিক্ষণ ছাড়াই ব্যক্তিগত অনুমান বাস্তবায়ন প্রয়োজন

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

१. AAT পদ্ধতি: মডেল পুনরায় প্রশিক্ষণের প্রয়োজন, এবং বড় আকারের ডেটাসেটে কার্যকারিতা দুর্বল २. PTA পদ্ধতি: সমস্ত স্তর একীভূত উচ্চ-ডিগ্রি বহুপদ আনুমানিকতা ব্যবহার করে, যা অনুমান সময় দীর্ঘ করে ३. গণনা দক্ষতা: বিদ্যমান পদ্ধতিগুলি শ্রেণীবিভাগ নির্ভুলতার জন্য প্রতিটি স্তরের বিভিন্ন প্রভাব বিবেচনা করে না

গবেষণা প্রেরণা

PTA পদ্ধতির প্রধান বাধা—অনুমান সময় অত্যধিক দীর্ঘ—এর বিরুদ্ধে, একটি সিস্টেমেটিক স্তরবিন্যাস অপ্টিমাইজেশন কাঠামো প্রস্তাব করা হয়েছে, যা বিভিন্ন স্তরের জন্য বিভিন্ন ডিগ্রির আনুমানিক বহুপদ ব্যবহার করে নির্ভুলতা এবং দক্ষতার ভারসাম্য বজায় রাখে।

মূল অবদান

१. OLA কাঠামো প্রস্তাব: PTA পরিস্থিতির জন্য প্রথমবারের মতো স্তরবিন্যাস অপ্টিমাইজড আনুমানিকতা পদ্ধতি প্রস্তাব করা হয়েছে, প্রতিটি স্তরের জন্য বিভিন্ন ডিগ্রির বহুপদ ব্যবহার করে २. বিতরণ-সচেতন আনুমানিকতা: ওজনযুক্ত সর্বনিম্ন বর্গ পদ্ধতির উপর ভিত্তি করে, প্রতিটি স্তরের সক্রিয়করণ ফাংশনের প্রকৃত ইনপুট বিতরণ বিবেচনা করে ३. গতিশীল প্রোগ্রামিং অ্যালগরিদম: সর্বোত্তম ডিগ্রি বরাদ্দ সমাধানের জন্য বহুপদ সময় জটিলতার অপ্টিমাইজেশন অ্যালগরিদম প্রদান করে ४. উল্লেখযোগ্য কর্মক্ষমতা উন্নতি: ResNet এবং ConvNeXt মডেলে ২.৮२-३.०२ গুণ অনুমান ত্বরণ অর্জন করে ५. তাত্ত্বিক বিশ্লেষণ: সম্পূর্ণ গাণিতিক তাত্ত্বিক ভিত্তি এবং সংমিশ্রণ প্রমাণ প্রদান করে

পদ্ধতির বিস্তারিত বর্ণনা

কাজের সংজ্ঞা

ইনপুট: প্রশিক্ষিত গভীর স্নায়ু নেটওয়ার্ক মডেল, অ-পাটিগণিত সক্রিয়করণ ফাংশন সহ আউটপুট: প্রতিটি স্তরের সর্বোত্তম বহুপদ ডিগ্রি বরাদ্দ সীমাবদ্ধতা: অনুমান সময় বাজেট K, নির্ভুলতা ক্ষতি থ্রেশহোল্ড উদ্দেশ্য: গড় ক্ষতি বৈচিত্র্য ন্যূনতম করা, সময় সীমাবদ্ধতা পূরণ করা

মডেল স্থাপত্য

१. বিতরণ-সচেতন আনুমানিকতা (Theorem 1)

সক্রিয়করণ ফাংশন f(x) এবং ইনপুট বিতরণ φ(x) এর জন্য, সর্বোত্তম d-ডিগ্রি আনুমানিক বহুপদ হল:

P_φ[d; f](x) = Σ(l=0 to d) h_l(x) ∫ φ(t)f(t)h_l(t)dt

যেখানে {h_l(x)} হল Gram-Schmidt প্রক্রিয়ার মাধ্যমে প্রাপ্ত অর্থোগোনাল বহুপদ ভিত্তি।

२. গড় ক্ষতি বৈচিত্র্য মডেলিং

আনুমানিক ত্রুটিকে একটি র্যান্ডম ভেরিয়েবল হিসাবে বিবেচনা করা হয়, ক্ষতি ফাংশনের বৈচিত্র্য হল:

Var[ΔL] = Σ(i=1 to N_L) A_i E_φi[d_i; f]

যেখানে:

A_i = (1/N_T) Σ_k Σ_j (∂L/∂a_{i,j})²: i-তম স্তরের নির্ভুলতার উপর প্রভাব ওজন
E_φid_i; f: i-তম স্তরের ন্যূনতম MSE

३. অপ্টিমাইজেশন সমস্যা formulation

minimize: V(d) = Σ(i=1 to N_L) A_i E_i(d_i)
subject to: T(d) = Σ(i=1 to N_L) T_i(d_i) ≤ K

४. গতিশীল প্রোগ্রামিং সমাধান (Algorithm 1)

সময় জটিলতা: O(N_L × N_K × |S|)
স্থান জটিলতা: O(N_L × N_K)
পুনরাবৃত্তি সম্পর্ক: P(l+1,k) {P(l,k')} এর সর্বোত্তম সমাধানের উপর ভিত্তি করে নির্মিত

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

१. স্তরবিন্যাস পার্থক্য প্রক্রিয়াকরণ: প্রথমবারের মতো সিস্টেমেটিকভাবে বিভিন্ন স্তরের জন্য বিভিন্ন বহুপদ ডিগ্রি বরাদ্দ করা হয়েছে २. ইনপুট বিতরণ মডেলিং: তাত্ত্বিক বিতরণের পরিবর্তে প্রকৃত স্তর-মধ্যস্থ ডেটা বিতরণ ব্যবহার করা হয়েছে ३. স্কেলিং বিতরণ-সচেতন আনুমানিকতা: প্যারামিটার r এর মাধ্যমে বিতরণ বৈচিত্র্য সামঞ্জস্য করে, কম সম্ভাব্যতা অঞ্চলে আনুমানিক নির্ভুলতা উন্নত করা হয়েছে ४. মডুলাস চেইন ব্যবস্থাপনা: বিভিন্ন ডিগ্রির জন্য FHE প্যারামিটার অপ্টিমাইজ করা হয়েছে, bootstrapping ওভারহেড হ্রাস করা হয়েছে

পরীক্ষামূলক সেটআপ

ডেটাসেট

CIFAR-10/100: ছোট আকারের ইমেজ শ্রেণীবিভাগ ডেটাসেট
ImageNet: বড় আকারের ইমেজ শ্রেণীবিভাগ ডেটাসেট
পূর্ব-প্রক্রিয়াকরণ: স্ট্যান্ডার্ডাইজেশন এবং ডেটা বর্ধন

মূল্যায়ন মেট্রিক্স

অনুমান সময়: FHE পরিবেশে প্রকৃত সম্পাদন সময়
Top-1 নির্ভুলতা: শ্রেণীবিভাগ নির্ভুলতা
τ(d): বিচ্ছিন্ন সময় বিলম্ব সূচক
ত্বরণ অনুপাত: baseline এর তুলনায় সময় হ্রাসের গুণ

তুলনামূলক পদ্ধতি

Minimax আনুমানিকতা: Lee et al. 4 এর যৌগিক minimax বহুপদ পদ্ধতি
একীভূত ডিগ্রি পদ্ধতি: সমস্ত স্তরে একই ডিগ্রির বহুপদ ব্যবহার করা হয়
AAT পদ্ধতি: HyPHEN, DeepReDuce ইত্যাদি পুনরায় প্রশিক্ষণ পদ্ধতি

বাস্তবায়ন বিবরণ

FHE স্কিম: RNS-CKKS
নিরাপত্তা স্তর: 128-bit
ডিগ্রি অনুসন্ধান স্থান: S = {3,7,15,31,63,88,127,154,210,255,261,393,511,603,703,813,917,1023}
বিচ্ছিন্নকরণ ইউনিট: ν = 1/4
লাইব্রেরি: Lattigo v3.0.5

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

মডেল	ডেটাসেট	পদ্ধতি	নির্ভুলতা(%)	τ(d)	ত্বরণ অনুপাত
ResNet-20	CIFAR-10	Minimax	91.55	2,788	-
ResNet-20	CIFAR-10	OLA	90.69	1,106	2.52×
ResNet-32	CIFAR-10	Minimax	92.45	4,624	-
ResNet-32	CIFAR-10	OLA	91.69	1,927	2.40×

FHE প্রকৃত পরীক্ষার ফলাফল:

ResNet-20: অনুমান সময় ১,२३१s থেকে ४०७s এ হ্রাস (३.०२× ত্বরণ)
ResNet-32: অনুমান সময় १,९१३s থেকে ६७९s এ হ্রাস (२.८२× ত্বরণ)

বিচ্ছিন্নতা পরীক্ষা

উপাদান	বিতরণ-সচেতন	গতিশীল প্রোগ্রামিং	ResNet-20 τ(d)	ResNet-110 τ(d)
ভিত্তি	✗	✗	1,440	21,172
+বিতরণ-সচেতন	✓	✗	1,142	10,725
+গতিশীল প্রোগ্রামিং	✓	✓	1,106	9,448

আবিষ্কার:

বিতরণ-সচেতন আনুমানিকতা সবচেয়ে বড় কর্মক্ষমতা উন্নতিতে অবদান রাখে
গতিশীল প্রোগ্রামিং গভীর নেটওয়ার্কে আরও কার্যকর (ResNet-110 ११.९१% হ্রাস)

ConvNeXt মডেল ফলাফল

ConvNeXt-T (CIFAR-10): মাত্র ३-ডিগ্রি বহুপদ ব্যবহার করে ९१.४२% নির্ভুলতা অর্জন
ConvNeXt-S (ImageNet): ≤३१ ডিগ্রির বহুপদ ব্যবহার করে ८४.६४% নির্ভুলতা অর্জন

পূর্ব-প্রক্রিয়াকরণ ওভারহেড বিশ্লেষণ

ডেটাসেট	মডেল	ইনপুট বিতরণ বিশ্লেষণ(s)	গতিশীল প্রোগ্রামিং(s)
CIFAR-10	ResNet-20	8.12	7.76
CIFAR-10	ResNet-110	17.97	773.07
ImageNet	ResNet-18	9,510.94	6.23

সিদ্ধান্ত এবং আলোচনা

প্রধান সিদ্ধান্ত

१. স্তরবিন্যাস আনুমানিকতার কার্যকারিতা: বিভিন্ন স্তর শ্রেণীবিভাগ নির্ভুলতার উপর প্রভাব সত্যিই ভিন্ন, স্তরবিন্যাস অপ্টিমাইজেশন যুক্তিসঙ্গত २. ব্যবহারিক উন্নতি: উল্লেখযোগ্য অনুমান ত্বরণ FHE-ভিত্তিক PI কে বাস্তব অ্যাপ্লিকেশনের কাছাকাছি নিয়ে আসে ३. তাত্ত্বিক সম্পূর্ণতা: সম্পূর্ণ গাণিতিক তাত্ত্বিক কাঠামো এবং দক্ষ সমাধান অ্যালগরিদম প্রদান করা হয়েছে

সীমাবদ্ধতা

१. পূর্ব-প্রক্রিয়াকরণ ওভারহেড: বড় আকারের ডেটাসেটের জন্য (ImageNet), ইনপুট বিতরণ বিশ্লেষণের জন্য দীর্ঘ সময় প্রয়োজন २. মেমরি প্রয়োজনীয়তা: গতিশীল প্রোগ্রামিং অ্যালগরিদম গভীর নেটওয়ার্কে মেমরি খরচ বেশি ३. সক্রিয়করণ ফাংশন সীমাবদ্ধতা: প্রধানত একক-পরিবর্তনশীল সক্রিয়করণ ফাংশনের জন্য, softmax ইত্যাদি বহু-পরিবর্তনশীল ফাংশনের জন্য সম্প্রসারণ প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. Transformer সমর্থন: বড় ভাষা মডেলের ব্যক্তিগত অনুমানে সম্প্রসারণ २. বহু-পরিবর্তনশীল ফাংশন: softmax ইত্যাদি ফাংশনের জন্য আনুমানিক পদ্ধতি বিকাশ ३. স্ব-অভিযোজিত অপ্টিমাইজেশন: হার্ডওয়্যার সংস্থানের উপর ভিত্তি করে গতিশীলভাবে আনুমানিক কৌশল সামঞ্জস্য করা ४. ফেডারেটেড লার্নিং ইন্টিগ্রেশন: অন্যান্য গোপনীয়তা সুরক্ষা প্রযুক্তির সাথে সমন্বয়

গভীর মূল্যায়ন

সুবিধা

१. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো PTA-তে স্তরবিন্যাস অপ্টিমাইজেশন সমস্যা সিস্টেমেটিকভাবে সমাধান করা হয়েছে २. দৃঢ় তাত্ত্বিক ভিত্তি: গাণিতিক অনুমান কঠোর, প্রমাণ সম্পূর্ণ ३. পর্যাপ্ত পরীক্ষা: একাধিক ডেটাসেট, একাধিক মডেল স্থাপত্যের ব্যাপক যাচাইকরণ ४. উচ্চ ব্যবহারিক মূল্য: উল্লেখযোগ্য কর্মক্ষমতা উন্নতি পদ্ধতিকে বাস্তব অ্যাপ্লিকেশন সম্ভাবনা প্রদান করে ५. স্পষ্ট লেখা: পত্রের কাঠামো যুক্তিসঙ্গত, প্রযুক্তিগত বিবরণ নির্ভুল

অপূর্ণতা

१. গণনা জটিলতা: যদিও বহুপদ সময়, অতি বড় নেটওয়ার্কে এখনও চ্যালেঞ্জের সম্মুখীন হতে পারে २. প্যারামিটার সংবেদনশীলতা: স্কেলিং প্যারামিটার r এর নির্বাচন অভিজ্ঞতামূলক সমন্বয়ের প্রয়োজন ३. সাধারণীকরণ ক্ষমতা: প্রধানত CNN স্থাপত্যে যাচাই করা হয়েছে, অন্যান্য স্থাপত্যে প্রযোজ্যতা আরও যাচাইকরণ প্রয়োজন ४. নিরাপত্তা বিশ্লেষণ: আনুমানিকতা দ্বারা প্রবর্তিত অতিরিক্ত নিরাপত্তা ঝুঁকির গভীর বিশ্লেষণ অনুপস্থিত

প্রভাব

१. একাডেমিক অবদান: FHE-ভিত্তিক PPML ক্ষেত্রে নতুন অপ্টিমাইজেশন চিন্তাভাবনা প্রদান করা হয়েছে २. ব্যবহারিক মূল্য: গোপনীয়তা-সুরক্ষিত AI কে বাস্তব অ্যাপ্লিকেশনের দিকে এগিয়ে নিয়ে যাওয়ার গুরুত্বপূর্ণ পদক্ষেপ ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং ওপেন-সোর্স প্রতিশ্রুতি প্রদান করা হয়েছে ४. অনুপ্রেরণামূলক অর্থ: স্তরবিন্যাস অপ্টিমাইজেশনের ধারণা অন্যান্য গোপনীয়তা গণনা পরিস্থিতিতে সম্প্রসারণযোগ্য

প্রযোজ্য পরিস্থিতি

१. ক্লাউড AI সেবা: ব্যবহারকারী ডেটা গোপনীয়তা রক্ষা করতে হবে এমন মেশিন লার্নিং সেবা २. চিকিৎসা AI: সংবেদনশীল চিকিৎসা ডেটা প্রক্রিয়াকরণের নির্ণয় ব্যবস্থা ३. আর্থিক ঝুঁকি নিয়ন্ত্রণ: গোপনীয়তা-সুরক্ষিত ক্রেডিট মূল্যায়ন এবং ঝুঁকি বিশ্লেষণ ४. ফেডারেটেড লার্নিং: নিরাপদ সমষ্টির পরিপূরক প্রযুক্তি হিসাবে

সংদর্ভ

१. Lee et al. "Low-complexity deep convolutional neural networks on fully homomorphic encryption using multiplexed convolutions." ICML 2022. २. Kim et al. "Optimized privacy-preserving cnn inference with fully homomorphic encryption." IEEE TIFS 2023. ३. Gilad-Bachrach et al. "Cryptonets: Applying neural networks to encrypted data with high throughput and accuracy." ICML 2016. ४. Cheon et al. "A full rns variant of approximate homomorphic encryption." SAC 2018.

সারসংক্ষেপ: এই পত্রে প্রস্তাবিত OLA পদ্ধতি FHE-ভিত্তিক ব্যক্তিগত অনুমান ক্ষেত্রে গুরুত্বপূর্ণ অর্থ রাখে, স্তরবিন্যাস অপ্টিমাইজেশনের মাধ্যমে অনুমান দক্ষতা উল্লেখযোগ্যভাবে উন্নত করে, গোপনীয়তা-সুরক্ষিত AI এর বাস্তব অ্যাপ্লিকেশনের জন্য গুরুত্বপূর্ণ ভিত্তি স্থাপন করে। কিছু সীমাবদ্ধতা থাকলেও, এর উদ্ভাবনী এবং ব্যবহারিক মূল্য এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অবদান করে তোলে।