2025-11-13T23:49:14.865072

PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models

Li, Yu, Zhao
AI foundation models have recently demonstrated impressive capabilities across a wide range of tasks. Fine-tuning (FT) is a method of customizing a pre-trained AI foundation model by further training it on a smaller, targeted dataset. In this paper, we initiate the study of the Privacy-Preserving Parameter-Efficient FT (P3EFT) framework, which can be viewed as the intersection of Parameter-Efficient FT (PEFT) and Privacy-Preserving FT (PPFT). PEFT modifies only a small subset of the model's parameters to achieve FT (i.e., adapting a pre-trained model to a specific dataset), while PPFT uses privacy-preserving technologies to protect the confidentiality of the model during the FT process. There have been many studies on PEFT or PPFT but very few on their fusion, which motivates our work on P3EFT to achieve both parameter efficiency and model privacy. To exemplify our P3EFT, we present the PrivTuner scheme, which incorporates Fully Homomorphic Encryption (FHE) enabled privacy protection into LoRA (short for ``Low-Rank Adapter''). Intuitively speaking, PrivTuner allows the model owner and the external data owners to collaboratively implement PEFT with encrypted data. After describing PrivTuner in detail, we further investigate its energy consumption and privacy protection. Then, we consider a PrivTuner system over wireless communications and formulate a joint optimization problem to adaptively minimize energy while maximizing privacy protection, with the optimization variables including FDMA bandwidth allocation, wireless transmission power, computational resource allocation, and privacy protection. A resource allocation algorithm is devised to solve the problem. Experiments demonstrate that our algorithm can significantly reduce energy consumption while adapting to different privacy requirements.
academic

সম্পূর্ণ সমরূপী এনক্রিপশন এবং LoRA সহ PrivTuner: AI ভিত্তি মডেলের গোপনীয়তা-সংরক্ষণকারী প্যারামিটার-দক্ষ সূক্ষ্ম-সুরক্ষার জন্য একটি P3EFT স্কিম

মৌলিক তথ্য

  • গবেষণাপত্র ID: 2410.00433
  • শিরোনাম: PrivTuner with Homomorphic Encryption and LoRA: A P3EFT Scheme for Privacy-Preserving Parameter-Efficient Fine-Tuning of AI Foundation Models
  • লেখক: Yang Li, Wenhan Yu, Jun Zhao (Nanyang Technological University)
  • শ্রেণীবিভাগ: cs.CR (ক্রিপ্টোগ্রাফি এবং নিরাপত্তা)
  • প্রকাশনার সময়: ২০২৪ সালের অক্টোবর (arXiv প্রিপ্রিন্ট)
  • গবেষণাপত্র লিঙ্ক: https://arxiv.org/abs/2410.00433

সারসংক্ষেপ

এই গবেষণাপত্রটি গোপনীয়তা-সংরক্ষণকারী প্যারামিটার-দক্ষ সূক্ষ্ম-সুরক্ষা (P3EFT) কাঠামো প্রস্তাব করে, যা প্যারামিটার দক্ষ সূক্ষ্ম-সুরক্ষা (PEFT) এবং গোপনীয়তা-সংরক্ষণকারী সূক্ষ্ম-সুরক্ষা (PPFT) একত্রিত করে। লেখকরা PrivTuner স্কিম ডিজাইন করেছেন, যা সম্পূর্ণ সমরূপী এনক্রিপশন (FHE) কে LoRA তে একীভূত করে, মডেল মালিক এবং বাহ্যিক ডেটা মালিকদের মধ্যে সহযোগিতামূলক গোপনীয়তা-সংরক্ষণকারী সূক্ষ্ম-সুরক্ষা অর্জন করে। গবেষণাপত্রটি আরও বেতার যোগাযোগ পরিবেশে PrivTuner সিস্টেম বিবেচনা করে, শক্তি খরচ কমানোর সময় গোপনীয়তা সুরক্ষা সর্বাধিক করার জন্য একটি যৌথ অপ্টিমাইজেশন সমস্যা স্থাপন করে এবং সংশ্লিষ্ট সম্পদ বরাদ্দ অ্যালগরিদম প্রস্তাব করে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

  1. গোপনীয়তা সুরক্ষার প্রয়োজনীয়তা: AI ভিত্তি মডেলের সূক্ষ্ম-সুরক্ষা প্রক্রিয়ায় ডেটা গোপনীয়তা এবং মডেল গোপনীয়তার সমস্যা রয়েছে। এন্টারপ্রাইজগুলি ব্যক্তিগত ডেটা শেয়ার করতে অনিচ্ছুক, এবং একই সাথে মডেল মালিকরা মডেল প্যারামিটার প্রকাশ করতে অনিচ্ছুক।
  2. গণনা দক্ষতার চ্যালেঞ্জ: ঐতিহ্যবাহী সম্পূর্ণ-প্যারামিটার সূক্ষ্ম-সুরক্ষা বিশাল গণনা ওভারহেড তৈরি করে, বিশেষ করে বড় ভিত্তি মডেলের জন্য, স্থানীয় সূক্ষ্ম-সুরক্ষা সম্পদ-সীমিত ডিভাইসগুলির জন্য একটি বড় বোঝা তৈরি করে।
  3. বিদ্যমান পদ্ধতির সীমাবদ্ধতা:
    • PEFT পদ্ধতি গণনা বোঝা হ্রাস করে, কিন্তু গোপনীয়তা সুরক্ষা সমস্যা উপেক্ষা করে
    • PPFT পদ্ধতি গোপনীয়তা রক্ষা করতে পারে, কিন্তু সাধারণত অতিরিক্ত যোগাযোগ এবং গণনা ওভারহেড প্রবর্তন করে

গবেষণা প্রেরণা

বিদ্যমান গবেষণা প্রধানত PEFT বা PPFT এর পৃথক প্রয়োগের উপর দৃষ্টি নিবদ্ধ করে, উভয়ের সংমিশ্রণের পদ্ধতিগত গবেষণার অভাব রয়েছে। এই গবেষণাপত্রটি এই শূন্যতা পূরণের লক্ষ্য রাখে, P3EFT কাঠামো প্রস্তাব করে, সীমিত গণনা বাজেটের অধীনে গোপনীয়তা সুরক্ষা এবং প্যারামিটার দক্ষতার দ্বৈত লক্ষ্য অর্জন করে।

মূল অবদান

  1. P3EFT কাঠামো প্রস্তাব: প্রথমবারের মতো PEFT এবং PPFT কে পদ্ধতিগতভাবে একত্রিত করে, দুটি গবেষণা ক্ষেত্রের মধ্যে ব্যবধান সেতু করে।
  2. PrivTuner স্কিম ডিজাইন: CKKS সম্পূর্ণ সমরূপী এনক্রিপশন স্কিম এবং LoRA প্রযুক্তি একত্রিত করে, ডেটা এবং মডেল গোপনীয়তা রক্ষা করার সময় গণনা বোঝা হ্রাস করে নিরাপদ এবং দক্ষ সহযোগিতামূলক সূক্ষ্ম-সুরক্ষা অর্জন করে।
  3. খরচ এবং গোপনীয়তা সুরক্ষা মডেল স্থাপন: সার্ভার এবং ডিভাইস দৃষ্টিকোণ থেকে সময় এবং শক্তি খরচ মডেল বিশ্লেষণ করে, গোপনীয়তা সুরক্ষা স্তরের পরিমাণগত সূচক প্রদান করে।
  4. যৌথ অপ্টিমাইজেশন অ্যালগরিদম ডিজাইন: শাখা এবং বাউন্ড (B&B) এবং ভগ্নাংশ প্রোগ্রামিং কৌশল একত্রিত করে সম্পদ বরাদ্দ অ্যালগরিদম প্রস্তাব করে, গণনা ক্ষমতা, বেতার যোগাযোগ সম্পদ এবং FHE সেটিংসের যৌথ অপ্টিমাইজেশন সমস্যা কার্যকরভাবে সমাধান করে।

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

P3EFT কাজ সংজ্ঞায়িত করা হয়েছে: প্রাক-প্রশিক্ষিত ভিত্তি মডেল W₀ এবং ব্যক্তিগত ডেটাসেট দেওয়া, ডেটা গোপনীয়তা এবং মডেল গোপনীয়তা রক্ষা করার শর্তে, মডেল সূক্ষ্ম-সুরক্ষা অর্জনের জন্য শুধুমাত্র অল্প সংখ্যক প্যারামিটার আপডেট করা।

PrivTuner আর্কিটেকচার

সিস্টেম মডেল

  • অংশগ্রহণকারী: মডেল মালিক সার্ভার এবং N টি বাহ্যিক মোবাইল ডিভাইস
  • নিরাপত্তা মডেল: সৎ কিন্তু কৌতূহলী (honest but curious) মডেল
  • মূল ধারণা: ডিভাইসগুলি মূল ডেটার পরিবর্তে FHE এনক্রিপ্ট করা ডেটা প্রেরণ করে, সার্ভার এনক্রিপ্ট করা ডেটায় গণনা সম্পাদন করে

মূল পদক্ষেপ

পদক্ষেপ 1: ডেটা এনক্রিপশন

pkₙ, skₙ = KeyGen(λₙ, qₙ), ∀n ∈ N
X̃ᶠᵗₙ = Enc(pkₙ, Xᶠᵗₙ), ∀n ∈ N

পদক্ষেপ 2: অ্যাডাপ্টার জেনারেশন নিম্ন-র্যাঙ্ক অ্যাডাপ্টার তৈরি করতে LoRA প্রযুক্তি ব্যবহার করে:

Aₙ = {A¹ₙ, A²ₙ} = LoRAₙ(W₀), ∀n ∈ N

পদক্ষেপ 3: এনক্রিপ্ট করা পূর্বাভাস এনক্রিপ্ট করা ডেটায় পূর্বাভাস সম্পাদন করে:

Ỹᵖₙ = Eval(pkₙ, (W₀, Aₙ), X̃ᶠᵗₙ, fᵖ), ∀n ∈ N

যেখানে পূর্বাভাস ফাংশন:

fᵖ(W₀, Aₙ, X̃ᶠᵗₙ) = W₀X̃ᶠᵗₙ + A¹ₙA²ₙX̃ᶠᵗₙ

পদক্ষেপ 4: ডিক্রিপশন এবং ক্ষতি গণনা

Yᵖₙ = Dec(skₙ, Ỹᵖₙ)
Lₙ = Lₙ(Yᵖₙ, Yᶠᵗₙ)

পদক্ষেপ 5: অ্যাডাপ্টার আপডেট ক্ষতি ফাংশনের উপর ভিত্তি করে অ্যাডাপ্টার প্যারামিটার আপডেট করে।

HE-বান্ধব BERT-Tiny মডেল

BERT-Tiny মডেলে অ-রৈখিক ফাংশন পরিচালনা করতে CKKS স্কিম ব্যবহার করে:

  • Softmax: Maclaurin সিরিজ ব্যবহার করে সূচক ফাংশন অনুমান করে
  • GeLU: Chebyshev বহুপদ অনুমান ব্যবহার করে
  • LayerNorm: গণনা সরলীকরণের জন্য গড় এবং মান বিচ্যুতি পূর্ব-গণনা করে
  • বিভাজন অপারেশন: Chebyshev বহুপদ অনুমান ব্যবহার করে

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

  1. FHE এবং LoRA এর জৈব সমন্বয়: প্রথমবারের মতো CKKS সম্পূর্ণ সমরূপী এনক্রিপশন এবং LoRA প্রযুক্তি একত্রিত করে, এনক্রিপ্ট করা ডোমেইনে প্যারামিটার দক্ষ সূক্ষ্ম-সুরক্ষা অর্জন করে।
  2. অ-রৈখিক ফাংশন পরিচালনা: Transformer মডেলে অ-রৈখিক ফাংশনের FHE পরিবেশে গণনা সমস্যা পদ্ধতিগতভাবে সমাধান করে।
  3. সম্পদ অপ্টিমাইজেশন কাঠামো: বেতার যোগাযোগ পরিবেশে ব্যবহারিক সীমাবদ্ধতা বিবেচনা করে, শক্তি খরচ এবং গোপনীয়তা সুরক্ষার মধ্যে ভারসাম্য অপ্টিমাইজেশন মডেল স্থাপন করে।

পরীক্ষামূলক সেটআপ

ডেটাসেট

GLUE benchmark এ তিনটি ডেটাসেট ব্যবহার করে:

  • SST-2: আবেগ বিশ্লেষণ কাজ
  • MRPC: বাক্য সাদৃশ্য বিচার
  • RTE: পাঠ্য অন্তর্ভুক্তি স্বীকৃতি

পরীক্ষামূলক পরিবেশ

  • হার্ডওয়্যার: Intel Xeon Gold 5218R CPU@2.10GHz
  • FHE লাইব্রেরি: OpenFHE with HEXL ত্বরণ
  • FHE প্যারামিটার: বহুপদ ডিগ্রি λ=2¹⁵, সহগ মডিউল q=1767 বিট

মূল্যায়ন সূচক

  • নির্ভুলতা: মডেল শ্রেণীবিভাগ কর্মক্ষমতা
  • শক্তি খরচ: মোট শক্তি খরচ (জুল)
  • গোপনীয়তা সুরক্ষা স্তর: LWE-estimator এর উপর ভিত্তি করে নিরাপত্তা স্তর (বিট)
  • চালনার সময়: বিভিন্ন অপারেশনের সময় ওভারহেড

তুলনা পদ্ধতি

  • গড় বরাদ্দ: সম্পদ সমানভাবে বরাদ্দ করা
  • শুধুমাত্র f,g অপ্টিমাইজ করুন: শুধুমাত্র গণনা ফ্রিকোয়েন্সি অপ্টিমাইজ করা
  • শুধুমাত্র p,B অপ্টিমাইজ করুন: শুধুমাত্র ট্রান্সমিশন শক্তি এবং ব্যান্ডউইথ অপ্টিমাইজ করা

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

মডেল কর্মক্ষমতা

ডেটাসেটBERT-TinyFHE-BERT-Tinyকর্মক্ষমতা হ্রাস
SST-20.8230.7900.033
MRPC0.7030.6750.028
RTE0.6010.5640.037

চালনার সময় বিশ্লেষণ

অপারেশনসময় খরচ (সেকেন্ড)
এনক্রিপশন (ক্লায়েন্ট)0.7106
পূর্বাভাস (সার্ভার)163.3211
ডিক্রিপশন (ক্লায়েন্ট)0.0119
মোট164.0436

বিভিন্ন λ এর অধীনে কর্মক্ষমতা ভারসাম্য

λচালনার সময়নিরাপত্তা স্তর (বিট)
2¹⁵164.04s66.1
2¹⁶330.13s128.4
2¹⁷719.64s277.0

শক্তি খরচ অপ্টিমাইজেশন ফলাফল

বিভিন্ন সম্পদ কনফিগারেশনে, প্রস্তাবিত যৌথ অপ্টিমাইজেশন অ্যালগরিদম বেসলাইন পদ্ধতির তুলনায়:

  • ব্যান্ডউইথ পরিবর্তন: মোট ব্যান্ডউইথ 5MHz থেকে 25MHz এ বৃদ্ধি পেলে, অ্যালগরিদম সর্বদা সর্বোত্তম কর্মক্ষমতা বজায় রাখে
  • ট্রান্সমিশন শক্তি: 10-30dBm পরিসরে, অপ্টিমাইজেশন অ্যালগরিদম স্থিতিশীল কর্মক্ষমতা প্রদর্শন করে
  • সময় বাজেট: ডিভাইস সময় বাজেট বৃদ্ধির সাথে সাথে, শক্তি খরচ উল্লেখযোগ্যভাবে হ্রাস পায়

গোপনীয়তা সুরক্ষা ভারসাম্য বিশ্লেষণ

ওজন প্যারামিটার ω (1-10) সামঞ্জস্য করে:

  • শক্তি খরচ এবং গোপনীয়তার ভারসাম্য: ω বৃদ্ধির সাথে সাথে, গোপনীয়তা সুরক্ষা স্তর উন্নত হয় কিন্তু শক্তি খরচ বৃদ্ধি পায়
  • ডিভাইস নির্বাচন কৌশল: গোপনীয়তা সচেতন ডিভাইসগুলি বৃহত্তর λ মান নির্বাচন করার প্রবণতা রাখে

বিলোপন পরীক্ষা

প্রতিটি অপ্টিমাইজেশন উপাদানের কার্যকারিতা যাচাই করে:

  • যৌথ অপ্টিমাইজেশন একা f,g বা p,B অপ্টিমাইজ করার তুলনায় উল্লেখযোগ্য উন্নতি প্রদান করে
  • শাখা এবং বাউন্ড অ্যালগরিদম বিচ্ছিন্ন অপ্টিমাইজেশন সমস্যা কার্যকরভাবে সমাধান করে
  • ভগ্নাংশ প্রোগ্রামিং কৌশল অ-উত্তল অপ্টিমাইজেশন চ্যালেঞ্জ সফলভাবে পরিচালনা করে

সম্পর্কিত কাজ

PEFT সম্পর্কিত গবেষণা

  • LoRA: নিম্ন-র্যাঙ্ক অ্যাডাপ্টার প্রযুক্তি
  • Prefix-tuning, Prompt tuning, BitFit: অন্যান্য প্যারামিটার দক্ষ পদ্ধতি

PPFT সম্পর্কিত গবেষণা

  • যুক্ত শিক্ষা: বিতরণকৃত গোপনীয়তা-সংরক্ষণকারী প্রশিক্ষণ
  • পার্থক্যমূলক গোপনীয়তা: গোপনীয়তা রক্ষা করতে শব্দ যোগ করা
  • নিরাপদ বহু-পক্ষীয় গণনা: বহু-পক্ষীয় সহযোগিতামূলক গণনা
  • সমরূপী এনক্রিপশন: এনক্রিপ্ট করা ডোমেইন গণনা

গভীর শিক্ষায় FHE এর প্রয়োগ

  • CNN প্রয়োগ: CryptoNets, CareNets ইত্যাদি
  • RNN প্রয়োগ: ক্রম ডেটা পরিচালনা করা গোপনীয়তা-সংরক্ষণকারী
  • Transformer প্রয়োগ: Iron, BOLT, BlindTune ইত্যাদি

উপসংহার এবং আলোচনা

প্রধান উপসংহার

  1. P3EFT কাঠামোর সম্ভাব্যতা: PrivTuner প্যারামিটার দক্ষতা এবং গোপনীয়তা সুরক্ষা একযোগে অর্জনের সম্ভাবনা সফলভাবে প্রমাণ করে
  2. ব্যবহারিকতা যাচাইকরণ: GLUE ডেটাসেটে গ্রহণযোগ্য কর্মক্ষমতা অর্জন করে, গোপনীয়তা সুরক্ষা খরচ তুলনামূলকভাবে ছোট
  3. অপ্টিমাইজেশন অ্যালগরিদম কার্যকারিতা: যৌথ সম্পদ বরাদ্দ অ্যালগরিদম শক্তি খরচ-গোপনীয়তা ভারসাম্যে চমৎকার কর্মক্ষমতা প্রদর্শন করে

সীমাবদ্ধতা

  1. অ্যাডাপ্টার গোপনীয়তা: বর্তমান স্কিমে অ্যাডাপ্টার সাধারণ পাঠ্য আকারে সংরক্ষিত থাকে, সম্ভবত কিছু তথ্য ফাঁস করতে পারে
  2. গণনা ওভারহেড: FHE অপারেশন এখনও উল্লেখযোগ্য গণনা ওভারহেড বজায় রাখে, রিয়েল-টাইম প্রয়োগ সীমাবদ্ধ করে
  3. নিরাপত্তা মডেল সীমাবদ্ধতা: শুধুমাত্র সৎ কিন্তু কৌতূহলী মডেল বিবেচনা করে, দুষ্ট প্রতিপক্ষ পরিস্থিতি পরিচালনা করে না
  4. স্কেলেবিলিটি সমস্যা: মডেল আকার বৃদ্ধির সাথে সাথে, FHE ওভারহেড বোতলনেক হতে পারে

ভবিষ্যত দিকনির্দেশনা

  1. দুষ্ট নিরাপত্তা: দুষ্ট প্রতিপক্ষ মডেলে সম্প্রসারণ করা
  2. হার্ডওয়্যার ত্বরণ: GPU ইত্যাদি বিশেষায়িত হার্ডওয়্যার ব্যবহার করে FHE গণনা ত্বরান্বিত করা
  3. শক্তিশালী গোপনীয়তা সুরক্ষা: MPC ইত্যাদি প্রযুক্তি অন্বেষণ করে অ্যাডাপ্টার গোপনীয়তা রক্ষা করা
  4. বড় মডেল অভিযোজন: বৃহত্তর স্কেল মডেলে প্রয়োগের গবেষণা করা

গভীর মূল্যায়ন

সুবিধা

  1. শক্তিশালী উদ্ভাবনী: প্রথমবারের মতো PEFT এবং PPFT কে পদ্ধতিগতভাবে একত্রিত করে, গুরুত্বপূর্ণ গবেষণা শূন্যতা পূরণ করে
  2. তাত্ত্বিক সম্পূর্ণতা: সম্পূর্ণ তাত্ত্বিক বিশ্লেষণ কাঠামো প্রদান করে, নিরাপত্তা, জটিলতা এবং সংমিশ্রণ বিশ্লেষণ অন্তর্ভুক্ত করে
  3. পর্যাপ্ত পরীক্ষা: পদ্ধতির কার্যকারিতা একাধিক মাত্রা থেকে যাচাই করে, নির্ভুলতা, শক্তি খরচ, গোপনীয়তা সুরক্ষা ইত্যাদি অন্তর্ভুক্ত করে
  4. ব্যবহারিক বিবেচনা: বেতার যোগাযোগ পরিবেশে ব্যবহারিক সীমাবদ্ধতা বিবেচনা করে, ভাল প্রয়োগ সম্ভাবনা রয়েছে

অপূর্ণতা

  1. কর্মক্ষমতা হ্রাস: FHE দ্বারা প্রবর্তিত গণনা ওভারহেড উল্লেখযোগ্য কর্মক্ষমতা হ্রাস ঘটায় (প্রায় 3-4% নির্ভুলতা ক্ষতি)
  2. স্কেলেবিলিটি সীমাবদ্ধতা: বর্তমান পরীক্ষা শুধুমাত্র BERT-Tiny তে পরিচালিত হয়, বড় মডেলের প্রযোজ্যতা যাচাই করা প্রয়োজন
  3. নিরাপত্তা অনুমান: সৎ কিন্তু কৌতূহলী মডেল ব্যবহারিক প্রয়োগে অত্যন্ত আদর্শবাদী হতে পারে
  4. প্যারামিটার টিউনিং: একাধিক FHE প্যারামিটারের নির্বাচন বিশেষজ্ঞ জ্ঞান প্রয়োজন, ব্যবহারের থ্রেশহোল্ড বৃদ্ধি করে

প্রভাব

  1. একাডেমিক অবদান: গোপনীয়তা-সংরক্ষণকারী মেশিন লার্নিং ক্ষেত্রে নতুন গবেষণা দিকনির্দেশনা প্রদান করে
  2. ব্যবহারিক মূল্য: গোপনীয়তা সুরক্ষা প্রয়োজন এমন AI সেবার জন্য সম্ভাব্য প্রযুক্তিগত পথ প্রদান করে
  3. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং প্যারামিটার সেটিং প্রদান করে, পুনরুৎপাদন সহজতর করে

প্রযোজ্য পরিস্থিতি

  1. চিকিৎসা AI: চিকিৎসা ডেটা সংবেদনশীল, গোপনীয়তা-সংরক্ষণকারী মডেল সূক্ষ্ম-সুরক্ষা প্রয়োজন
  2. আর্থিক সেবা: আর্থিক প্রতিষ্ঠানের মধ্যে মডেল সহযোগিতামূলক প্রশিক্ষণ
  3. প্রান্ত গণনা: সম্পদ-সীমিত পরিবেশে গোপনীয়তা-সংরক্ষণকারী AI সেবা
  4. যুক্ত শিক্ষা: যুক্ত শিক্ষার উন্নত প্রযুক্তি হিসাবে

সংদর্ভ

গবেষণাপত্রটি একাধিক গুরুত্বপূর্ণ কাজ উদ্ধৃত করে, যার মধ্যে রয়েছে:

  • LoRA মূল গবেষণাপত্র Hu et al., ICLR 2021
  • CKKS সমরূপী এনক্রিপশন স্কিম Cheon et al., 2017
  • BERT মডেল Devlin et al., 2018
  • সম্পর্কিত গোপনীয়তা-সংরক্ষণকারী গভীর শিক্ষা কাজ

সামগ্রিক মূল্যায়ন: এটি একটি উচ্চ-মানের গবেষণাপত্র, যা প্রযুক্তিগত উদ্ভাবন, তাত্ত্বিক বিশ্লেষণ এবং পরীক্ষামূলক যাচাইকরণে চমৎকার কর্মক্ষমতা প্রদর্শন করে। যদিও কিছু সীমাবদ্ধতা রয়েছে, তবে এটি গোপনীয়তা-সংরক্ষণকারী AI ক্ষেত্রে গুরুত্বপূর্ণ গবেষণা দিকনির্দেশনা উন্মোচন করে এবং গুরুত্বপূর্ণ একাডেমিক মূল্য এবং প্রয়োগ সম্ভাবনা রয়েছে।