Training data membership inference via Gaussian process meta-modeling: a post-hoc analysis approach
Huang, Zhang, Mumtaz
Membership inference attacks (MIAs) test whether a data point was part of a model's training set, posing serious privacy risks. Existing methods often depend on shadow models or heavy query access, which limits their practicality. We propose GP-MIA, an efficient and interpretable approach based on Gaussian process (GP) meta-modeling. Using post-hoc metrics such as accuracy, entropy, dataset statistics, and optional sensitivity features (e.g. gradients, NTK measures) from a single trained model, GP-MIA trains a GP classifier to distinguish members from non-members while providing calibrated uncertainty estimates. Experiments on synthetic data, real-world fraud detection data, CIFAR-10, and WikiText-2 show that GP-MIA achieves high accuracy and generalizability, offering a practical alternative to existing MIAs.
academic
গাউসিয়ান প্রক্রিয়া মেটা-মডেলিং এর মাধ্যমে প্রশিক্ষণ ডেটা সদস্যপদ অনুমান: একটি পোস্ট-হক বিশ্লেষণ পদ্ধতি
সদস্যপদ অনুমান আক্রমণ (MIAs) পরীক্ষা করে যে ডেটা পয়েন্টগুলি মডেলের প্রশিক্ষণ সেটের অংশ কিনা, যা গুরুতর গোপনীয়তা ঝুঁকি তৈরি করে। বিদ্যমান পদ্ধতিগুলি সাধারণত ছায়া মডেল বা বিস্তৃত প্রশ্ন অ্যাক্সেসের উপর নির্ভর করে, যা এর ব্যবহারিকতা সীমিত করে। এই পত্রটি GP-MIA প্রস্তাব করে, যা গাউসিয়ান প্রক্রিয়া (GP) মেটা-মডেলিং এর উপর ভিত্তি করে একটি দক্ষ এবং ব্যাখ্যাযোগ্য পদ্ধতি। একটি একক প্রশিক্ষণ মডেল থেকে পোস্ট-হক মেট্রিক্স (যেমন নির্ভুলতা, এন্ট্রপি, ডেটাসেট পরিসংখ্যান এবং ঐচ্ছিক সংবেদনশীলতা বৈশিষ্ট্য যেমন গ্রেডিয়েন্ট, NTK পরিমাপ) ব্যবহার করে, GP-MIA একটি GP শ্রেণীবিভাজক প্রশিক্ষণ দেয় যা সদস্য এবং অ-সদস্যদের মধ্যে পার্থক্য করে, একই সাথে ক্যালিব্রেটেড অনিশ্চয়তা অনুমান প্রদান করে। সিন্থেটিক ডেটা, বাস্তব-বিশ্ব জালিয়াতি সনাক্তকরণ ডেটা, CIFAR-10 এবং WikiText-2 এ পরীক্ষা-নিরীক্ষা দেখায় যে GP-MIA উচ্চ নির্ভুলতা এবং সাধারণীকরণ ক্ষমতা অর্জন করে, বিদ্যমান MIAs এর জন্য একটি ব্যবহারিক বিকল্প প্রদান করে।
এই গবেষণা মেশিন লার্নিং মডেলে সদস্যপদ অনুমান আক্রমণ সমস্যা সমাধানের লক্ষ্য রাখে। একটি প্রশিক্ষিত মডেল fθ* এবং একটি পরীক্ষা নমুনা জোড়া (x,y) দেওয়া হলে, লক্ষ্য হল একটি অনুমান নিয়ম M(fθ*, x, y) ∈ {0,1} ডিজাইন করা যা নির্ধারণ করে যে নমুনাটি প্রশিক্ষণ সেটের অংশ কিনা।
সদস্যপদ অনুমান আক্রমণ গোপনীয়তার জন্য গুরুতর হুমকি তৈরি করে, বিশেষত চিকিৎসা, আর্থিক বা নিরাপত্তা সংবেদনশীল ক্ষেত্রে, শুধুমাত্র ব্যক্তিগত রেকর্ড প্রশিক্ষণের জন্য ব্যবহৃত হয়েছে কিনা তা প্রকাশ করা গোপনীয়তা লঙ্ঘন গঠন করতে পারে। গভীর স্নায়ু নেটওয়ার্কগুলি এই ধরনের আক্রমণের জন্য সংবেদনশীল কারণ তারা প্রশিক্ষণ ডেটা এবং অদেখা ডেটায় পদ্ধতিগত আচরণগত পার্থক্য প্রদর্শন করে।
এই পত্রটি একটি দক্ষ পদ্ধতি প্রস্তাব করে যা শুধুমাত্র একটি একক প্রশিক্ষণ মডেলের পোস্ট-হক অ্যাক্সেস প্রয়োজন, পুনঃপ্রশিক্ষণ বা অভ্যন্তরীণ অ্যাক্সেস এড়ায়, একই সাথে ক্যালিব্রেটেড অনিশ্চয়তা অনুমান প্রদান করে, দক্ষতা এবং ব্যাখ্যাযোগ্যতা বৃদ্ধি করে।
GP-MIA ফ্রেমওয়ার্ক প্রস্তাব: গাউসিয়ান প্রক্রিয়া মেটা-মডেলিং এর উপর ভিত্তি করে একটি নতুন পোস্ট-হক সদস্যপদ অনুমান আক্রমণ পদ্ধতি
বহু-স্তরীয় বৈশিষ্ট্য কাঠামো ডিজাইন: মৌলিক বৈশিষ্ট্য (কর্মক্ষমতা সূচক, আত্মবিশ্বাস), গ্রেডিয়েন্ট বৈশিষ্ট্য এবং NTK বৈশিষ্ট্যের একীভূত প্রতিনিধিত্ব অন্তর্ভুক্ত
দক্ষ অনুমান বাস্তবায়ন: শুধুমাত্র একক ফরওয়ার্ড প্রপাগেশন (ঐচ্ছিক ব্যাকওয়ার্ড প্রপাগেশন) প্রয়োজন, ছায়া মডেল প্রশিক্ষণ এড়ায়
অনিশ্চয়তা পরিমাণীকরণ প্রদান: GP শ্রেণীবিভাজক স্বাভাবিকভাবে ক্যালিব্রেটেড সম্ভাব্যতা পূর্বাভাস এবং অনিশ্চয়তা অনুমান প্রদান করে
ক্রস-ডোমেইন সাধারণীকরণ ক্ষমতা যাচাই: সিন্থেটিক ডেটা, জালিয়াতি সনাক্তকরণ, ছবি শ্রেণীবিভাগ এবং ভাষা মডেলিং চারটি ভিন্ন ডোমেইনে কার্যকারিতা যাচাই করা
একটি প্রশিক্ষিত তদারকিকৃত মডেল fθ*: Rd → Rm দেওয়া হলে, সদস্যপদ অনুমান কাজ হল একটি ফাংশন M(fθ*, x, y) ডিজাইন করা যা পরীক্ষা নমুনা (x,y) প্রশিক্ষণ সেট X = {(xi, yi)}ni=1 এর অংশ কিনা তা নির্ধারণ করে।
GP-MIA একটি নমনীয় এবং ডেটা-দক্ষ সদস্যপদ অনুমান ফ্রেমওয়ার্ক প্রদান করে, পোস্ট-হক পদ্ধতিতে ছায়া মডেল ওভারহেড এড়ায়, একই সাথে তথ্য-সমৃদ্ধ বিতরণ সংকেত ক্যাপচার করে।
শোখরি ইত্যাদি (2017) - ছায়া মডেল সদস্যপদ অনুমান আক্রমণ
কার্লিনি ইত্যাদি (2022) - সম্ভাবনা অনুপাত আক্রমণ (LiRA)
রাসমুসেন এবং উইলিয়ামস (2006) - গাউসিয়ান প্রক্রিয়া মেশিন লার্নিং
ইয়ে ইত্যাদি (2022) - বর্ধিত সদস্যপদ অনুমান আক্রমণ
হু ইত্যাদি (2022) - সদস্যপদ অনুমান আক্রমণ সমীক্ষা
এই পত্রটি সদস্যপদ অনুমান আক্রমণের জন্য একটি উদ্ভাবনী গাউসিয়ান প্রক্রিয়া-ভিত্তিক পদ্ধতি প্রস্তাব করে, উচ্চ নির্ভুলতা বজায় রেখে দক্ষতা এবং ব্যবহারিকতা উল্লেখযোগ্যভাবে উন্নত করে। যদিও কিছু তাত্ত্বিক এবং পরীক্ষামূলক অপূর্ণতা রয়েছে, তবে এর মূল ধারণা এবং পরীক্ষার ফলাফল গোপনীয়তা আক্রমণ গবেষণায় মূল্যবান অবদান প্রদান করে।