2025-11-11T12:07:09.802097

Training data membership inference via Gaussian process meta-modeling: a post-hoc analysis approach

Huang, Zhang, Mumtaz

Membership inference attacks (MIAs) test whether a data point was part of a model's training set, posing serious privacy risks. Existing methods often depend on shadow models or heavy query access, which limits their practicality. We propose GP-MIA, an efficient and interpretable approach based on Gaussian process (GP) meta-modeling. Using post-hoc metrics such as accuracy, entropy, dataset statistics, and optional sensitivity features (e.g. gradients, NTK measures) from a single trained model, GP-MIA trains a GP classifier to distinguish members from non-members while providing calibrated uncertainty estimates. Experiments on synthetic data, real-world fraud detection data, CIFAR-10, and WikiText-2 show that GP-MIA achieves high accuracy and generalizability, offering a practical alternative to existing MIAs.

academic

গাউসিয়ান প্রক্রিয়া মেটা-মডেলিং এর মাধ্যমে প্রশিক্ষণ ডেটা সদস্যপদ অনুমান: একটি পোস্ট-হক বিশ্লেষণ পদ্ধতি

মৌলিক তথ্য

পেপার আইডি: 2510.21846
শিরোনাম: প্রশিক্ষণ ডেটা সদস্যপদ অনুমান গাউসিয়ান প্রক্রিয়া মেটা-মডেলিং এর মাধ্যমে: একটি পোস্ট-হক বিশ্লেষণ পদ্ধতি
লেখক: ইয়ংচাও হুয়াং, পেংফেই ঝাং, শাহজাদ মুমতাজ
শ্রেণীবিভাগ: cs.LG cs.AI
প্রকাশনার সময়: ২০২৫ সালের মে (arXiv প্রিপ্রিন্ট)
পেপার লিংক: https://arxiv.org/abs/2510.21846

সারসংক্ষেপ

সদস্যপদ অনুমান আক্রমণ (MIAs) পরীক্ষা করে যে ডেটা পয়েন্টগুলি মডেলের প্রশিক্ষণ সেটের অংশ কিনা, যা গুরুতর গোপনীয়তা ঝুঁকি তৈরি করে। বিদ্যমান পদ্ধতিগুলি সাধারণত ছায়া মডেল বা বিস্তৃত প্রশ্ন অ্যাক্সেসের উপর নির্ভর করে, যা এর ব্যবহারিকতা সীমিত করে। এই পত্রটি GP-MIA প্রস্তাব করে, যা গাউসিয়ান প্রক্রিয়া (GP) মেটা-মডেলিং এর উপর ভিত্তি করে একটি দক্ষ এবং ব্যাখ্যাযোগ্য পদ্ধতি। একটি একক প্রশিক্ষণ মডেল থেকে পোস্ট-হক মেট্রিক্স (যেমন নির্ভুলতা, এন্ট্রপি, ডেটাসেট পরিসংখ্যান এবং ঐচ্ছিক সংবেদনশীলতা বৈশিষ্ট্য যেমন গ্রেডিয়েন্ট, NTK পরিমাপ) ব্যবহার করে, GP-MIA একটি GP শ্রেণীবিভাজক প্রশিক্ষণ দেয় যা সদস্য এবং অ-সদস্যদের মধ্যে পার্থক্য করে, একই সাথে ক্যালিব্রেটেড অনিশ্চয়তা অনুমান প্রদান করে। সিন্থেটিক ডেটা, বাস্তব-বিশ্ব জালিয়াতি সনাক্তকরণ ডেটা, CIFAR-10 এবং WikiText-2 এ পরীক্ষা-নিরীক্ষা দেখায় যে GP-MIA উচ্চ নির্ভুলতা এবং সাধারণীকরণ ক্ষমতা অর্জন করে, বিদ্যমান MIAs এর জন্য একটি ব্যবহারিক বিকল্প প্রদান করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা সংজ্ঞা

এই গবেষণা মেশিন লার্নিং মডেলে সদস্যপদ অনুমান আক্রমণ সমস্যা সমাধানের লক্ষ্য রাখে। একটি প্রশিক্ষিত মডেল fθ* এবং একটি পরীক্ষা নমুনা জোড়া (x,y) দেওয়া হলে, লক্ষ্য হল একটি অনুমান নিয়ম M(fθ*, x, y) ∈ {0,1} ডিজাইন করা যা নির্ধারণ করে যে নমুনাটি প্রশিক্ষণ সেটের অংশ কিনা।

সমস্যার গুরুত্ব

সদস্যপদ অনুমান আক্রমণ গোপনীয়তার জন্য গুরুতর হুমকি তৈরি করে, বিশেষত চিকিৎসা, আর্থিক বা নিরাপত্তা সংবেদনশীল ক্ষেত্রে, শুধুমাত্র ব্যক্তিগত রেকর্ড প্রশিক্ষণের জন্য ব্যবহৃত হয়েছে কিনা তা প্রকাশ করা গোপনীয়তা লঙ্ঘন গঠন করতে পারে। গভীর স্নায়ু নেটওয়ার্কগুলি এই ধরনের আক্রমণের জন্য সংবেদনশীল কারণ তারা প্রশিক্ষণ ডেটা এবং অদেখা ডেটায় পদ্ধতিগত আচরণগত পার্থক্য প্রদর্শন করে।

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

ছায়া মডেল পদ্ধতি: লক্ষ্য আচরণ অনুকরণ করার জন্য একাধিক সহায়ক মডেল প্রশিক্ষণের প্রয়োজন, উচ্চ গণনা খরচ
সম্ভাবনা অনুপাত আক্রমণ (LiRA): মডেলের একাধিক প্রশ্ন এবং ক্যালিব্রেশনের জন্য বিস্তৃত গণনা সম্পদের প্রয়োজন
ব্যবহারিকতা সীমাবদ্ধতা: বিদ্যমান পদ্ধতিগুলি সাধারণত বিস্তৃত গণনা সম্পদ, সাবধানে পরিকল্পিত সহায়ক ডেটা বা লক্ষ্য মডেলের একাধিক প্রশ্নের প্রয়োজন

গবেষণা প্রেরণা

এই পত্রটি একটি দক্ষ পদ্ধতি প্রস্তাব করে যা শুধুমাত্র একটি একক প্রশিক্ষণ মডেলের পোস্ট-হক অ্যাক্সেস প্রয়োজন, পুনঃপ্রশিক্ষণ বা অভ্যন্তরীণ অ্যাক্সেস এড়ায়, একই সাথে ক্যালিব্রেটেড অনিশ্চয়তা অনুমান প্রদান করে, দক্ষতা এবং ব্যাখ্যাযোগ্যতা বৃদ্ধি করে।

মূল অবদান

GP-MIA ফ্রেমওয়ার্ক প্রস্তাব: গাউসিয়ান প্রক্রিয়া মেটা-মডেলিং এর উপর ভিত্তি করে একটি নতুন পোস্ট-হক সদস্যপদ অনুমান আক্রমণ পদ্ধতি
বহু-স্তরীয় বৈশিষ্ট্য কাঠামো ডিজাইন: মৌলিক বৈশিষ্ট্য (কর্মক্ষমতা সূচক, আত্মবিশ্বাস), গ্রেডিয়েন্ট বৈশিষ্ট্য এবং NTK বৈশিষ্ট্যের একীভূত প্রতিনিধিত্ব অন্তর্ভুক্ত
দক্ষ অনুমান বাস্তবায়ন: শুধুমাত্র একক ফরওয়ার্ড প্রপাগেশন (ঐচ্ছিক ব্যাকওয়ার্ড প্রপাগেশন) প্রয়োজন, ছায়া মডেল প্রশিক্ষণ এড়ায়
অনিশ্চয়তা পরিমাণীকরণ প্রদান: GP শ্রেণীবিভাজক স্বাভাবিকভাবে ক্যালিব্রেটেড সম্ভাব্যতা পূর্বাভাস এবং অনিশ্চয়তা অনুমান প্রদান করে
ক্রস-ডোমেইন সাধারণীকরণ ক্ষমতা যাচাই: সিন্থেটিক ডেটা, জালিয়াতি সনাক্তকরণ, ছবি শ্রেণীবিভাগ এবং ভাষা মডেলিং চারটি ভিন্ন ডোমেইনে কার্যকারিতা যাচাই করা

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

একটি প্রশিক্ষিত তদারকিকৃত মডেল fθ*: Rd → Rm দেওয়া হলে, সদস্যপদ অনুমান কাজ হল একটি ফাংশন M(fθ*, x, y) ডিজাইন করা যা পরীক্ষা নমুনা (x,y) প্রশিক্ষণ সেট X = {(xi, yi)}ni=1 এর অংশ কিনা তা নির্ধারণ করে।

মডেল আর্কিটেকচার

বৈশিষ্ট্য নির্মাণ

GP-MIA তিন ধরনের ডায়াগনস্টিক বৈশিষ্ট্য নিষ্কাশন করে:

মৌলিক বৈশিষ্ট্য ϕcommon(x):
- কর্মক্ষমতা সূচক: শ্রেণীবিভাগ নির্ভুলতা বা রিগ্রেশন MSE
- আত্মবিশ্বাস পরিমাপ: পূর্বাভাস সম্ভাবনার গড় এন্ট্রপি
- ইনপুট পরিসংখ্যান: বৈশিষ্ট্য গড় এবং ভেদাংক
- বিঘ্ন প্রশস্ততা: সূক্ষ্ম-সুর করার আগে এবং পরে মডেল ওজনের ℓ2 দূরত্ব
গ্রেডিয়েন্ট বৈশিষ্ট্য ϕgrad(x):
```
ϕgrad(x) = [∥gθ(x)∥F, ∥Jx(x)∥F, ℓ(fθ*(x), y), ∥gℓ(x, y)∥2]
```
যেখানে gθ(x) = ∇θfθ*(x) পরামিতি জ্যাকোবিয়ান ম্যাট্রিক্স, Jx(x) = ∂fθ*(x)/∂x ইনপুট জ্যাকোবিয়ান ম্যাট্রিক্স
NTK বৈশিষ্ট্য ϕntk(x):
```
ϕntk(x) = [τλ(x), ∥hλ(x)∥2, maxi|hλ(x)i|, smax(x), s̄(x)]
```
স্নায়ু স্পর্শ কার্নেল kθ*(x, x') = gθ(x)gθ(x')⊤ এর উপর ভিত্তি করে লিভারেজ স্কোর এবং প্রজেকশন পরিসংখ্যান

GP শ্রেণীবিভাজক

RBF + সাদা শব্দ কার্নেল সহ গাউসিয়ান প্রক্রিয়া শ্রেণীবিভাজক ব্যবহার করা হয়:

k(x,x') = σ² exp(-1/(2ℓ²) ∥x-x'∥²)

দ্বিমুখী শ্রেণীবিভাগের জন্য, GP বার্নোলি সম্ভাবনার সাথে সংযুক্ত:

p(y* = 1 | x*,D) = ∫ σ(f(x*)) p(f(x*) | x*,D) df(x*)

প্রযুক্তিগত উদ্ভাবন পয়েন্ট

পোস্ট-হক বিশ্লেষণ প্যারাডাইম: ছায়া মডেল প্রশিক্ষণ এবং পুনরাবৃত্ত প্রশ্নের ওভারহেড এড়ায়
বহু-মোডাল বৈশিষ্ট্য সংমিশ্রণ: কর্মক্ষমতা, পরিসংখ্যান এবং সংবেদনশীলতা বৈশিষ্ট্য সমৃদ্ধ সদস্যপদ সংকেত প্রদান করে
অনিশ্চয়তা পরিমাণীকরণ: GP ফ্রেমওয়ার্ক স্বাভাবিকভাবে ক্যালিব্রেটেড সম্ভাব্যতা পূর্বাভাস প্রদান করে
মডেল স্বাধীনতা: বিভিন্ন তদারকিকৃত শেখার মডেলের জন্য প্রযোজ্য

পরীক্ষা-নিরীক্ষা সেটআপ

ডেটাসেট

সিন্থেটিক শ্রেণীবিভাগ ডেটা: scikit-learn ব্যবহার করে উৎপন্ন, 2000 সুষম নমুনা সহ 2-ক্লাস্টার গাউসিয়ান মিশ্রণ
ক্রেডিট কার্ড জালিয়াতি সনাক্তকরণ: OpenML জনসাধারণ ডেটাসেট, 284,807 লেনদেন, মাত্র 492 ইতিবাচক উদাহরণ
CIFAR-10: ছবি শ্রেণীবিভাগ, CNN মডেল ব্যবহার করে 20 epoch প্রশিক্ষণ
WikiText-2: ভাষা মডেলিং, কমপ্যাক্ট GPT-2 স্টাইল মডেল ব্যবহার করে (3 স্তর, 4 মাথা, 192 মাত্রা এম্বেডিং)

মূল্যায়ন মেট্রিক্স

AUROC: গ্রহণকারী অপারেটিং বৈশিষ্ট্য বক্ররেখার অধীন এলাকা
AUPR: নির্ভুলতা-স্মরণ বক্ররেখার অধীন এলাকা
TPR@1%FPR: 1% মিথ্যা ইতিবাচক হার এ সত্য ইতিবাচক হার
বিভ্রান্তি ম্যাট্রিক্স: নির্ভুলতা এবং স্মরণ

তুলনা পদ্ধতি

প্রধানত ঐতিহ্যবাহী ছায়া মডেল পদ্ধতি এবং LiRA পদ্ধতির সাথে ধারণাগত তুলনা, GP-MIA এর দক্ষতা সুবিধা প্রদর্শনে ফোকাস।

বাস্তবায়ন বিবরণ

GP প্রশিক্ষণ পরিবর্তনশীল অনুমান ব্যবহার করে
RBF + সাদা শব্দ কার্নেল
বৈশিষ্ট্য স্বাভাবিকীকরণ
প্রশিক্ষণ সেট 80%, পরীক্ষা সেট 20%

পরীক্ষা-নিরীক্ষা ফলাফল

প্রধান ফলাফল

সিন্থেটিক ডেটা: GP বিভিন্ন সদস্য/অ-সদস্য বিতরণের সাথে খাপ খাইয়ে নিতে পারে, সীমান্ত ক্ষেত্রে উপযুক্ত অনিশ্চয়তা প্রদর্শন করে
জালিয়াতি সনাক্তকরণ:
- AUROC = 0.959
- AUPR = 0.961
- TPR@1%FPR = 0.60
- সদস্য সম্ভাবনা গড় ≈ 0.81, অ-সদস্য ≈ 0.25
CIFAR-10:
- প্রশিক্ষণ সদস্য ডেটাসেট: সম্ভাবনা 0.93
- নতুন CIFAR-10 ডেটাসেট: সম্ভাবনা 0.84
- SVHN/বর্ধিত ডেটাসেট: সম্ভাবনা ≈ 0.04
- ইন্টারপোলেশন ডেটাসেট: সম্ভাবনা 0.37
WikiText-2:
- AUROC = 1.000
- AUPR = 1.000
- TPR@1%FPR = 1.000
- শূন্য ভুল শ্রেণীবিভাগ, নিখুঁত বিচ্ছেদ

বিলোপন পরীক্ষা-নিরীক্ষা

দুটি সিন্থেটিক পরীক্ষার মাধ্যমে GP শ্রেণীবিভাজকের অভিযোজনযোগ্যতা যাচাই করা হয়:

বড় বিচ্ছেদ পরীক্ষা: সদস্য এবং অ-সদস্য বিতরণ উল্লেখযোগ্য পার্থক্য থাকলে, GP স্পষ্ট শ্রেণীবিভাগ ক্ষমতা প্রদর্শন করে
ছোট বিচ্ছেদ পরীক্ষা: সদস্য বিতরণের কাছাকাছি আরও অ-সদস্য ডেটা যোগ করার পরে, GP অস্পষ্ট ক্ষেত্রে আরও ভালভাবে পার্থক্য করতে পারে

কেস বিশ্লেষণ

t-SNE এবং PCA ভিজ্যুয়ালাইজেশন বৈশিষ্ট্য স্থানে সদস্য এবং অ-সদস্যদের বিচ্ছেদ্যতা দেখায়
সম্ভাব্যতা বিতরণ গ্রাফ GP পূর্বাভাসের দ্বিমোডাল বিতরণ বৈশিষ্ট্য দেখায়
অনিশ্চয়তা পরিমাণীকরণ সীমান্ত ক্ষেত্রে ভালভাবে কাজ করে

পরীক্ষা-নিরীক্ষা অনুসন্ধান

মৌলিক বৈশিষ্ট্য ইতিমধ্যে শক্তিশালী বৈষম্যমূলক সংকেত প্রদান করতে পারে
সংবেদনশীলতা বৈশিষ্ট্য জটিল মডেলে (যেমন ভাষা মডেল) কর্মক্ষমতা আরও উন্নত করে
GP ফ্রেমওয়ার্ক বিভিন্ন বিতরণ পরিবর্তনের অধীনে শক্তিশালী থাকে
ভাষা মডেল সদস্যপদ তথ্যের সবচেয়ে স্পষ্ট ফাঁস প্রদর্শন করে

উপসংহার এবং আলোচনা

প্রধান উপসংহার

GP-MIA একটি নমনীয় এবং ডেটা-দক্ষ সদস্যপদ অনুমান ফ্রেমওয়ার্ক প্রদান করে, পোস্ট-হক পদ্ধতিতে ছায়া মডেল ওভারহেড এড়ায়, একই সাথে তথ্য-সমৃদ্ধ বিতরণ সংকেত ক্যাপচার করে।

সীমাবদ্ধতা

স্কেলেবিলিটি: GP প্রশিক্ষণ জটিলতা O(N³), বড় আকারের ডেটাসেটের জন্য চ্যালেঞ্জ হতে পারে
বৈশিষ্ট্য নির্ভরতা: কর্মক্ষমতা বৈশিষ্ট্য প্রকৌশল গুণমানের উপর নির্ভর করে
মডেল অ্যাক্সেস: এখনও লক্ষ্য মডেলের প্রশ্ন অ্যাক্সেস প্রয়োজন
প্রতিরক্ষা বিবেচনা: পত্রটি প্রতিকূল প্রতিরক্ষা পদ্ধতি গভীরভাবে অন্বেষণ করে না

ভবিষ্যত দিকনির্দেশনা

বিকল্প কার্নেল নির্বাচন অন্বেষণ করা
বড় আকারের মডেলের জন্য স্কেলেবল অনুমান বিকাশ করা
বিস্তৃত গোপনীয়তা প্রতিরক্ষা ফ্রেমওয়ার্কে একীভূত করা
আরও সমৃদ্ধ বৈশিষ্ট্য স্থান গবেষণা করা

গভীর মূল্যায়ন

শক্তি

পদ্ধতি উদ্ভাবনী: সদস্যপদ অনুমানের জন্য প্রথমবার GP ব্যবহার, নতুন প্রযুক্তিগত পথ প্রদান করে
পরীক্ষা-নিরীক্ষা পর্যাপ্ততা: চারটি ভিন্ন ডোমেইনে যাচাই, ভাল সাধারণীকরণ ক্ষমতা প্রদর্শন করে
ব্যবহারিক মূল্য: ছায়া মডেল প্রশিক্ষণ এড়ায়, আক্রমণ খরচ হ্রাস করে
অনিশ্চয়তা পরিমাণীকরণ: GP ফ্রেমওয়ার্ক স্বাভাবিকভাবে সম্ভাব্যতা পূর্বাভাস প্রদান করে, ব্যাখ্যাযোগ্যতা বৃদ্ধি করে
লেখা স্পষ্টতা: পদ্ধতি বর্ণনা স্পষ্ট, পরীক্ষা-নিরীক্ষা ডিজাইন যুক্তিসঙ্গত

অপূর্ণতা

তাত্ত্বিক বিশ্লেষণ অপর্যাপ্ত: কেন GP এই কাজের জন্য বিশেষভাবে উপযুক্ত তার তাত্ত্বিক ব্যাখ্যা অভাব
প্রতিরক্ষা আলোচনা সীমিত: এই ধরনের আক্রমণ প্রতিরোধ কীভাবে করতে হয় তা পর্যাপ্তভাবে অন্বেষণ করা হয়নি
স্কেলেবিলিটি সমস্যা: GP এর ঘন জটিলতা বড় আকারের প্রয়োগ সীমিত করতে পারে
বৈশিষ্ট্য নির্বাচন: বৈশিষ্ট্য প্রকৌশল এখনও ম্যানুয়াল ডিজাইন প্রয়োজন, স্বয়ংক্রিয়তার ডিগ্রি সীমিত
তুলনা পরীক্ষা-নিরীক্ষা: বিদ্যমান SOTA পদ্ধতির সাথে সরাসরি সংখ্যাগত তুলনা অভাব

প্রভাব

একাডেমিক অবদান: সদস্যপদ অনুমান আক্রমণের জন্য নতুন প্রযুক্তিগত দিকনির্দেশনা প্রদান করে
ব্যবহারিক মূল্য: পদ্ধতি সহজ দক্ষ, বাস্তবায়ন এবং স্থাপনা সহজ
পুনরুৎপাদনযোগ্যতা: অ্যালগরিদম বর্ণনা বিস্তারিত, পরীক্ষা-নিরীক্ষা সেটআপ স্পষ্ট
অনুপ্রেরণামূলক: GP মেটা-মডেলিং চিন্তাভাবনা অন্যান্য গোপনীয়তা আক্রমণ গবেষণা অনুপ্রাণিত করতে পারে

প্রযোজ্য পরিস্থিতি

গোপনীয়তা অডিট: স্থাপিত মডেলের গোপনীয়তা ঝুঁকি মূল্যায়ন
মডেল নির্ণয়: বিতরণ পরিবর্তন এবং সাধারণীকরণ সমস্যা সনাক্তকরণ
প্রতিরক্ষা গবেষণা: প্রতিরক্ষা পদ্ধতি মূল্যায়নের জন্য আক্রমণ বেঞ্চমার্ক হিসাবে
ব্ল্যাক-বক্স সেটিং: শুধুমাত্র মডেল আউটপুট অ্যাক্সেসের পরিস্থিতি

সংদর্ভ

শোখরি ইত্যাদি (2017) - ছায়া মডেল সদস্যপদ অনুমান আক্রমণ
কার্লিনি ইত্যাদি (2022) - সম্ভাবনা অনুপাত আক্রমণ (LiRA)
রাসমুসেন এবং উইলিয়ামস (2006) - গাউসিয়ান প্রক্রিয়া মেশিন লার্নিং
ইয়ে ইত্যাদি (2022) - বর্ধিত সদস্যপদ অনুমান আক্রমণ
হু ইত্যাদি (2022) - সদস্যপদ অনুমান আক্রমণ সমীক্ষা

এই পত্রটি সদস্যপদ অনুমান আক্রমণের জন্য একটি উদ্ভাবনী গাউসিয়ান প্রক্রিয়া-ভিত্তিক পদ্ধতি প্রস্তাব করে, উচ্চ নির্ভুলতা বজায় রেখে দক্ষতা এবং ব্যবহারিকতা উল্লেখযোগ্যভাবে উন্নত করে। যদিও কিছু তাত্ত্বিক এবং পরীক্ষামূলক অপূর্ণতা রয়েছে, তবে এর মূল ধারণা এবং পরীক্ষার ফলাফল গোপনীয়তা আক্রমণ গবেষণায় মূল্যবান অবদান প্রদান করে।