2025-11-14T09:04:13.401384

Leveraging Nested MLMC for Sequential Neural Posterior Estimation with Intractable Likelihoods

Yang, Xiong, He

There is a growing interest in studying sequential neural posterior estimation (SNPE) techniques due to their advantages for simulation-based models with intractable likelihoods. The methods aim to learn the posterior from adaptively proposed simulations using neural network-based conditional density estimators. As an SNPE technique, the automatic posterior transformation (APT) method proposed by Greenberg et al. (2019) performs well and scales to high-dimensional data. However, the APT method requires computing the expectation of the logarithm of an intractable normalizing constant, i.e., a nested expectation. Although atomic proposals were used to render an analytical normalizing constant, it remains challenging to analyze the convergence of learning. In this paper, we reformulate APT as a nested estimation problem. Building on this, we construct several multilevel Monte Carlo (MLMC) estimators for the loss function and its gradients to accommodate different scenarios, including two unbiased estimators, and a biased estimator that trades a small bias for reduced variance and controlled runtime and memory usage. We also provide convergence results of stochastic gradient descent to quantify the interaction of the bias and variance of the gradient estimator. Numerical experiments for approximating complex posteriors with multimodality in moderate dimensions are provided to examine the effectiveness of the proposed methods.

academic

নেস্টেড MLMC ব্যবহার করে অসম্ভাব্য সম্ভাবনা সহ ক্রমিক নিউরাল পোস্টেরিয়র অনুমানের জন্য

মৌলিক তথ্য

পেপার আইডি: 2401.16776
শিরোনাম: নেস্টেড MLMC ব্যবহার করে অসম্ভাব্য সম্ভাবনা সহ ক্রমিক নিউরাল পোস্টেরিয়র অনুমান
লেখক: জিলিয়াং ইয়াং (দক্ষিণ চীন প্রযুক্তি বিশ্ববিদ্যালয়), ইফেই জিয়ং (পার্ডু বিশ্ববিদ্যালয়), ঝিজিয়ান হে (দক্ষিণ চীন প্রযুক্তি বিশ্ববিদ্যালয়, যোগাযোগকারী লেখক)
শ্রেণীবিভাগ: stat.CO cs.LG stat.ML
প্রকাশনার সময়: ২০২৪ সালের জানুয়ারি, arXiv প্রাক-প্রিন্ট
পেপার লিঙ্ক: https://arxiv.org/abs/2401.16776

সারসংক্ষেপ

এই পেপারটি ক্রমিক নিউরাল পোস্টেরিয়র অনুমান (SNPE) কৌশলের প্রয়োগ অধ্যয়ন করে যেখানে সিমুলেশন মডেলগুলির গণনা করা কঠিন সম্ভাবনা ফাংশন রয়েছে। স্বয়ংক্রিয় পোস্টেরিয়র রূপান্তর (APT) পদ্ধতির জন্য গণনা করা কঠিন নর্মালাইজেশন ধ্রুবকের লগারিদমের প্রত্যাশা গণনা করার প্রয়োজন যা একটি নেস্টেড প্রত্যাশা সমস্যা তৈরি করে। এই পেপারটি APT-কে একটি নেস্টেড অনুমান সমস্যা হিসাবে পুনর্নির্ধারণ করে এবং বেশ কয়েকটি মাল্টি-লেভেল মন্টে কার্লো (MLMC) অনুমানক তৈরি করে, যার মধ্যে দুটি নিরপেক্ষ অনুমানক এবং একটি পক্ষপাতী অনুমানক রয়েছে। পক্ষপাতী অনুমানক ভেরিয়েন্স হ্রাস এবং চলার সময় এবং মেমরি ব্যবহার নিয়ন্ত্রণের জন্য একটি ছোট পক্ষপাত প্রবর্তন করে। এই পেপারটি স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টের জন্য সংগ্রহণ ফলাফলও প্রদান করে, যা গ্রেডিয়েন্ট অনুমানকের পক্ষপাত এবং ভেরিয়েন্সের মিথস্ক্রিয়া পরিমাপ করে।

গবেষণার পটভূমি এবং প্রেরণা

সমস্যার পটভূমি

১. সিমুলেশন মডেলের চ্যালেঞ্জ: স্নায়ুবিজ্ঞান, পদার্থবিজ্ঞান, জীববিজ্ঞান এবং অন্যান্য ক্ষেত্রে সিমুলেশন মডেলগুলি ব্যাপকভাবে ব্যবহৃত হয়, কিন্তু ঐতিহ্যবাহী বেয়েসিয়ান অনুমান সম্ভাবনা ফাংশন গণনা করা কঠিন এবং সিমুলেটর গণনা ব্যয়বহুল হওয়ার চ্যালেঞ্জের সম্মুখীন হয়।

२. SNPE পদ্ধতির প্রয়োজন: ক্রমিক নিউরাল পোস্টেরিয়র অনুমান পদ্ধতি নিউরাল নেটওয়ার্ক শর্তসাপেক্ষ ঘনত্ব অনুমানক ব্যবহার করে স্ব-অভিযোজিত প্রস্তাবিত সিমুলেশন থেকে পোস্টেরিয়র বিতরণ শিখে, সম্ভাবনা ফাংশনের সরাসরি গণনা এড়ায়।

३. APT পদ্ধতির সীমাবদ্ধতা: গ্রিনবার্গ এবং অন্যদের দ্বারা প্রস্তাবিত স্বয়ংক্রিয় পোস্টেরিয়র রূপান্তর (APT) পদ্ধতি ভাল পারফরম্যান্স করে এবং উচ্চ-মাত্রিক ডেটায় স্কেল করতে পারে, কিন্তু একটি গণনা করা কঠিন নর্মালাইজেশন ধ্রুবকের লগারিদমের প্রত্যাশা গণনা করার প্রয়োজন, যা একটি নেস্টেড প্রত্যাশা সমস্যা তৈরি করে।

বিদ্যমান পদ্ধতির অপর্যাপ্ততা

পরমাণু প্রস্তাবের সীমাবদ্ধতা: যদিও পরমাণু প্রস্তাব ব্যবহার করে বিশ্লেষণাত্মক নর্মালাইজেশন ধ্রুবক পাওয়া যায়, এটি সংগ্রহণ বিশ্লেষণ করা কঠিন করে তোলে
তাত্ত্বিক বিশ্লেষণের অভাব: বিদ্যমান কৌশলগুলি কিছু কাজে APT-এর দুর্বল কর্মক্ষমতা ব্যাখ্যা করতে পারে না
গণনামূলক জটিলতার সমস্যা: একক-স্তরের নেস্টেড অনুমানকের গণনামূলক জটিলতা O(ε^-3), যা কম দক্ষ

মূল অবদান

१. APT সমস্যার পুনর্নির্ধারণ: APT পদ্ধতিকে একটি নেস্টেড অনুমান সমস্যা হিসাবে পুনর্নির্ধারণ করে, কঠোর সংগ্রহণ বিশ্লেষণের জন্য একটি কাঠামো প্রদান করে २. MLMC অনুমানক তৈরি: তিনটি MLMC অনুমানক বিকাশ করে:

RU-MLMC: র্যান্ডম নিরপেক্ষ মাল্টি-লেভেল মন্টে কার্লো পদ্ধতি
GRR-MLMC: সাধারণীকৃত রাশিয়ান রুলেট পদ্ধতি
TGRR-MLMC: ট্রাঙ্কেটেড সাধারণীকৃত রাশিয়ান রুলেট পদ্ধতি ३. তাত্ত্বিক বিশ্লেষণ: পক্ষপাত, ভেরিয়েন্স এবং গড় খরচের জন্য তাত্ত্বিক উপরের সীমা প্রদান করে, MLMC পদ্ধতি সর্বোত্তম জটিলতা O(ε^-2) অর্জন করে প্রমাণ করে ४. সংগ্রহণ গ্যারান্টি: স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্টের জন্য সংগ্রহণ উপপাদ্য প্রতিষ্ঠা করে, অপ্টিমাইজেশনে পক্ষপাত এবং ভেরিয়েন্সের প্রভাব পরিমাপ করে ५. পরীক্ষামূলক যাচাইকরণ: একাধিক বেঞ্চমার্ক কাজে পদ্ধতির কার্যকারিতা যাচাই করে

পদ্ধতির বিস্তারিত ব্যাখ্যা

কাজের সংজ্ঞা

পূর্ব বিতরণ p(θ) এবং পর্যবেক্ষণ ডেটা x_o দেওয়া, লক্ষ্য হল পোস্টেরিয়র বিতরণ p(θ|x_o) ∝ p(θ)p(x_o|θ) অনুমান করা, যেখানে সম্ভাবনা ফাংশন p(x|θ) সরাসরি গণনা করা কঠিন, কিন্তু সিমুলেটরের মাধ্যমে নমুনা নেওয়া যায়।

নেস্টেড APT পুনর্নির্ধারণ

ক্ষতি ফাংশনের পুনর্নির্ধারণ

APT ক্ষতি ফাংশন পুনর্লিখন করা হয়:

L(φ) = -E_p̃(θ,x)[log g_φ(x,θ)] + E_p̃(x)[log E_p̃(θ')[g_φ(x,θ')]]

যেখানে g_φ(x,θ) = q_F(x,φ)(θ)/p(θ) গুরুত্ব ওজন।

গ্রেডিয়েন্ট অভিব্যক্তি

গ্রেডিয়েন্ট হল:

∇_φL(φ) = -E_p̃(θ,x)[∇_φ log g_φ(x,θ)] + E_p̃(x)[∇_φ log E_p̃(θ')[g_φ(x,θ')]]

MLMC অনুমানক ডিজাইন

१. RU-MLMC (র্যান্ডম নিরপেক্ষ MLMC)

জ্যামিতিক বিতরণ Ge(p) ব্যবহার করে স্তর L র্যান্ডমভাবে নির্বাচন করে, প্রশ্ন:

V_RU = ω_L^{-1}Δρ_{φ,L}

२. GRR-MLMC (সাধারণীকৃত রাশিয়ান রুলেট)

ভিত্তি স্তর m প্রবর্তন করে, প্রথম m স্তর সর্বদা গণনা করা হয় নিশ্চিত করে:

V_GRR = ρ_{φ,M_m} + Σ_{j=m+1}^L (Δρ_{φ,j}/p_j)

३. TGRR-MLMC (ট্রাঙ্কেটেড GRR)

গণনা খরচ এবং মেমরি ব্যবহার নিয়ন্ত্রণ করতে বিতরণ ট্রাঙ্কেট করে:

V_TGRR = ρ_{φ,M_m} + Σ_{j=m+1}^L (Δρ_{φ,j}/p_j)

যেখানে L-এর মান m,m̄ পরিসরে সীমাবদ্ধ।

বিপরীত সংযোগ নির্মাণ

পার্থক্য অনুমানক তৈরি করতে বিপরীত সংযোগ কৌশল ব্যবহার করে:

Δρ_{φ,ℓ} = ρ_{φ,M_ℓ} - (1/2)(ρ_{φ,M_{ℓ-1}}^{(a)} + ρ_{φ,M_{ℓ-1}}^{(b)})

তাত্ত্বিক বিশ্লেষণ

জটিলতা বিশ্লেষণ

উপপাদ্য 3.1 এবং 3.2: উপযুক্ত শর্তের অধীনে, পার্থক্য অনুমানক সন্তুষ্ট করে:

পক্ষপাত হার: α = 1
ভেরিয়েন্স হার: r ∈ (1,2]
খরচ হার: γ = 1

r > γ হওয়ার কারণে, MLMC সর্বোত্তম জটিলতা O(ε^{-2}) অর্জন করে, একক-স্তরের নেস্টেড অনুমানকের O(ε^{-3}) তুলনায় উল্লেখযোগ্য উন্নতি।

সংগ্রহণ বিশ্লেষণ

উপপাদ্য 4.2: লিপশিটজ ক্রমাগত এবং শক্তিশালী উত্তল শর্তের অধীনে, SGD-এর সর্বোত্তম ফাঁক সন্তুষ্ট করে:

G_T ≤ (1-γμ)^T G_0 + (1/2μ)(U_b + U_η)

যেখানে U_b এবং U_η যথাক্রমে পক্ষপাত এবং ভেরিয়েন্সের উপরের সীমা।

পরীক্ষামূলক সেটআপ

ডেটাসেট

१. Two-Moon মডেল: 2D প্যারামিটার স্পেসের খেলনা মডেল, মাল্টি-মোডাল পোস্টেরিয়র সহ २. Lotka-Volterra মডেল: শিকারী-শিকার গতিশীলতা মডেল, 4D প্যারামিটার স্পেস ३. M/G/1 কিউ মডেল: একক সার্ভার কিউ সিস্টেম, 3D প্যারামিটার স্পেস ४. Hodgkin-Huxley নিউরন মডেল: উচ্চ-মাত্রিক নিউরন মডেল, 8D প্যারামিটার স্পেস

মূল্যায়ন মেট্রিক্স

MMD (সর্বাধিক মীন বিচ্ছিন্নতা): বিতরণের মধ্যে পার্থক্য পরিমাপ করে
C2ST (শ্রেণীবিভাজক দুই-নমুনা পরীক্ষা): দ্বি-শ্রেণীবিভাজক পরীক্ষা
LMD (লগারিদমিক মধ্যমা দূরত্ব): লগারিদমিক মধ্যমা দূরত্ব
NLOG (নেতিবাচক লগ-ঘনত্ব): সত্য প্যারামিটারে নেতিবাচক লগ-ঘনত্ব

বাস্তবায়ন বিবরণ

নিউরাল স্পলাইন প্রবাহ (NSF) শর্তসাপেক্ষ ঘনত্ব অনুমানক হিসাবে, 8 স্তর, প্রতি স্তরে 50 ইউনিট
Adam অপ্টিমাইজার, শেখার হার 1×10^{-4}, ব্যাচ আকার 100
প্রতি রাউন্ডে N=1000 নমুনা সিমুলেশন, মোট R=20 রাউন্ড
M_0 = 8, ট্রাঙ্কেটেড স্তর m̄ = 4, ভিত্তি স্তর m = 2

পরীক্ষামূলক ফলাফল

প্রধান ফলাফল

१. কর্মক্ষমতা তুলনা: TGRR-MLMC জটিল কাজে (যেমন Lotka-Volterra) সেরা পারফরম্যান্স করে, তিনটি কাজে C2ST গড় SNSE পদ্ধতির চেয়ে ভাল २. গণনামূলক দক্ষতা: যদিও MLMC পদ্ধতির 1.2-1.5 গুণ গণনা সময় প্রয়োজন, GPU মেমরি ব্যবহার SNSE-এর মাত্র 1/12 (5GB বনাম 60GB) ३. পদ্ধতি নির্বাচন নির্দেশিকা:

সহজ কাজ: RU-MLMC
মধ্যম জটিলতা: GRR-MLMC
জটিল কাজ: TGRR-MLMC

বিলোপন পরীক্ষা

হাইপারপ্যারামিটার α-এর নির্বাচন: অ্যাসিম্পটোটিক অদক্ষতা ন্যূনতম করে সর্বোত্তম α মান নির্ধারণ করে
ট্রাঙ্কেটেড স্তরের প্রভাব: উপযুক্ত ট্রাঙ্কেশন ভেরিয়েন্স উল্লেখযোগ্যভাবে হ্রাস করতে পারে, প্রশিক্ষণ স্থিতিশীলতা উন্নত করে

উচ্চ-মাত্রিক পরীক্ষা

8-মাত্রিক Hodgkin-Huxley মডেলে, TGRR-MLMC পরমাণু APT-এর তুলনায় LMD এবং NLOG মেট্রিক্সে উন্নতি করে, পদ্ধতির স্কেলেবিলিটি যাচাই করে।

উপসংহার এবং আলোচনা

প্রধান উপসংহার

१. নেস্টেড MLMC পদ্ধতি APT-এর জন্য তাত্ত্বিকভাবে বিশ্লেষণযোগ্য বিকল্প প্রদান করে २. তিনটি MLMC ভেরিয়েন্ট পক্ষপাত-ভেরিয়েন্স-খরচ ট্রেড-অফে নমনীয় পছন্দ প্রদান করে ३. তাত্ত্বিক বিশ্লেষণ প্রকাশ করে যে নিউরাল নেটওয়ার্ক প্রশিক্ষণে ভেরিয়েন্স প্রায়ই পক্ষপাতের চেয়ে বেশি গুরুত্বপূর্ণ

সীমাবদ্ধতা

१. উচ্চ-মাত্রিক চ্যালেঞ্জ: উচ্চ-মাত্রিক সমস্যা এবং জটিল নিউরাল নেটওয়ার্ক কাঠামোতে অত্যধিক ভেরিয়েন্সের সম্মুখীন হতে পারে २. গণনা ওভারহেড: মাল্টি-স্তরের গ্রেডিয়েন্ট গণনার কারণে, MLMC পরমাণু APT-এর চেয়ে বেশি গণনা সময় প্রয়োজন ३. প্যারামিটার সুর-টিউনিং: স্তর প্যারামিটার এবং ট্রাঙ্কেশন সেটিংস সাবধানে নির্বাচন করার প্রয়োজন

ভবিষ্যত দিকনির্দেশনা

१. কোয়াসি-মন্টে কার্লো: MLMC অনুমানকের ভেরিয়েন্স হ্রাস করতে কম-বিচ্ছিন্নতা ক্রম ব্যবহার করে २. অ্যালগরিদম ত্বরণ: আরও দক্ষ MLMC অ্যালগরিদম বাস্তবায়ন বিকাশ করে ३. স্ব-অভিযোজিত কৌশল: সর্বোত্তম MLMC ভেরিয়েন্ট এবং প্যারামিটার স্বয়ংক্রিয়ভাবে নির্বাচন করে

গভীর মূল্যায়ন

শক্তি

१. তাত্ত্বিক অবদান: APT-কে নেস্টেড অনুমান সমস্যা হিসাবে পুনর্নির্ধারণ করে, কঠোর তাত্ত্বিক কাঠামো প্রদান করে २. পদ্ধতি উদ্ভাবন: তিনটি MLMC অনুমানক ডিজাইন করে, বিভিন্ন পরিস্থিতিতে সর্বোত্তম পছন্দ প্রদান করে ३. ব্যাপক পরীক্ষা: সহজ থেকে জটিল একাধিক বেঞ্চমার্ক কাজ পদ্ধতির কার্যকারিতা যাচাই করে ४. ব্যবহারিক মূল্য: GPU মেমরি প্রয়োজন উল্লেখযোগ্যভাবে হ্রাস করে, ব্যবহারিক প্রয়োগ সম্ভাব্যতা উন্নত করে

অপর্যাপ্ততা

१. গণনা জটিলতা: যদিও তাত্ত্বিক জটিলতা আরও ভাল, প্রকৃত চলার সময় এখনও দীর্ঘ २. প্যারামিটার সংবেদনশীলতা: একাধিক হাইপারপ্যারামিটার (α, m, m̄ ইত্যাদি) সাবধানে সুর-টিউন করার প্রয়োজন ३. স্কেলেবিলিটি: অত্যন্ত উচ্চ-মাত্রিক সমস্যায় পারফরম্যান্স আরও যাচাইকরণের প্রয়োজন

প্রভাব

१. তাত্ত্বিক প্রভাব: SNPE পদ্ধতির জন্য নতুন তাত্ত্বিক বিশ্লেষণ কাঠামো প্রদান করে २. ব্যবহারিক মূল্য: মেমরি দক্ষতার উন্নতি পদ্ধতিকে ব্যবহারিক প্রয়োগের জন্য আরও উপযুক্ত করে তোলে ३. পুনরুৎপাদনযোগ্যতা: বিস্তারিত বাস্তবায়ন বিবরণ এবং অ্যালগরিদম বর্ণনা প্রদান করে

প্রযোজ্য পরিস্থিতি

ব্যয়বহুল সিমুলেটর সহ বৈজ্ঞানিক গণনা সমস্যা
মেমরি ব্যবহার নিয়ন্ত্রণের প্রয়োজন বড় আকারের অনুমান কাজ
তাত্ত্বিক গ্যারান্টির প্রয়োজন বেয়েসিয়ান অনুমান প্রয়োগ

সংদর্ভ

গ্রিনবার্গ এবং অন্যরা (2019): সম্ভাবনা-মুক্ত অনুমানের জন্য স্বয়ংক্রিয় পোস্টেরিয়র রূপান্তর
গাইলস (2015): মাল্টি-লেভেল মন্টে কার্লো পদ্ধতি
রি এবং গ্লিন (2015): SDE মডেলের জন্য বর্গমূল সংগ্রহণ সহ নিরপেক্ষ অনুমান
পাপামাকারিওস এবং মারে (2016): সিমুলেশন মডেলের দ্রুত ε-মুক্ত অনুমান

সারসংক্ষেপ: এটি সম্ভাবনা-মুক্ত বেয়েসিয়ান অনুমান ক্ষেত্রে গুরুত্বপূর্ণ তাত্ত্বিক এবং ব্যবহারিক মূল্যের একটি পেপার। APT-কে নেস্টেড অনুমান সমস্যা হিসাবে চতুরতার সাথে পুনর্নির্ধারণ করে এবং MLMC প্রযুক্তি প্রবর্তন করে, এটি মূল পদ্ধতির তাত্ত্বিক বিশ্লেষণ কঠিনতা এবং গণনামূলক দক্ষতা সমস্যা সমাধান করে। যদিও গণনা সময়ে উন্নতির জায়গা রয়েছে, এর মেমরি দক্ষতা এবং তাত্ত্বিক গ্যারান্টি এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অবদান করে তোলে।