2025-11-23T19:58:17.144226

Bayesian Double Descent

Polson, Sokolov
Double descent is a phenomenon of over-parameterized statistical models such as deep neural networks which have a re-descending property in their risk function. As the complexity of the model increases, risk exhibits a U-shaped region due to the traditional bias-variance trade-off, then as the number of parameters equals the number of observations and the model becomes one of interpolation where the risk can be unbounded and finally, in the over-parameterized region, it re-descends -- the double descent effect. Our goal is to show that this has a natural Bayesian interpretation. We also show that this is not in conflict with the traditional Occam's razor -- simpler models are preferred to complex ones, all else being equal. Our theoretical foundations use Bayesian model selection, the Dickey-Savage density ratio, and connect generalized ridge regression and global-local shrinkage methods with double descent. We illustrate our approach for high dimensional neural networks and provide detailed treatments of infinite Gaussian means models and non-parametric regression. Finally, we conclude with directions for future research.
academic

বেইজিয়ান ডাবল ডিসেন্ট

মৌলিক তথ্য

  • পেপার আইডি: 2507.07338
  • শিরোনাম: বেইজিয়ান ডাবল ডিসেন্ট
  • লেখক: নিক পলসন (শিকাগো বুথ স্কুল অফ বিজনেস), ভাদিম সোকোলভ (জর্জ মেসন বিশ্ববিদ্যালয়)
  • শ্রেণীবিভাগ: stat.ML cs.LG stat.CO
  • প্রকাশনার সময়: প্রথম খসড়া: ডিসেম্বর ২৫, ২০২৪; এই খসড়া: অক্টোবর ১৬, ২০২৫
  • পেপার লিংক: https://arxiv.org/abs/2507.07338

সারসংক্ষেপ

ডাবল ডিসেন্ট হল অতিপ্যারামিটারাইজড পরিসংখ্যানগত মডেল (যেমন গভীর স্নায়ু নেটওয়ার্ক) এর ঝুঁকি ফাংশনে প্রদর্শিত একটি পুনরায় হ্রাসের বৈশিষ্ট্য। মডেলের জটিলতা বৃদ্ধির সাথে সাথে, ঝুঁকি ফাংশন ঐতিহ্যবাহী পক্ষপাত-ভেরিয়েন্স ট্রেড-অফের কারণে একটি ইউ-আকৃতির অঞ্চল প্রদর্শন করে। যখন প্যারামিটারের সংখ্যা পর্যবেক্ষণের সংখ্যার সমান হয়, তখন মডেল একটি ইন্টারপোলেশন মডেল হয়ে ওঠে এবং ঝুঁকি সীমাহীন হতে পারে, অবশেষে অতিপ্যারামিটারাইজড অঞ্চলে পুনরায় হ্রাস পায় — এটিই ডাবল ডিসেন্ট প্রভাব। এই পেপারের লক্ষ্য প্রমাণ করা যে এই ঘটনাটির একটি প্রাকৃতিক বেইজিয়ান ব্যাখ্যা রয়েছে এবং এটি ঐতিহ্যবাহী ওকাম রেজার নীতির সাথে সংঘর্ষ করে না। তাত্ত্বিক ভিত্তি বেইজিয়ান মডেল নির্বাচন, ডিকি-স্যাভেজ ঘনত্ব অনুপাত ব্যবহার করে এবং সাধারণীকৃত রিজ রিগ্রেশন এবং গ্লোবাল-লোকাল সংকোচন পদ্ধতিগুলিকে ডাবল ডিসেন্টের সাথে সংযুক্ত করে।

গবেষণা পটভূমি এবং প্রেরণা

মূল সমস্যা

  1. ডাবল ডিসেন্ট ঘটনার বেইজিয়ান ব্যাখ্যার অভাব: ডাবল ডিসেন্ট ঘটনা প্রধানত ফ্রিকোয়েন্টিস্ট দৃষ্টিকোণ থেকে অধ্যয়ন করা হয়, সিস্টেমেটিক বেইজিয়ান তাত্ত্বিক কাঠামোর অভাব রয়েছে
  2. ওকাম রেজার এবং ডাবল ডিসেন্টের পৃষ্ঠতল সংঘর্ষ: বেইজিয়ান পদ্ধতি সহজ মডেল পছন্দ করে, যখন ডাবল ডিসেন্ট জটিল মডেলগুলি আরও ভাল হতে পারে তা নির্দেশ করে
  3. অতিপ্যারামিটারাইজড মডেলের অপর্যাপ্ত তাত্ত্বিক বোঝাপড়া: যখন প্যারামিটারের সংখ্যা নমুনার সংখ্যা অতিক্রম করে, ঐতিহ্যবাহী পরিসংখ্যান তত্ত্ব ব্যর্থ হয়

গবেষণার গুরুত্ব

  1. তাত্ত্বিক একীকরণ: ডাবল ডিসেন্ট ঘটনার জন্য একটি একীভূত বেইজিয়ান তাত্ত্বিক কাঠামো প্রদান করা
  2. ব্যবহারিক নির্দেশনা: গভীর শিক্ষা এবং অন্যান্য আধুনিক মেশিন লার্নিং পদ্ধতির জন্য তাত্ত্বিক সমর্থন প্রদান করা
  3. পদ্ধতিগত অবদান: ক্লাসিক্যাল পরিসংখ্যান তত্ত্ব এবং আধুনিক মেশিন লার্নিং অনুশীলনের সংযোগ স্থাপন করা

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

  1. ফ্রিকোয়েন্টিস্ট দৃষ্টিভঙ্গির সীমাবদ্ধতা: বিদ্যমান গবেষণা প্রধানত ন্যূনতম L2 নর্ম অনুমানকারীর উপর ফোকাস করে, পূর্ব নিয়মিতকরণের ভূমিকা উপেক্ষা করে
  2. BIC আনুমানিকতার ব্যর্থতা: যখন p > n, ল্যাপ্লেস আনুমানিকতা (BIC) দুর্বল পারফরম্যান্স দেখায়
  3. অভিজ্ঞতামূলক ঝুঁকি সীমার অকার্যকারিতা: ইন্টারপোলেটরদের জন্য, অভিজ্ঞতামূলক ঝুঁকি শূন্য, যা ঐতিহ্যবাহী সীমাগুলিকে অর্থহীন করে তোলে

মূল অবদান

  1. ডাবল ডিসেন্টের বেইজিয়ান তাত্ত্বিক কাঠামো প্রতিষ্ঠা: প্রমাণ করা যে শর্তসাপেক্ষ পূর্ব p(θ_M|M) ডাবল ডিসেন্ট ঘটনা চালিত করার মূল কারণ
  2. ওকাম রেজার প্যারাডক্স সমাধান: প্রমাণ করা যে বেইজিয়ান ওকাম রেজার এবং ডাবল ডিসেন্ট ঘটনা সংঘর্ষ করে না
  3. ক্লাসিক্যাল পদ্ধতি এবং আধুনিক প্রযুক্তির সংযোগ: সাধারণীকৃত রিজ রিগ্রেশন, গ্লোবাল-লোকাল সংকোচন পদ্ধতি এবং ডাবল ডিসেন্টকে সংযুক্ত করা
  4. গণনামূলক সমতুল্যতা উপপাদ্য প্রদান: ডিকি-স্যাভেজ ঘনত্ব অনুপাতের মাধ্যমে নেস্টেড মডেলের গণনামূলক সমতুল্যতা অর্জন করা
  5. স্নায়ু নেটওয়ার্কে সম্প্রসারণ: তাত্ত্বিক কাঠামো উচ্চ-মাত্রিক স্নায়ু নেটওয়ার্ক রিগ্রেশনে প্রয়োগ করা

পদ্ধতির বিস্তারিত বর্ণনা

কাজের সংজ্ঞা

অতিপ্যারামিটারাইজড রিগ্রেশন মডেলে ঝুঁকি ফাংশনের আচরণ অধ্যয়ন করা, বিশেষ করে যখন মডেলের জটিলতা M পরিবর্তিত হয় তখন বেইজিয়ান ঝুঁকি R(M) এর ডাবল ডিসেন্ট ঘটনা:

বেইজিয়ান ডাবল ডিসেন্টের সংজ্ঞা: R(M) = E_{y,θ|M}(θ̂_M(y) - θ)² কে মডেল M এর অধীনে অনুমানকারীর শর্তসাপেক্ষ পূর্ব বেইজিয়ান ঝুঁকি হিসাবে সেট করুন, যখন M > n তখন R(M) পুনরায় হ্রাসের আচরণ প্রদর্শন করে।

তাত্ত্বিক কাঠামো

১. বেইজিয়ান মডেল জটিলতা কাঠামো

যৌথ পশ্চাৎ বিয়োজন:

P(θ_M, M | D) = P(θ_M | M, D)P(M | D)

প্রমাণ (প্রান্তিক সম্ভাবনা):

p(D|M) = ∫_{Θ_M} p(D | θ_M, M)p(θ_M|M)dθ_M

মূল অন্তর্দৃষ্টি: শর্তসাপেক্ষ পূর্ব p(θ_M|M) প্রান্তিকীকরণ প্রক্রিয়ার মাধ্যমে বেইজিয়ান ঝুঁকিকে প্রভাবিত করে, অতিপ্যারামিটারাইজড অঞ্চলে অন্তর্নিহিত নিয়মিতকরণ ভূমিকা পালন করে।

২. মডেল নেস্টিং এবং গণনামূলক সমতুল্যতা উপপাদ্য

উপপাদ্য ৩.১ (মডেল নেস্টিং এবং গণনামূলক সমতুল্যতা): সামঞ্জস্যপূর্ণ শর্তের অধীনে:

  • p(θ_m|m) = p(θ_m|θ_{m+1:M} = 0, y)
  • p(y|θ_m, m) = p(y|θ_m, θ_{m+1:M} = 0)

অতিপ্যারামিটারাইজড সম্পূর্ণ মডেল M থেকে সাব-মডেল m এর ফাংশন অনুমান গণনা করা যায়:

f̂_m(x) = E[f̂_m(x)|θ_{m+1:M} = 0, M, y]

ডিকি-স্যাভেজ ঘনত্ব অনুপাত:

p(y|m)/p(y|M) = p(θ_{m+1:M} = 0|y, M)/p(θ_{m+1:M} = 0|M)

৩. BIC আনুমানিকতার সীমাবদ্ধতা

যখন p < n, ল্যাপ্লেস আনুমানিকতা প্রদান করে:

log p(D|M) ≈ log p(D|θ̂, M) - (k/2)log n

কিন্তু যখন p > n, এই আনুমানিকতা ব্যর্থ হয়, পূর্ব p(θ|M) এর বেইজিয়ান ঝুঁকিতে প্রভাব উল্লেখযোগ্য হয়ে ওঠে।

সাধারণীকৃত রিজ রিগ্রেশন সংযোগ

অর্থোগোনাল বিয়োজন প্রতিনিধিত্ব

ডিজাইন ম্যাট্রিক্স X এর SVD বিয়োজন: PXTXQ = Λ², আমরা পাই:

γ*_i = (λ²_i)/(λ²_i + k_i) γ̂_i

যেখানে k_i হল স্থানীয় সংকোচন প্যারামিটার, গ্লোবাল-লোকাল সংকোচন মডেলের স্থানীয় স্কেলের সাথে সামঞ্জস্যপূর্ণ।

সর্বোত্তম সংকোচন প্যারামিটার

প্রান্তিক সম্ভাবনা z_i|k_i, σ² অপ্টিমাইজ করে আমরা পাই:

k̂_i = (λ²_i σ²)/(z²_i - σ²) for z²_i > σ²

স্নায়ু নেটওয়ার্ক সম্প্রসারণ

স্তরযুক্ত বেইজিয়ান নিয়ম:

y_i = Σ_{j=1}^M θ_j φ_j(x_i; w) + ε_i
θ_j ~ N(0, σ²_j)
w ~ p(w)
σ²_j ~ p(σ²_j)

এটি ভিত্তি ফাংশনগুলি স্বয়ংক্রিয়ভাবে শিখতে অনুমতি দেয়, একই সাথে বেইজিয়ান মডেল নির্বাচন কাঠামো বজায় রাখে।

পরীক্ষামূলক সেটআপ

বহুপদী রিগ্রেশন পরীক্ষা

ডেটা উৎপাদন:

  • প্রকৃত ফাংশন: y_i = sin(5x_i) + ε, ε ~ N(0, 0.3²)
  • নমুনা আকার: n = 20
  • মডেল জটিলতা: d = 1, 2, ..., 50

ভিত্তি ফাংশন নির্বাচন: লেজেন্ড্রে বহুপদী ভিত্তি ফাংশন ব্যবহার করা, সংখ্যাগত স্থিতিশীল অর্থোগোনাল ভিত্তি প্রদান করে।

অনুমান পদ্ধতি: মুর-পেনরোজ সিউডো-ইনভার্স ব্যবহার করা, অতিপ্যারামিটারাইজড সময়ে ন্যূনতম নর্ম সমাধান প্রদান করে।

বেইজিয়ান বহুপদী রিগ্রেশন

ইয়াং পদ্ধতি:

  • পূর্ব: C = diag(δ², τ²/λ²₁, ..., τ²/λ²_q)
  • পশ্চাৎ: θ | D, σ², C ~ N(θ̂_post, Σ_post)

ডিটন পদ্ধতি:

  • ক্রমানুবর্তী সীমাবদ্ধতা: σ²₀ ≥ σ²₁ ≥ ... ≥ σ²_p
  • আইসোটনিক রিগ্রেশন (PAVA) অসীম MAP অনুমান সামঞ্জস্য করা

পরীক্ষামূলক ফলাফল

ডাবল ডিসেন্ট ঘটনা যাচাইকরণ

তিনটি পর্যায়:

  1. ক্লাসিক্যাল অঞ্চল (d < 5): জটিলতা বৃদ্ধি পক্ষপাত এবং পরীক্ষা ত্রুটি হ্রাস করে
  2. ইন্টারপোলেশন সংকট (d ≈ n = 20): পরীক্ষা ত্রুটি শিখর পৌঁছায়, মডেল প্রশিক্ষণ ডেটা নিখুঁতভাবে ফিট করে কিন্তু সাধারণীকরণ খারাপ
  3. অতিপ্যারামিটারাইজড অঞ্চল (d > 30): পরীক্ষা ত্রুটি পুনরায় হ্রাস পায়, চরম অতিপ্যারামিটারাইজেশন সাধারণীকরণ উন্নত করে

মূল আবিষ্কার

  1. অন্তর্নিহিত নিয়মিতকরণ প্রভাব: ন্যূনতম নর্ম সমাধান অতিপ্যারামিটারাইজড সেটিংসে সহজ ফাংশনের প্রতি অন্তর্নিহিত পক্ষপাত রাখে
  2. বেইজিয়ান সুবিধা: উপযুক্ত পূর্ব নিয়মের মাধ্যমে, বেইজিয়ান পদ্ধতি সমস্ত অঞ্চলে ভাল পারফরম্যান্স দেখায়
  3. গণনামূলক দক্ষতা: সর্বোচ্চ সম্ভাব্য মডেল সরাসরি ব্যবহার করা যায়, সময়সাপেক্ষ মডেল নির্বাচন এড়ানো যায়

প্রান্তিক সম্ভাবনা আচরণ

প্রকৃত বহুপদী ডিগ্রি p_true = 10 এর মডেলের জন্য, প্রান্তিক সম্ভাবনা সংশ্লিষ্ট জটিলতায় শিখর পৌঁছায়, বেইজিয়ান ওকাম রেজারের কার্যকারিতা যাচাই করে।

সম্পর্কিত কাজ

ফ্রিকোয়েন্টিস্ট গবেষণা

  1. বেলকিন এট আল. (২০১৯): রৈখিক রিগ্রেশনে ডাবল ডিসেন্ট প্রথম পর্যবেক্ষণ করা
  2. ব্যাচ (২০২৪): র্যান্ডম রিগ্রেশন মডেলে সম্প্রসারণ
  3. হেস্টি এট আল. (২০২২): ইন্টারপোলেটরদের বৈশিষ্ট্য অধ্যয়ন করা

বেইজিয়ান পদ্ধতি

  1. ম্যাকে (১৯৯২): বেইজিয়ান ইন্টারপোলেশন এবং হাইপারপ্যারামিটার নিয়মিতকরণ
  2. পলসন এবং স্কট (২০১२): গ্লোবাল-লোকাল সংকোচন কাঠামো
  3. ইয়াং (১৯৭७), ডিটন (১৯৮०): বহুপদী রিগ্রেশনের বেইজিয়ান পদ্ধতি

পক্ষপাত-ভেরিয়েন্স ট্রেড-অফ

  1. গেম্যান এট আল. (১৯९२): স্নায়ু নেটওয়ার্কে পক্ষপাত-ভেরিয়েন্স ট্রেড-অফ
  2. এফ্রন এবং মরিস (१९७३): সংকোচন অনুমানকারীদের সুবিধা

উপসংহার এবং আলোচনা

প্রধান সিদ্ধান্ত

  1. তাত্ত্বিক একীকরণ: ডাবল ডিসেন্ট ঘটনার একটি প্রাকৃতিক বেইজিয়ান ব্যাখ্যা রয়েছে, শর্তসাপেক্ষ পূর্ব p(θ_M|M) দ্বারা চালিত
  2. ওকাম রেজার সামঞ্জস্যতা: প্রান্তিক সম্ভাবনা এখনও সহজ মডেল পছন্দ করে, কিন্তু শর্তসাপেক্ষ পূর্ব অতিপ্যারামিটারাইজড অঞ্চলে ভাল ঝুঁকি বৈশিষ্ট্য প্রদান করতে পারে
  3. ব্যবহারিক নির্দেশনা: সর্বোচ্চ সম্ভাব্য মডেল ব্যবহার করার সুপারিশ করা, বেইজিয়ান কাঠামোর স্বয়ংক্রিয় নিয়মিতকরণের উপর নির্ভর করা

সীমাবদ্ধতা

  1. পূর্ব নিয়মের চ্যালেঞ্জ: জটিল স্থানে যৌথ প্যারামিটার পূর্ব নির্দিষ্ট করার প্রয়োজন
  2. গণনামূলক জটিলতা: স্নায়ু নেটওয়ার্ক ভিত্তি ফাংশনের প্রান্তিক সম্ভাবনা গণনা কঠিন
  3. তাত্ত্বিক ফাঁক: উচ্চ-মাত্রিক ক্ষেত্রে সম্পূর্ণ তাত্ত্বিক বিশ্লেষণ এখনও উন্নয়নশীল

ভবিষ্যত দিকনির্দেশনা

  1. অভিযোজিত পূর্ব: ডেটা কাঠামো স্বয়ংক্রিয়ভাবে সামঞ্জস্য করতে পারে এমন পূর্ব নিয়ম বিকাশ করা
  2. গভীর শিক্ষা সম্প্রসারণ: কাঠামোটি প্যারামিটার সংখ্যা নমুনা সংখ্যার চেয়ে অনেক বেশি এমন গভীর শিক্ষায় সম্প্রসারণ করা
  3. গণনামূলক পদ্ধতি: উচ্চ-মাত্রিক সেটিংসে দক্ষ আনুমানিক অনুমান কৌশল বিকাশ করা

গভীর মূল্যায়ন

সুবিধা

  1. তাত্ত্বিক উদ্ভাবন: ডাবল ডিসেন্ট ঘটনার জন্য প্রথমবার সিস্টেমেটিক বেইজিয়ান তাত্ত্বিক কাঠামো প্রদান করা
  2. সমস্যা সমাধান: ওকাম রেজার এবং ডাবল ডিসেন্টের পৃষ্ঠতল সংঘর্ষ মার্জিতভাবে সমাধান করা
  3. পদ্ধতি সংযোগ: ক্লাসিক্যাল পরিসংখ্যান পদ্ধতি এবং আধুনিক মেশিন লার্নিং সফলভাবে সংযুক্ত করা
  4. পর্যাপ্ত পরীক্ষা: বহুপদী রিগ্রেশনের মাধ্যমে তাত্ত্বিক পূর্বাভাস স্পষ্টভাবে প্রদর্শন করা

অপূর্ণতা

  1. প্রয়োগের সীমাবদ্ধতা: প্রধানত তুলনামূলক সহজ রিগ্রেশন সেটিংসে সীমাবদ্ধ, গভীর শিক্ষা প্রয়োগ এখনও উন্নয়নশীল
  2. গণনামূলক চ্যালেঞ্জ: উচ্চ-মাত্রিক ক্ষেত্রে প্রকৃত গণনা এখনও কঠিন
  3. পূর্ব সংবেদনশীলতা: পদ্ধতির সাফল্য উপযুক্ত পূর্ব নির্বাচনের উপর অত্যন্ত নির্ভরশীল

প্রভাব

  1. তাত্ত্বিক অবদান: আধুনিক মেশিন লার্নিং ঘটনা বোঝার জন্য গুরুত্বপূর্ণ বেইজিয়ান দৃষ্টিভঙ্গি প্রদান করা
  2. ব্যবহারিক মূল্য: অতিপ্যারামিটারাইজড মডেল ব্যবহারের জন্য তাত্ত্বিক সমর্থন প্রদান করা
  3. গবেষণা অনুপ্রেরণা: আধুনিক মেশিন লার্নিংয়ে বেইজিয়ান পদ্ধতির নতুন প্রয়োগ দিকনির্দেশনা খোলা

প্রযোজ্য পরিস্থিতি

  1. রিগ্রেশন সমস্যা: বিশেষত উচ্চ-মাত্রিক রিগ্রেশন এবং ফাংশন অনুমান
  2. মডেল নির্বাচন: একাধিক জটিলতা স্তরের মধ্যে নির্বাচনের প্রয়োজন এমন পরিস্থিতি
  3. অনিশ্চয়তা পরিমাণীকরণ: পূর্বাভাস এবং অনিশ্চয়তা অনুমান উভয়ই প্রয়োজন এমন প্রয়োগ

রেফারেন্স

এই পেপারটি অসংখ্য গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, যার মধ্যে রয়েছে:

  • বেলকিন এট আল. (२०१९): ডাবল ডিসেন্ট ঘটনার যুগান্তকারী কাজ
  • ম্যাকে (१९९२): বেইজিয়ান ইন্টারপোলেশনের ক্লাসিক সাহিত্য
  • পলসন এবং স্কট (२०१२): গ্লোবাল-লোকাল সংকোচন পদ্ধতি
  • ইয়াং (१९७७), ডিটন (१९८०): বেইজিয়ান বহুপদী রিগ্রেশনের প্রাথমিক কাজ

এই পেপারটি তাত্ত্বিকভাবে উল্লেখযোগ্য, আধুনিক মেশিন লার্নিংয়ে ডাবল ডিসেন্ট ঘটনা বোঝার জন্য একটি নতুন বেইজিয়ান দৃষ্টিভঙ্গি প্রদান করে। যদিও ব্যবহারিক প্রয়োগের ক্ষেত্রে এখনও চ্যালেঞ্জ রয়েছে, এটি ভবিষ্যত গবেষণার জন্য একটি দৃঢ় তাত্ত্বিক ভিত্তি স্থাপন করে।