2025-11-25T21:58:18.737394

A Principled Approach to Bayesian Transfer Learning

Bretherton, Bon, Warne et al.
Updating $\textit{a priori}$ information given some observed data is the core tenet of Bayesian inference. Bayesian transfer learning extends this idea by incorporating information from a related dataset to improve the inference on the observed target dataset which may have been collected under slightly different settings. The use of related information can be useful when the target dataset is scarce, for example. There exist various Bayesian transfer learning methods that decide how to incorporate the related data in different ways. Unfortunately, there is no principled approach for comparing Bayesian transfer methods in real data settings. Additionally, some Bayesian transfer learning methods, such as the so-called power prior approaches, rely on conjugacy or costly specialised techniques. In this paper, we find an effective approach to compare Bayesian transfer learning methods is to apply leave-one-out cross validation on the target dataset. Further, we introduce a new framework, $\textit{transfer sequential Monte Carlo}$, that efficiently implements power prior methods in an automated fashion. We demonstrate the performance of our proposed methods in two comprehensive simulation studies.
academic

बेयेसियन ट्रांसफर लर्निंग के लिए एक सिद्धांतवादी दृष्टिकोण

मूल जानकारी

  • पेपर ID: 2502.19796
  • शीर्षक: A Principled Approach to Bayesian Transfer Learning
  • लेखक: Adam Bretherton, Joshua J. Bon, David J. Warne, Kerrie Mengersen, Christopher Drovandi
  • वर्गीकरण: stat.ME (सांख्यिकी - पद्धति), stat.CO (सांख्यिकी - संगणना)
  • प्रकाशन समय: 2025 अक्टूबर 14 (arXiv v3)
  • पेपर लिंक: https://arxiv.org/abs/2502.19796v3

सारांश

यह पेपर बेयेसियन ट्रांसफर लर्निंग के सिद्धांतवादी दृष्टिकोण का अध्ययन करता है। बेयेसियन अनुमान का मूल सिद्धांत अवलोकित डेटा के आधार पर पूर्व सूचना को अद्यतन करना है, जबकि बेयेसियन ट्रांसफर लर्निंग इस विचार को संबंधित डेटासेट की जानकारी को एकीकृत करके लक्ष्य डेटासेट के अनुमान में सुधार करने के लिए विस्तारित करता है। जब लक्ष्य डेटासेट दुर्लभ हो, तो संबंधित जानकारी का उपयोग विशेष रूप से मूल्यवान है। मौजूदा बेयेसियन ट्रांसफर लर्निंग विधियां संबंधित डेटा को एकीकृत करने के तरीके में विभिन्न रणनीतियां अपनाती हैं, लेकिन वास्तविक डेटा वातावरण में इन विधियों की तुलना के लिए एक सिद्धांतवादी दृष्टिकोण की कमी है। इसके अलावा, कुछ विधियां (जैसे power prior विधि) संयुग्मता या महंगी विशेष तकनीकों पर निर्भर करती हैं। यह पेपर पाता है कि लीव-वन-आउट क्रॉस-वेलिडेशन बेयेसियन ट्रांसफर लर्निंग विधियों की तुलना के लिए एक प्रभावी मार्ग है, और ट्रांसफर सीक्वेंशियल मोंटे कार्लो (TSMC) फ्रेमवर्क प्रस्तावित करता है, जो power prior विधि को स्वचालित रूप से कुशलतापूर्वक लागू कर सकता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

बेयेसियन ट्रांसफर लर्निंग का उद्देश्य यह है कि संबंधित स्रोत डेटा का प्रभावी ढंग से उपयोग करके लक्ष्य डेटा के अनुमान में सुधार कैसे किया जाए। व्यावहारिक अनुप्रयोगों में, लक्ष्य डेटा अक्सर दुर्लभ और महंगा होता है, जबकि संबंधित ऐतिहासिक डेटा या समान अनुसंधान का डेटा प्रचुर हो सकता है लेकिन लक्ष्य डेटा से कुछ अंतर रखता है।

समस्या की महत्ता

  1. डेटा की कमी: महामारी विज्ञान, नैदानिक परीक्षण आदि क्षेत्रों में नए डेटा प्राप्त करना महंगा और समय लेने वाला है
  2. सूचना उपयोग की दक्षता: संबंधित स्रोत डेटा को पूरी तरह से त्यागना अक्षम है, लेकिन सीधे विलय से पूर्वाग्रह हो सकता है
  3. व्यावहारिक आवश्यकता: डेटा समानता की विभिन्न डिग्री के तहत उचित ट्रांसफर निर्णय लेने की आवश्यकता है

मौजूदा विधियों की सीमाएं

  1. तुलना मानदंड की कमी: वास्तविक डेटा वातावरण में विभिन्न ट्रांसफर लर्निंग विधियों के प्रदर्शन की तुलना के लिए कोई सिद्धांतवादी विधि नहीं है
  2. संगणनात्मक जटिलता: Power prior विधि संयुग्म पूर्व या विशेष MCMC तकनीकों पर निर्भर करती है, जिसकी संगणनात्मक लागत अधिक है
  3. पैरामीटर चयन की कठिनाई: निश्चित power prior को ग्रिड खोज की आवश्यकता है, सामान्यीकृत power prior में दोहरी अनुपलब्धता समस्या है

अनुसंधान प्रेरणा

यह पेपर एक एकीकृत फ्रेमवर्क प्रदान करने का लक्ष्य रखता है:

  1. बेयेसियन ट्रांसफर लर्निंग विधियों की तुलना के लिए सिद्धांतवादी मानदंड स्थापित करना
  2. Power prior के लिए संगणनात्मक रूप से कुशल कार्यान्वयन विधि विकसित करना
  3. वास्तविक पैरामीटर मानों की आवश्यकता के बिना विधि प्रदर्शन का मूल्यांकन करना

मुख्य योगदान

  1. पश्च पूर्वानुमान परीक्षण फ्रेमवर्क प्रस्तावित करना: लीव-वन-आउट क्रॉस-वेलिडेशन (LOO-CV) का उपयोग वास्तविक डेटा वातावरण में बेयेसियन ट्रांसफर लर्निंग विधियों की तुलना के लिए सिद्धांतवादी मानदंड के रूप में करना
  2. TSMC संगणनात्मक फ्रेमवर्क विकसित करना: ट्रांसफर सीक्वेंशियल मोंटे कार्लो विधि प्रस्तावित करना, जो निश्चित power prior (FPP) और सामान्यीकृत power prior (NPP) दोनों को कुशलतापूर्वक लागू कर सकता है
  3. दोहरी अनुपलब्धता समस्या का समाधान: NPP में पैरामीटर-निर्भर सामान्यीकरण स्थिरांक की संगणनात्मक चुनौती को दूर करने के लिए चतुर अपघटन रणनीति के माध्यम से
  4. व्यवस्थित मूल्यांकन प्रदान करना: दो व्यापक सिमुलेशन अध्ययनों में प्रस्तावित विधि की प्रभावशीलता को सत्यापित करना

विधि विवरण

कार्य परिभाषा

लक्ष्य डेटासेट yTy_T (आकार nn) और संबंधित स्रोत डेटासेट ySy_S (आकार mm, जहां n<mn < m) दिया गया है, लक्ष्य स्रोत डेटा का उपयोग करके लक्ष्य डेटा के बेयेसियन अनुमान में सुधार करना है, जबकि स्रोत डेटा और लक्ष्य डेटा के अंतर से नकारात्मक प्रभाव से बचना है।

Power Prior विधि

मूल रूप

Power prior पैरामीटर α∈(0,1)\alpha \in (0,1) को समायोजित करके स्रोत डेटा के प्रभाव को नियंत्रित करता है:

π(θ∣yS,α)=p(yS∣θ)απ(θ)CS(α)\pi(\theta|y_S, \alpha) = \frac{p(y_S|\theta)^\alpha \pi(\theta)}{C_S(\alpha)}

जहां CS(α)C_S(\alpha) सामान्यीकरण स्थिरांक है। लक्ष्य पश्च है:

π(θ∣yT,yS,α)=p(yT∣θ)p(yS∣θ)απ(θ)CT,S(α)\pi(\theta|y_T, y_S, \alpha) = \frac{p(y_T|\theta)p(y_S|\theta)^\alpha \pi(\theta)}{C_{T,S}(\alpha)}

दो प्रकार

  1. निश्चित Power Prior (FPP): α\alpha एक निश्चित मान है, मॉडल चयन मानदंड द्वारा निर्धारित
  2. सामान्यीकृत Power Prior (NPP): α\alpha एक यादृच्छिक चर है, पूर्व वितरण α∼Beta(α0,β0)\alpha \sim \text{Beta}(\alpha_0, \beta_0) को सौंपा गया है

ट्रांसफर सीक्वेंशियल मोंटे कार्लो (TSMC) फ्रेमवर्क

मूल विचार

अपघटन संबंध CT(α)=CT,S(α)CS(α)C_T(\alpha) = \frac{C_{T,S}(\alpha)}{C_S(\alpha)} का उपयोग करके सामान्यीकरण स्थिरांक का अप्रत्यक्ष अनुमान लगाना, प्रत्यक्ष गणना की कठिनाई से बचना।

दोहरी-शेड्यूल SMC एल्गोरिथ्म

शेड्यूल 1: CS(α)C_S(\alpha) का अनुमान लगाना

  • लक्ष्य वितरण: πt,S(θ∣yS,αt)∝p(yS∣θ)αtπ(θ)\pi_{t,S}(\theta|y_S, \alpha_t) \propto p(y_S|\theta)^{\alpha_t}\pi(\theta)
  • व्युत्क्रम तापमान अनुक्रम: 0=α0<α1<⋯<αT=10 = \alpha_0 < \alpha_1 < \cdots < \alpha_T = 1

शेड्यूल 2: CT,S(α)C_{T,S}(\alpha) का अनुमान लगाना

  • लक्ष्य वितरण: πt,TSMC(θ∣yS,yT,γt,αt)∝p(yT∣θ)γtp(yS∣θ)αtπ(θ)\pi_{t,TSMC}(\theta|y_S, y_T, \gamma_t, \alpha_t) \propto p(y_T|\theta)^{\gamma_t}p(y_S|\theta)^{\alpha_t}\pi(\theta)
  • दो-चरणीय डिजाइन: पहले γ\gamma का उपयोग करके लक्ष्य डेटा को एकीकृत करना, फिर α\alpha का उपयोग करके स्रोत डेटा को एकीकृत करना

मॉडल चयन रणनीति

TSMC-ME (मॉडल साक्ष्य): α∗=arg⁡max⁡α∈[0,1]CT(α)\alpha^* = \arg\max_{\alpha \in [0,1]} C_T(\alpha)

TSMC-NPP (पूर्ण बेयेसियन): π(α∣yT,yS)∝CT(α)π(α)\pi(\alpha|y_T, y_S) \propto C_T(\alpha)\pi(\alpha)

पश्च पूर्वानुमान परीक्षण विधि

आदर्श संकेतक (वास्तविक पैरामीटर की आवश्यकता)

  • पूर्वाग्रह: Bias=∣μ^θ−θ∗∣\text{Bias} = |\hat{\mu}_\theta - \theta^*|
  • माध्य वर्ग त्रुटि: MSE=1N∑i=1N(θi−θ∗)2\text{MSE} = \frac{1}{N}\sum_{i=1}^N (\theta_i - \theta^*)^2
  • आवृत्ति कवरेज संभावना: FCP0.9\text{FCP}_{0.9}

व्यावहारिक संकेतक (वास्तविक पैरामीटर की आवश्यकता नहीं)

सशर्त लॉग पॉइंटवाइज प्रेडिक्टिव डेंसिटी (CLPPD): CLPPD=∑i=1nlog⁡(1N∑j=1Np(yT,i∣θj))\text{CLPPD} = \sum_{i=1}^n \log\left(\frac{1}{N}\sum_{j=1}^N p(y_{T,i}|\theta_j)\right)

लीव-वन-आउट क्रॉस-वेलिडेशन (LOO-CV): LOO-CV=∑i=1nlog⁡(1N∑j=1Np(yT,i∣θ(−i,j)))\text{LOO-CV} = \sum_{i=1}^n \log\left(\frac{1}{N}\sum_{j=1}^N p(y_{T,i}|\theta_{(-i,j)})\right)

महत्व नमूनाकरण के माध्यम से गणना में तेजी लाना: W−i(j)=w−i(j)∑k=1Nw−i(k),w−i(j)=p(yT,i∣θj)−1W_{-i}^{(j)} = \frac{w_{-i}^{(j)}}{\sum_{k=1}^N w_{-i}^{(k)}}, \quad w_{-i}^{(j)} = p(y_{T,i}|\theta_j)^{-1}

प्रयोगात्मक सेटअप

डेटासेट

रैखिक प्रतिगमन मॉडल

  • मॉडल: y=β0+xβ1+ϵy = \beta_0 + x\beta_1 + \epsilon, ϵ∼N(0,σ2)\epsilon \sim N(0, \sigma^2)
  • पैरामीटर सेटिंग: θT=(5,3,2)\theta_T = (5, 3, 2), θS=θT+2k⋅s^\theta_S = \theta_T + 2k \cdot \hat{s}
  • डेटा स्केल: लक्ष्य डेटा n=40n=40, स्रोत डेटा m=80m=80
  • अंतर स्तर: k∈{0,1,2,3}k \in \{0, 1, 2, 3\}

Weibull जीवन काल मॉडल

  • पृष्ठभूमि: मेलेनोमा नैदानिक परीक्षण E1684 और E1690 पर आधारित
  • मॉडल: सहसंयोजकों के साथ Weibull cure model
  • पैरामीटर आयाम: 7-आयामी पैरामीटर वेक्टर
  • डेटा स्केल: लक्ष्य डेटा n=40n=40, स्रोत डेटा m=300m=300

मूल्यांकन संकेतक

  • आदर्श संकेतक: पूर्वाग्रह, MSE, 90% आवृत्ति कवरेज संभावना
  • व्यावहारिक संकेतक: CLPPD, LOO-CV और उनकी रैंकिंग
  • तुलना विधियां: लक्ष्य डेटा अकेले अनुमान (BT), स्रोत डेटा अकेले अनुमान (BS), बेयेसियन अपडेट (BU), FPP, NPP, वास्तविक डेटा अनुमान (True)

कार्यान्वयन विवरण

  • कणों की संख्या: N=1000N = 1000
  • प्रभावी नमूना आकार थ्रेशोल्ड: E=N/2=500E = N/2 = 500
  • दोहराव की संख्या: प्रत्येक सेटिंग के लिए 100 स्वतंत्र प्रयोग
  • पूर्व सेटिंग: α∼Beta(1,1)\alpha \sim \text{Beta}(1,1)

प्रयोगात्मक परिणाम

मुख्य परिणाम

रैखिक प्रतिगमन प्रयोग

तालिका 1 से देखा जा सकता है:

  • k=0k=0 (कोई अंतर नहीं): BU और True विधियां सर्वश्रेष्ठ प्रदर्शन करती हैं, LOO-CV सही तरीके से सर्वश्रेष्ठ विधि की पहचान करता है
  • k=1k=1 (मामूली अंतर): FPP और NPP लाभ दिखाना शुरू करते हैं, LOO-CV सटीक रैंकिंग करता है
  • k=2,3k=2,3 (मध्यम/गंभीर अंतर): लक्ष्य डेटा विधियां धीरे-धीरे प्रभावशाली हो जाती हैं, power prior विधियां अभी भी प्रतिस्पर्धी हैं

मुख्य निष्कर्ष:

  • LOO-CV सभी अंतर स्तरों पर सर्वश्रेष्ठ विधि की सही पहचान कर सकता है
  • CLPPD व्यवस्थित रूप से लक्ष्य डेटा विधियों की ओर पूर्वाग्रह करता है, यहां तक कि वास्तविक विधि से भी बेहतर है

Weibull जीवन काल मॉडल प्रयोग

तालिका 2 अधिक जटिल मॉडल के तहत सुसंगत परिणाम दिखाती है:

  • डेटा जानकारी की कमी और बड़े स्रोत डेटा के कारण, लक्ष्य डेटा विधियां अपेक्षाकृत खराब प्रदर्शन करती हैं
  • LOO-CV अभी भी सर्वश्रेष्ठ ट्रांसफर रणनीति की सटीक पहचान करता है
  • CLPPD की पूर्वाग्रह समस्या अधिक स्पष्ट है

विधि तुलना विश्लेषण

LOO-CV बनाम CLPPD

  • LOO-CV लाभ: अति-फिटिंग से बचना, आदर्श संकेतकों के साथ रैंकिंग में उच्च सुसंगतता
  • CLPPD समस्या: प्रशिक्षण डेटा पर मूल्यांकन लक्ष्य डेटा विधियों के प्रति पूर्वाग्रह की ओर ले जाता है

Power Prior विधि प्रदर्शन

  • मध्यम अंतर स्थिति में सर्वश्रेष्ठ प्रदर्शन करता है
  • स्रोत डेटा प्रभाव को स्वचालित रूप से समायोजित कर सकता है
  • TSMC फ्रेमवर्क संगणना को व्यावहार्य बनाता है

संगणनात्मक दक्षता विश्लेषण

  • TSMC फ्रेमवर्क मध्यवर्ती परिणामों को संग्रहीत करके दोहराई गई गणना से बचता है
  • महत्व नमूनाकरण LOO-CV गणना को कुशल बनाता है
  • एकल रन FPP और NPP दोनों परिणाम एक साथ प्राप्त कर सकता है

संबंधित कार्य

बेयेसियन ट्रांसफर लर्निंग विधियां

  1. Power Prior परिवार: Ibrahim et al. (2003, 2015) द्वारा प्रस्तावित शास्त्रीय विधि
  2. Commensurate Prior: Hobbs et al. (2011), spike-and-slab पूर्व का उपयोग करते हुए
  3. Meta-Analytic-Predictive Approach (MAPA): Neuenschwander et al. (2010)

संगणनात्मक विधियां

  • संयुग्म पूर्व विधि: Carvalho and Ibrahim (2021)
  • दोहरी-अनुपलब्धता MCMC: Park and Haran (2018)
  • सीक्वेंशियल मोंटे कार्लो: Chopin (2002), Del Moral et al. (2006)

मॉडल चयन

  • सूचना मानदंड: DIC, WAIC आदि पारंपरिक विधियां
  • क्रॉस-वेलिडेशन: बेयेसियन ट्रांसफर लर्निंग में अनुप्रयोग कम है

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. LOO-CV एक प्रभावी मूल्यांकन मानदंड है: वास्तविक पैरामीटर की आवश्यकता के बिना सर्वश्रेष्ठ ट्रांसफर रणनीति की सटीक पहचान कर सकता है
  2. TSMC फ्रेमवर्क संगणनात्मक चुनौतियों को हल करता है: Power prior विधि को व्यावहारिक अनुप्रयोगों में व्यावहार्य बनाता है
  3. मध्यम ट्रांसफर का मूल्य: जब स्रोत डेटा और लक्ष्य डेटा मध्यम रूप से संबंधित हों, तो power prior विधि चरम रणनीतियों से काफी बेहतर है

सीमाएं

  1. एकल स्रोत डेटा सीमा: वर्तमान फ्रेमवर्क केवल एक स्रोत डेटासेट पर विचार करता है
  2. पूर्व चयन संवेदनशीलता: NPP में α\alpha के पूर्व चयन को अभी भी आगे के अनुसंधान की आवश्यकता है
  3. संगणनात्मक लागत: हालांकि पारंपरिक विधियों की तुलना में सुधार हुआ है, लेकिन अभी भी काफी संगणनात्मक संसाधनों की आवश्यकता है

भविष्य की दिशाएं

  1. बहु-स्रोत डेटा विस्तार: कई स्रोत डेटासेट के अनुक्रमिक या समानांतर एकीकरण पर विचार करना
  2. स्वचालित पूर्व: NPP में α\alpha के लिए अधिक उचित पूर्व चयन रणनीति विकसित करना
  3. अन्य ट्रांसफर विधियां: मूल्यांकन फ्रेमवर्क को commensurate prior और MAPA विधियों तक विस्तारित करना

गहन मूल्यांकन

शक्तियां

  1. विधि नवाचार मजबूत है: TSMC फ्रेमवर्क सामान्यीकरण स्थिरांक गणना समस्या को चतुराई से हल करता है
  2. मूल्यांकन मानदंड व्यावहारिक है: LOO-CV वास्तविक पैरामीटर के बिना विश्वसनीय मूल्यांकन प्रदान करता है
  3. प्रयोगात्मक डिजाइन पूर्ण है: दो अलग-अलग जटिलता के सिमुलेशन अध्ययन विधि प्रभावशीलता को व्यापक रूप से सत्यापित करते हैं
  4. सैद्धांतिक आधार ठोस है: बेयेसियन सिद्धांत पर आधारित, गणितीय व्युत्पत्ति कठोर है

कमियां

  1. वास्तविक डेटा सत्यापन की कमी: केवल सिमुलेशन डेटा पर सत्यापित, वास्तविक केस अध्ययन की कमी है
  2. विधि प्रयोज्यता सीमा: मुख्य रूप से power prior विधि के लिए, अन्य ट्रांसफर लर्निंग विधियों की प्रयोज्यता को आगे सत्यापन की आवश्यकता है
  3. संगणनात्मक जटिलता: हालांकि पारंपरिक विधियों की तुलना में अधिक कुशल है, लेकिन बड़े पैमाने की समस्याओं के लिए अभी भी चुनौतियों का सामना कर सकता है

प्रभाव

  1. सैद्धांतिक योगदान: बेयेसियन ट्रांसफर लर्निंग के लिए नई संगणनात्मक और मूल्यांकन फ्रेमवर्क प्रदान करता है
  2. व्यावहारिक मूल्य: TSMC फ्रेमवर्क सीधे व्यावहारिक समस्याओं पर लागू किया जा सकता है
  3. पुनरुत्पादनीयता: लेखक पूर्ण एल्गोरिथ्म विवरण और कोड प्रदान करते हैं

प्रयोज्य परिदृश्य

  1. चिकित्सा अनुसंधान: नैदानिक परीक्षणों में ऐतिहासिक नियंत्रण डेटा का उपयोग करना
  2. महामारी विज्ञान: नई महामारी के प्रकोप के समय पूर्व महामारी डेटा का उपयोग करना
  3. इंजीनियरिंग अनुप्रयोग: डेटा-दुर्लभ नए वातावरण में संबंधित ऐतिहासिक डेटा का उपयोग करना
  4. सामाजिक विज्ञान: छोटे नमूना अनुसंधान में संबंधित अनुसंधान डेटा का उपयोग करना

संदर्भ

यह पेपर इस क्षेत्र के महत्वपूर्ण साहित्य का हवाला देता है, जिसमें शामिल हैं:

  • Ibrahim, J.G., Chen, M.-H., Sinha, D. (2003). Power prior की स्थापना कार्य
  • Chopin, N. (2002). सीक्वेंशियल मोंटे कार्लो विधि का शास्त्रीय साहित्य
  • Vehtari, A., et al. (2024). महत्व नमूनाकरण में नवीनतम प्रगति
  • Carvalho, L.M., Ibrahim, J.G. (2021). सामान्यीकृत power prior का सैद्धांतिक विकास

समग्र मूल्यांकन: यह बेयेसियन ट्रांसफर लर्निंग क्षेत्र में एक उच्च गुणवत्ता वाला सांख्यिकीय पद्धति पेपर है, जो महत्वपूर्ण योगदान देता है। पेपर न केवल मौजूदा विधियों की संगणनात्मक समस्याओं को हल करता है, बल्कि व्यावहारिक मूल्यांकन मानदंड भी प्रदान करता है, जिसमें मजबूत सैद्धांतिक महत्व और अनुप्रयोग मूल्य है।