2025-11-23T19:04:16.167784

Non-asymptotic goodness-of-fit tests and model selection in valued stochastic blockmodels

Almendra-Hernández, Bakenhus, Karwa et al.
A valued stochastic blockmodel (SBM) is a general way to view networked data in which nodes are grouped into blocks and links between them are measured by counts or labels. This family allows for varying dyad sampling schemes, thereby including the classical, Poisson, and labeled SBMs, as well as those in which some edge observations are censored. This paper addresses the question of testing goodness-of-fit of such non-Bernoulli SBMs, focusing in particular on finite-sample tests. We derive explicit Markov bases moves necessary to generate samples from reference distributions and define goodness-of-fit statistics for determining model fit, comparable to those in the literature for related model families. For the labeled SBM, which includes in particular the censored-edge model, we study the asymptotic behavior of said statistics. One of the main purposes of testing goodness-of-fit of an SBM is to determine whether block membership of the nodes influences network formation. Power and Type 1 error rates are verified on simulated data. Additionally, we discuss the use of asymptotic results in selecting the number of blocks under the latent-block modeling assumption. The method derived for Poisson SBM is applied to ecological networks of host-parasite interactions. Our data analysis conclusions differ in selecting the number of blocks for the species from previous results in the literature.
academic

मूल्यवान स्टोकेस्टिक ब्लॉकमॉडल में गैर-अनंतस्पर्शी सुसंगतता परीक्षण और मॉडल चयन

मूल जानकारी

  • पेपर ID: 2510.13636
  • शीर्षक: मूल्यवान स्टोकेस्टिक ब्लॉकमॉडल में गैर-अनंतस्पर्शी सुसंगतता परीक्षण और मॉडल चयन
  • लेखक: फेलिक्स अल्मेंड्रा-हर्नांडेज़, माइल्स बेकेनहस, विशेष कर्वा, मित्सुनोरी ओगावा, सोन्जा पेट्रोविक
  • वर्गीकरण: stat.ME cs.SI math.ST stat.TH
  • प्रकाशन तिथि: 16 अक्टूबर 2025
  • पेपर लिंक: https://arxiv.org/abs/2510.13636

सारांश

यह पेपर मूल्यवान स्टोकेस्टिक ब्लॉकमॉडल (valued stochastic blockmodel, SBM) के लिए सुसंगतता परीक्षण समस्या का अध्ययन करता है। मूल्यवान SBM नेटवर्क डेटा मॉडलिंग के लिए एक सार्वभौमिक विधि है, जो नोड्स को ब्लॉक में विभाजित करता है, और नोड्स के बीच कनेक्शन को गणना या लेबल द्वारा मापा जाता है। यह मॉडल परिवार विभिन्न dyad नमूनाकरण योजनाओं की अनुमति देता है, जिसमें शास्त्रीय SBM, पॉइसन SBM और लेबल किए गए SBM शामिल हैं, साथ ही कुछ किनारे अवलोकन सेंसर किए गए मामले भी शामिल हैं। पेपर गैर-बर्नौली SBM के परिमित नमूना परीक्षण पर ध्यान केंद्रित करता है, संदर्भ वितरण नमूना उत्पन्न करने के लिए आवश्यक स्पष्ट मार्कोव आधार चाल प्राप्त करता है, और मॉडल फिटिंग निर्धारित करने के लिए सुसंगतता सांख्यिकी को परिभाषित करता है। लेबल किए गए SBM (सेंसर किए गए किनारे मॉडल सहित) के लिए, इन सांख्यिकी के स्पर्शोन्मुख व्यवहार का अध्ययन किया गया है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

  1. मुख्य समस्या: गैर-बर्नौली मूल्यवान स्टोकेस्टिक ब्लॉकमॉडल के लिए सुसंगतता परीक्षण कैसे करें, विशेष रूप से परिमित नमूना स्थिति में
  2. महत्व:
    • नेटवर्क डेटा विश्लेषण में, यह निर्धारित करना कि क्या नोड्स की ब्लॉक सदस्यता नेटवर्क गठन को प्रभावित करती है, एक महत्वपूर्ण प्रश्न है
    • मौजूदा विधियां मुख्य रूप से सरल ग्राफ़ (बर्नौली dyad) के लिए हैं, जबकि वास्तविक नेटवर्क डेटा में अक्सर गणना या कई प्रकार के कनेक्शन होते हैं
    • परिमित नमूना परीक्षण छोटे नमूना डेटा में व्यावहारिक महत्व रखते हैं

मौजूदा विधियों की सीमाएं

  1. शास्त्रीय SBM सीमाएं: अधिकांश मौजूदा ढांचे सरल ग्राफ़ का उपयोग करते हैं, dyad को बर्नौली यादृच्छिक चर के रूप में मॉडल करते हैं
  2. स्पर्शोन्मुख विधि समस्याएं: BIC जैसे बड़े नमूना मानदंड नेटवर्क मॉडल में पैरामीटर आयाम बढ़ने पर विफल हो जाते हैं
  3. सैद्धांतिक गारंटी की कमी: मौजूदा विधियों में शून्य परिकल्पना वितरण और स्पर्शोन्मुख शक्ति के लिए सैद्धांतिक गारंटी की कमी है

अनुसंधान प्रेरणा

  • बीजगणितीय सांख्यिकी में मार्कोव आधार विधि को गैर-बर्नौली नेटवर्क मॉडल तक विस्तारित करना
  • पैरामीटर अनिश्चितता पर विचार करने वाली आंशिक बेयेसियन परीक्षण ढांचा बनाना
  • मॉडल चयन के लिए सैद्धांतिक मार्गदर्शन प्रदान करना, विशेष रूप से ब्लॉक संख्या के चयन के लिए

मुख्य योगदान

  1. सैद्धांतिक योगदान:
    • पॉइसन SBM और लेबल किए गए SBM के लिए स्पष्ट मार्कोव आधार प्राप्त किए
    • प्रक्षेप अनुमानकर्ता की सुसंगतता साबित की
    • सुसंगतता सांख्यिकी के लिए स्पर्शोन्मुख सिद्धांत स्थापित किए
  2. विधि योगदान:
    • निश्चित ब्लॉक आवंटन और अज्ञात ब्लॉक आवंटन स्थितियों में सशर्त सुसंगतता परीक्षण प्रस्तावित किए
    • आंशिक बेयेसियन p-मान गणना ढांचा बनाया
    • MCMC-आधारित फाइबर नमूनाकरण एल्गोरिदम विकसित किया
  3. अनुप्रयोग योगदान:
    • पारिस्थितिक नेटवर्क के होस्ट-परजीवी पारस्परिक क्रिया विश्लेषण में विधि लागू की
    • सिम्युलेटेड डेटा पर विधि की शक्ति और प्रथम प्रकार की त्रुटि दर सत्यापित की
    • मॉडल चयन के लिए व्यावहारिक मार्गदर्शन सिद्धांत प्रदान किए

विधि विवरण

कार्य परिभाषा

एक मूल्यवान नेटवर्क G=(Guv)1≤u<v≤nG = (G_{uv})_{1≤u<v≤n} दिया गया है, जहां GuvG_{uv} नोड्स की जोड़ी {u,v}\{u,v\} के बीच कनेक्शन की शक्ति (गणना या लेबल) को दर्शाता है, लक्ष्य है:

  1. जांचना कि क्या नेटवर्क दिए गए मूल्यवान SBM के अनुरूप है
  2. ब्लॉक आवंटन अज्ञात होने पर मॉडल फिटिंग परीक्षण करना
  3. उपयुक्त ब्लॉक संख्या kk का चयन करना

मॉडल आर्किटेक्चर

1. मूल्यवान SBM परिभाषा

nn नोड्स और kk ब्लॉक के लिए, मूल्यवान SBM मानता है:

  • सशर्त स्वतंत्रता: Guv⊥ ⁣ ⁣ ⁣⊥Gu′v′∣ZG_{uv} \perp\!\!\!\perp G_{u'v'} | Z किसी भी दो dyad के लिए
  • घातांकीय परिवार रूप: Pθ(G=g∣Z=z)=∏1≤u<v≤nh(guv)exp⁡⟨Tz(guv),θzuzv⟩ψ(θzuzv)P_θ(G = g | Z = z) = \prod_{1≤u<v≤n} \frac{h(g_{uv})\exp⟨T_z(g_{uv}), θ_{z_uz_v}⟩}{ψ(θ_{z_uz_v})}

जहां hh आधार माप है, TzT_z पर्याप्त सांख्यिकी है, θθ पैरामीटर वेक्टर है।

2. विशेष मामले

  • शास्त्रीय SBM: Guv∣Z=z∼Bernoulli(θzuzv)G_{uv} | Z = z \sim \text{Bernoulli}(θ_{z_uz_v})
  • पॉइसन SBM: Guv∣Z=z∼Poisson(θzuzv)G_{uv} | Z = z \sim \text{Poisson}(θ_{z_uz_v})
  • लेबल किया गया SBM: Guv∣Z=z∼Multinomial(N,(θzuzv(ℓ))ℓ=1L)G_{uv} | Z = z \sim \text{Multinomial}(N, (θ^{(ℓ)}_{z_uz_v})^L_{ℓ=1})

3. मार्कोव आधार निर्माण

पॉइसन SBM के लिए मार्कोव आधार: B={εuv−εu′v′:zu=zu′,zv=zv′}B = \{ε_{uv} - ε_{u'v'} : z_u = z_{u'}, z_v = z_{v'}\}

लेबल किए गए SBM के लिए मार्कोव आधार: B={εuv(ℓ)+εu′v′(ℓ′)−εuv(ℓ′)−εu′v′(ℓ):ℓ,ℓ′∈[L],zu=zu′,zv=zv′}B = \{ε^{(ℓ)}_{uv} + ε^{(ℓ')}_{u'v'} - ε^{(ℓ')}_{uv} - ε^{(ℓ)}_{u'v'} : ℓ,ℓ' ∈ [L], z_u = z_{u'}, z_v = z_{v'}\}

तकनीकी नवाचार बिंदु

1. सशर्त परीक्षण ढांचा

  • फाइबर परिभाषा: Fz,t:={g∈G:Tz(g)=t}F_{z,t} := \{g ∈ G : T_z(g) = t\}
  • सशर्त वितरण: P(G=g∣Tz(g)=t)=h(g)∑g′∈Fz,th(g′)P(G = g | T_z(g) = t) = \frac{h(g)}{\sum_{g' ∈ F_{z,t}} h(g')}
  • सटीक p-मान: p(z,g)=P(GoFz(G)≥GoFz(g)∣Tz(g))p(z,g) = P(\text{GoF}_z(G) ≥ \text{GoF}_z(g) | T_z(g))

2. आंशिक बेयेसियन विधि

अज्ञात ब्लॉक आवंटन के लिए, आंशिक बेयेसियन p-मान को परिभाषित करें: pb(g)=∑z∈Zn,kp(z,g)P(Z=z∣g)p_b(g) = \sum_{z ∈ Z_{n,k}} p(z,g)P(Z = z | g)

यह विधि ब्लॉक आवंटन की अनिश्चितता को संभालने के लिए पश्च वितरण पर औसत लेकर काम करता है।

3. सुसंगतता सांख्यिकी

पॉइसन SBM: GoFz(g)=∑u=1n∑i=1k(mui−niθ^zui)2niθ^zui\text{GoF}_z(g) = \sum_{u=1}^n \sum_{i=1}^k \frac{(m_{ui} - n_iθ̂_{z_ui})^2}{n_iθ̂_{z_ui}}

लेबल किया गया SBM: GoFz(g)=χBC2(g,z)=∑u=1n∑i=1k∑ℓ=1L−1(mui(ℓ)−niθ^zui(ℓ))2niθ^zui(ℓ)\text{GoF}_z(g) = χ^2_{BC}(g,z) = \sum_{u=1}^n \sum_{i=1}^k \sum_{ℓ=1}^{L-1} \frac{(m^{(ℓ)}_{ui} - n_iθ̂^{(ℓ)}_{z_ui})^2}{n_iθ̂^{(ℓ)}_{z_ui}}

प्रयोगात्मक सेटअप

डेटासेट

  1. सिम्युलेटेड डेटा:
    • नोड्स की संख्या: n=50,100n = 50, 100
    • 4 विभिन्न कनेक्शन मैट्रिक्स θ(1),θ(2),θ(3),θ(4)θ^{(1)}, θ^{(2)}, θ^{(3)}, θ^{(4)}
    • प्रत्येक सेटिंग के लिए 100 ग्राफ़ उत्पन्न किए
  2. वास्तविक डेटा:
    • परजीवी कवक प्रजाति नेटवर्क (154 नोड्स)
    • वृक्ष प्रजाति नेटवर्क (51 नोड्स)
    • किनारे वजन साझा होस्ट/परजीवी प्रजातियों की संख्या को दर्शाता है

मूल्यांकन मेट्रिक्स

  1. प्रथम प्रकार की त्रुटि दर: महत्व स्तर 0.05 पर शून्य परिकल्पना अस्वीकार दर
  2. परीक्षण शक्ति: विभिन्न ब्लॉक संख्याओं में मॉडल अस्वीकार दर
  3. मॉडल चयन सटीकता: ICL मानदंड के साथ तुलना

तुलना विधियां

  • ICL (समन्वित पूर्ण संभावना) मानदंड
  • ब्लॉक आवंटन अनुमान के लिए भिन्नता EM एल्गोरिदम
  • sbm R पैकेज कार्यान्वयन

कार्यान्वयन विवरण

  • MCMC श्रृंखला लंबाई: numGraphs पैरामीटर द्वारा नियंत्रित
  • ब्लॉक आवंटन अनुमान: भिन्नता EM एल्गोरिदम का उपयोग
  • पश्च संभावना थ्रेशहोल्ड: ε=1/mε = 1/m, जहां mm समर्थन सेट आकार है

प्रयोगात्मक परिणाम

मुख्य परिणाम

1. शक्ति और प्रथम प्रकार की त्रुटि दर सत्यापन

n=50n=50 पर परिणाम:

θ2 ब्लॉक3 ब्लॉक4 ब्लॉक5 ब्लॉक
θ⁽¹⁾1.000.590.050.01
θ⁽²⁾1.000.660.030.03
θ⁽³⁾0.881.000.070.04
θ⁽⁴⁾1.000.990.060.03

n=100n=100 पर परिणाम:

θ2 ब्लॉक3 ब्लॉक4 ब्लॉक5 ब्लॉक
θ⁽¹⁾1.000.980.050.00
θ⁽²⁾1.001.000.060.01
θ⁽³⁾1.001.000.080.02
θ⁽⁴⁾1.001.000.080.02

2. वास्तविक डेटा अनुप्रयोग

वृक्ष प्रजाति नेटवर्क:

  • ब्लॉक संख्या 3-7: p-मान = 0
  • ब्लॉक संख्या 8-9: p-मान = 0.01
  • ब्लॉक संख्या 10: p-मान = 0.19
  • ब्लॉक संख्या 11-15: p-मान ≥ 0.68

कवक प्रजाति नेटवर्क:

  • ब्लॉक संख्या 3-17: p-मान = 0
  • ब्लॉक संख्या 18-21: p-मान = 0.01
  • ब्लॉक संख्या 22: p-मान = 0.07

प्रयोगात्मक निष्कर्ष

  1. विधि प्रभावशीलता: 2 या 3 ब्लॉक का उपयोग करते समय अस्वीकार दर लगभग 1 के करीब है, 4 या 5 ब्लॉक का उपयोग करते समय 0 के करीब है, जो अपेक्षित है
  2. नमूना आकार प्रभाव: बड़ा नमूना आकार (n=100n=100) अधिक मजबूत सांख्यिकीय शक्ति प्रदान करता है
  3. मौजूदा विधियों के साथ अंतर:
    • यह विधि वृक्ष प्रजाति नेटवर्क के लिए 10 ब्लॉक, कवक नेटवर्क के लिए 22 ब्लॉक चुनती है
    • ICL मानदंड वृक्ष प्रजाति नेटवर्क के लिए 7 ब्लॉक, कवक नेटवर्क के लिए 9 ब्लॉक चुनता है
    • अंतर विधि की रूढ़िवादिता और मॉडल फिटिंग के प्रति कठोर आवश्यकता के कारण हो सकता है

संबंधित कार्य

नेटवर्क सुसंगतता परीक्षण

  1. वर्णक्रमीय विधियां: Lei (2016) की वर्णक्रमीय सुसंगतता परीक्षण
  2. ERGM विधि: Hunter आदि (2008) की संदर्भ वितरण तुलना विधि
  3. सुधारी गई परीक्षण: Hu आदि (2021) द्वारा सीधे कम्प्यूटेशनल लागत और सैद्धांतिक गारंटी समस्या को संबोधित करना

स्टोकेस्टिक ब्लॉक मॉडल

  1. शास्त्रीय SBM: Holland आदि (1983) की अव्यक्त ब्लॉक विस्तार
  2. मूल्यवान नेटवर्क: Krivitsky (2012) का ERGM गणना नेटवर्क तक विस्तार
  3. मॉडल चयन: Wang और Bickel (2017) की संभावना मॉडल चयन

बीजगणितीय सांख्यिकी

  1. मार्कोव आधार: Diaconis और Sturmfels (1998) की मूल सिद्धांत
  2. नेटवर्क अनुप्रयोग: Karwa आदि (2023) द्वारा बर्नौली SBM पर परिमित नमूना परीक्षण
  3. गतिशील निर्माण: Gross आदि (2014) की गतिशील मार्कोव आधार विधि

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. सैद्धांतिक योगदान: बीजगणितीय सांख्यिकी विधि को गैर-बर्नौली नेटवर्क मॉडल तक सफलतापूर्वक विस्तारित किया, कठोर सैद्धांतिक आधार प्रदान किया
  2. विधि प्रभावशीलता: प्रस्तावित परीक्षण विधि सिम्युलेटेड और वास्तविक डेटा दोनों पर अच्छे सांख्यिकीय गुण दिखाती है
  3. व्यावहारिक मूल्य: मूल्यवान नेटवर्क के मॉडल चयन के लिए व्यावहारिक समाधान प्रदान करता है

सीमाएं

  1. कम्प्यूटेशनल जटिलता: MCMC विधि बड़े पैमाने के नेटवर्क पर अभिसरण समस्याओं का सामना कर सकती है
  2. रूढ़िवादिता: विधि अत्यधिक रूढ़िवादी हो सकती है, जिससे अधिक ब्लॉक संख्या का चयन हो सकता है
  3. ब्लॉक आवंटन निर्भरता: विधि ब्लॉक आवंटन अनुमान की गुणवत्ता पर निर्भर करती है

भविष्य की दिशाएं

  1. समग्र मार्कोव श्रृंखला: कई फाइबर को नमूना करने में सक्षम विधियां विकसित करना
  2. कम्प्यूटेशनल अनुकूलन: MCMC अभिसरण और कम्प्यूटेशनल दक्षता में सुधार
  3. विस्तारित अनुप्रयोग: गतिशील नेटवर्क और बहु-स्तरीय नेटवर्क के साथ संयोजन

गहन मूल्यांकन

शक्तियां

  1. सैद्धांतिक कठोरता: पूर्ण सैद्धांतिक ढांचा प्रदान करता है, जिसमें सुसंगतता प्रमाण और स्पर्शोन्मुख विश्लेषण शामिल है
  2. विधि नवीनता: पहली बार मार्कोव आधार विधि को गैर-बर्नौली SBM पर लागू करता है
  3. व्यापक प्रयोग: शक्ति विश्लेषण, प्रथम प्रकार की त्रुटि दर सत्यापन और वास्तविक डेटा अनुप्रयोग शामिल है
  4. स्पष्ट लेखन: पेपर संरचना तार्किक है, तकनीकी विवरण सटीक रूप से वर्णित हैं

कमियां

  1. कम्प्यूटेशनल चुनौतियां: बड़े पैमाने के नेटवर्क के लिए कम्प्यूटेशनल जटिलता एक बाधा हो सकती है
  2. पैरामीटर संवेदनशीलता: विधि ब्लॉक आवंटन अनुमान की गुणवत्ता के प्रति काफी संवेदनशील है
  3. सीमित तुलना: अन्य गैर-अनंतस्पर्शी विधियों के साथ तुलना पर्याप्त नहीं है

प्रभाव

  1. शैक्षणिक मूल्य: नेटवर्क सांख्यिकी और बीजगणितीय सांख्यिकी के अंतर्विषय अनुसंधान के लिए नई दिशा खोलता है
  2. व्यावहारिक मूल्य: पारिस्थितिकी, सामाजिक विज्ञान आदि क्षेत्रों में नेटवर्क विश्लेषण के लिए उपकरण प्रदान करता है
  3. पुनरुत्पादनीयता: विस्तृत एल्गोरिदम विवरण प्रदान करता है, कार्यान्वयन और पुनरुत्पादन को सुविधाजनक बनाता है

लागू परिदृश्य

  1. छोटे से मध्यम आकार के नेटवर्क: विधि नोड्स संख्या कुछ सौ से अधिक न होने पर अच्छी तरह काम करती है
  2. मूल्यवान नेटवर्क डेटा: विशेष रूप से गणना या बहु-लेबल नेटवर्क डेटा के लिए उपयुक्त
  3. कठोर सांख्यिकीय परीक्षण: सटीक सांख्यिकीय अनुमान की आवश्यकता वाले अनुप्रयोग परिदृश्य

संदर्भ

मुख्य संदर्भ साहित्य में शामिल हैं:

  • Diaconis, P. और Sturmfels, B. (1998). सशर्त वितरण से नमूनाकरण के लिए बीजगणितीय एल्गोरिदम
  • Holland, P. W., Laskey, K. B., और Leinhardt, S. (1983). स्टोकेस्टिक ब्लॉकमॉडल: पहले कदम
  • Karwa, V. आदि (2023). डिग्री सुधारी और संबंधित स्टोकेस्टिक ब्लॉकमॉडल के लिए मोंटे कार्लो सुसंगतता परीक्षण
  • Wang, Y. X. R. और Bickel, P. J. (2017). स्टोकेस्टिक ब्लॉकमॉडल के लिए संभावना-आधारित मॉडल चयन