Tests de qualité d'ajustement non-asymptotiques et sélection de modèles dans les modèles de blocs stochastiques valorisés

Informations de base

• ID de l'article: 2510.13636
• Titre: Tests de qualité d'ajustement non-asymptotiques et sélection de modèles dans les modèles de blocs stochastiques valorisés
• Auteurs: Félix Almendra-Hernández, Miles Bakenhus, Vishesh Karwa, Mitsunori Ogawa, Sonja Petrović
• Classification: stat.ME cs.SI math.ST stat.TH
• Date de publication: 16 octobre 2025
• Lien de l'article: https://arxiv.org/abs/2510.13636

Résumé

Cet article étudie les tests de qualité d'ajustement pour les modèles de blocs stochastiques valorisés (valued stochastic blockmodel, SBM). Les SBM valorisés constituent une approche générale de modélisation des données de réseau, partitionnant les nœuds en blocs, où les connexions entre nœuds sont mesurées par des comptages ou des étiquettes. Cette famille de modèles permet différents schémas d'échantillonnage de dyades, incluant le SBM classique, le SBM de Poisson et le SBM étiqueté, ainsi que certains cas où les observations d'arêtes sont censurées. L'article se concentre sur les tests à taille d'échantillon fini pour les SBM non-bernouilliens, en dérivant les mouvements explicites de bases de Markov nécessaires pour générer des échantillons de distributions de référence, et en définissant des statistiques de qualité d'ajustement pour déterminer l'ajustement du modèle. Pour les SBM étiquetés (incluant les modèles avec arêtes censurées), le comportement asymptotique de ces statistiques est étudié.

Contexte et motivation de la recherche

Définition du problème

1. Problème central: Comment effectuer des tests de qualité d'ajustement pour les modèles de blocs stochastiques valorisés non-bernouilliens, particulièrement dans les cas à taille d'échantillon fini
2. Importance:
   • En analyse de réseaux, déterminer si l'appartenance des nœuds aux blocs influence la formation du réseau est une question clé
   • Les méthodes existantes se concentrent principalement sur les graphes simples (dyades bernouilliens), alors que les données de réseau réelles contiennent souvent des comptages ou plusieurs types de connexions
   • Les tests à taille d'échantillon fini ont une valeur pratique importante pour les données de petits échantillons

Limitations des méthodes existantes

1. Restrictions du SBM classique: La plupart des cadres existants utilisent des graphes simples, modélisant les dyades comme des variables aléatoires bernouilliens
2. Problèmes des approches asymptotiques: Les critères de grands échantillons comme le BIC échouent dans les modèles de réseau lorsque la dimensionnalité des paramètres augmente
3. Absence de garanties théoriques: Les méthodes existantes manquent de garanties théoriques concernant la distribution sous l'hypothèse nulle et la puissance asymptotique

Motivation de la recherche

• Étendre les méthodes de bases de Markov de la statistique algébrique aux modèles de réseau non-bernouilliens
• Construire un cadre de test partiellement bayésien tenant compte de l'incertitude paramétrique
• Fournir des orientations théoriques pour la sélection de modèles, particulièrement le choix du nombre de blocs

Contributions principales

1. Contributions théoriques:
   • Dérivation des bases de Markov explicites pour les SBM de Poisson et les SBM étiquetés
   • Preuve de la cohérence des estimateurs par interpolation
   • Établissement de la théorie asymptotique des statistiques de qualité d'ajustement
2. Contributions méthodologiques:
   • Proposition de tests de qualité d'ajustement conditionnels pour les assignations de blocs fixes et inconnues
   • Construction d'un cadre de calcul de valeurs p partiellement bayésiennes
   • Développement d'algorithmes d'échantillonnage de fibres basés sur MCMC
3. Contributions applicatives:
   • Application de la méthode à l'analyse des interactions hôte-parasite dans les réseaux écologiques
   • Vérification de la puissance et du taux d'erreur de type I sur des données simulées
   • Fourniture de principes directeurs pratiques pour la sélection de modèles

Détails méthodologiques

Définition de la tâche

Étant donné un réseau valorisé $G = (G_{uv})_{1≤u<v≤n}$, où $G_{uv}$ représente l'intensité de la connexion (comptage ou étiquette) entre la paire de nœuds $\{u,v\}$, l'objectif est:

1. Tester si le réseau se conforme à un SBM valorisé donné
2. Effectuer un test de qualité d'ajustement du modèle lorsque l'assignation de blocs est inconnue
3. Sélectionner le nombre approprié de blocs $k$

Architecture du modèle

1. Définition du SBM valorisé

Pour $n$ nœuds et $k$ blocs, le SBM valorisé suppose:

• Indépendance conditionnelle: $G_{uv} \perp\!\!\!\perp G_{u'v'} | Z$ pour toute paire de dyades
• Forme de famille exponentielle: $P_θ(G = g | Z = z) = \prod_{1≤u<v≤n} \frac{h(g_{uv})\exp⟨T_z(g_{uv}), θ_{z_uz_v}⟩}{ψ(θ_{z_uz_v})}$

où $h$ est la mesure de base, $T_z$ est la statistique suffisante, et $θ$ est le vecteur de paramètres.

2. Cas particuliers

• SBM classique: $G_{uv} | Z = z \sim \text{Bernoulli}(θ_{z_uz_v})$
• SBM de Poisson: $G_{uv} | Z = z \sim \text{Poisson}(θ_{z_uz_v})$
• SBM étiqueté: $G_{uv} | Z = z \sim \text{Multinomial}(N, (θ^{(ℓ)}_{z_uz_v})^L_{ℓ=1})$

3. Construction de bases de Markov

Base de Markov pour le SBM de Poisson: $B = \{ε_{uv} - ε_{u'v'} : z_u = z_{u'}, z_v = z_{v'}\}$

Base de Markov pour le SBM étiqueté: $B = \{ε^{(ℓ)}_{uv} + ε^{(ℓ')}_{u'v'} - ε^{(ℓ')}_{uv} - ε^{(ℓ)}_{u'v'} : ℓ,ℓ' ∈ [L], z_u = z_{u'}, z_v = z_{v'}\}$

Points d'innovation technique

1. Cadre de test conditionnel

• Définition de fibre: $F_{z,t} := \{g ∈ G : T_z(g) = t\}$
• Distribution conditionnelle: $P(G = g | T_z(g) = t) = \frac{h(g)}{\sum_{g' ∈ F_{z,t}} h(g')}$
• Valeur p exacte: $p(z,g) = P(\text{GoF}_z(G) ≥ \text{GoF}_z(g) | T_z(g))$

2. Approche partiellement bayésienne

Pour l'assignation de blocs inconnue, la valeur p partiellement bayésienne est définie comme: $p_b(g) = \sum_{z ∈ Z_{n,k}} p(z,g)P(Z = z | g)$

Cette approche traite l'incertitude de l'assignation de blocs en moyennant sur la distribution a posteriori.

3. Statistiques de qualité d'ajustement

SBM de Poisson: $\text{GoF}_z(g) = \sum_{u=1}^n \sum_{i=1}^k \frac{(m_{ui} - n_iθ̂_{z_ui})^2}{n_iθ̂_{z_ui}}$

SBM étiqueté: $\text{GoF}_z(g) = χ^2_{BC}(g,z) = \sum_{u=1}^n \sum_{i=1}^k \sum_{ℓ=1}^{L-1} \frac{(m^{(ℓ)}_{ui} - n_iθ̂^{(ℓ)}_{z_ui})^2}{n_iθ̂^{(ℓ)}_{z_ui}}$

Configuration expérimentale

Ensembles de données

1. Données simulées:
   • Nombre de nœuds: $n = 50, 100$
   • 4 matrices de connexion différentes $θ^{(1)}, θ^{(2)}, θ^{(3)}, θ^{(4)}$
   • 100 graphes générés pour chaque configuration
2. Données réelles:
   • Réseau d'espèces de champignons parasites (154 nœuds)
   • Réseau d'espèces d'arbres (51 nœuds)
   • Les poids des arêtes représentent le nombre d'espèces hôtes/parasites partagées

Métriques d'évaluation

1. Taux d'erreur de type I: Taux de rejet de l'hypothèse nulle au niveau de signification 0,05
2. Puissance du test: Taux de rejet du modèle sous différents nombres de blocs
3. Précision de la sélection de modèles: Comparaison avec le critère ICL

Méthodes de comparaison

• Critère ICL (Integrated Complete Likelihood)
• Algorithme EM variationnel pour l'estimation de l'assignation de blocs
• Implémentation du package R sbm

Détails d'implémentation

• Longueur de la chaîne MCMC: contrôlée par le paramètre numGraphs
• Estimation de l'assignation de blocs: utilisation de l'algorithme EM variationnel
• Seuil de probabilité a posteriori: $ε = 1/m$, où $m$ est la taille du support

Résultats expérimentaux

Résultats principaux

1. Vérification de la puissance et du taux d'erreur de type I

Résultats pour $n=50$:

Résultats pour $n=100$:

2. Application sur données réelles

Réseau d'espèces d'arbres:

• Nombre de blocs 3-7: valeur p = 0
• Nombre de blocs 8-9: valeur p = 0,01
• Nombre de blocs 10: valeur p = 0,19
• Nombre de blocs 11-15: valeur p ≥ 0,68

Réseau d'espèces de champignons:

• Nombre de blocs 3-17: valeur p = 0
• Nombre de blocs 18-21: valeur p = 0,01
• Nombre de blocs 22: valeur p = 0,07

Découvertes expérimentales

1. Validité de la méthode: Le taux de rejet est proche de 1 avec 2 ou 3 blocs, et proche de 0 avec 4 ou 5 blocs, conformément aux attentes
2. Effet de la taille d'échantillon: Une taille d'échantillon plus grande ($n=100$) fournit une puissance statistique plus forte
3. Différences avec les méthodes existantes:
   • Notre méthode sélectionne 10 blocs pour le réseau d'arbres et 22 blocs pour le réseau de champignons
   • Le critère ICL sélectionne 7 blocs pour le réseau d'arbres et 9 blocs pour le réseau de champignons
   • Les différences peuvent être dues au caractère conservateur de la méthode et aux exigences strictes concernant l'ajustement du modèle

Travaux connexes

Tests de qualité d'ajustement pour réseaux

1. Méthodes spectrales: Test de qualité d'ajustement spectral de Lei (2016)
2. Méthode ERGM: Approche de comparaison de distribution de référence de Hunter et al. (2008)
3. Tests améliorés: Résolution directe par Hu et al. (2021) des coûts de calcul et des garanties théoriques

Modèles de blocs stochastiques

1. SBM classique: Extension de blocs latents de Holland et al. (1983)
2. Réseaux valorisés: Extension ERGM aux réseaux de comptage de Krivitsky (2012)
3. Sélection de modèles: Sélection de modèles par vraisemblance de Wang et Bickel (2017)

Statistique algébrique

1. Bases de Markov: Théorie fondamentale de Diaconis et Sturmfels (1998)
2. Applications aux réseaux: Tests à taille d'échantillon fini pour SBM bernouillien de Karwa et al. (2023)
3. Construction dynamique: Méthode de bases de Markov dynamiques de Gross et al. (2014)

Conclusion et discussion

Conclusions principales

1. Contribution théorique: Extension réussie des méthodes de statistique algébrique aux modèles de réseau non-bernouilliens, fournissant une base théorique rigoureuse
2. Validité de la méthode: La méthode de test proposée montre de bonnes propriétés statistiques sur les données simulées et réelles
3. Valeur pratique: Fourniture d'une solution viable pour la sélection de modèles dans les réseaux valorisés

Limitations

1. Complexité de calcul: La méthode MCMC peut faire face à des problèmes de convergence sur les réseaux de grande taille
2. Caractère conservateur: La méthode peut être trop conservatrice, conduisant à la sélection d'un nombre plus élevé de blocs
3. Dépendance de l'assignation de blocs: La méthode dépend de la qualité de l'estimation de l'assignation de blocs

Directions futures

1. Chaînes de Markov composites: Développement de méthodes capable d'échantillonner plusieurs fibres
2. Optimisation de calcul: Amélioration de la convergence MCMC et de l'efficacité de calcul
3. Extensions applicatives: Intégration avec les réseaux dynamiques et les réseaux multicouches

Évaluation approfondie

Points forts

1. Rigueur théorique: Fourniture d'un cadre théorique complet, incluant les preuves de cohérence et l'analyse asymptotique
2. Nouveauté méthodologique: Première application de la méthode des bases de Markov aux SBM non-bernouilliens
3. Expériences complètes: Incluant l'analyse de puissance, la vérification du taux d'erreur de type I et l'application sur données réelles
4. Clarté de la rédaction: Structure de l'article rationnelle, description précise des détails techniques

Insuffisances

1. Défis de calcul: La complexité de calcul peut devenir un goulot d'étranglement pour les réseaux de grande taille
2. Sensibilité paramétrique: La méthode est relativement sensible à la qualité de l'estimation de l'assignation de blocs
3. Comparaisons limitées: Les comparaisons avec d'autres méthodes non-asymptotiques sont insuffisantes

Impact

1. Valeur académique: Ouverture de nouvelles directions pour la recherche interdisciplinaire entre statistique des réseaux et statistique algébrique
2. Valeur pratique: Fourniture d'outils pour l'analyse de réseaux dans les domaines de l'écologie, des sciences sociales, etc.
3. Reproductibilité: Fourniture de descriptions d'algorithmes détaillées, facilitant l'implémentation et la reproduction

Scénarios d'application

1. Réseaux de petite à moyenne taille: La méthode fonctionne bien pour les réseaux avec un nombre de nœuds ne dépassant pas quelques centaines
2. Données de réseaux valorisés: Particulièrement adaptée aux données de réseaux avec comptages ou étiquettes multiples
3. Inférence statistique rigoureuse: Scénarios d'application nécessitant une inférence statistique précise

Références bibliographiques

Les principales références incluent:

• Diaconis, P. and Sturmfels, B. (1998). Algebraic algorithms for sampling from conditional distributions
• Holland, P. W., Laskey, K. B., and Leinhardt, S. (1983). Stochastic blockmodels: First steps
• Karwa, V. et al. (2023). Monte Carlo goodness-of-fit tests for degree corrected and related stochastic blockmodels
• Wang, Y. X. R. and Bickel, P. J. (2017). Likelihood-based model selection for stochastic block models