Test bootstrap per la quasi-bontà di adattamento

Informazioni Fondamentali

• ID Articolo: 2410.20918
• Titolo: Bootstrap tests for almost goodness-of-fit
• Autori: Amparo Báıllo (Universidad Autónoma de Madrid), Javier Cárcamo (Universidad del Páıs Vasco)
• Classificazione: stat.ME (Metodologia Statistica), math.ST (Statistica Matematica), stat.AP (Statistica Applicata), stat.TH (Teoria Statistica)
• Data di Pubblicazione: 15 Ottobre 2025 (preprint arXiv)
• Link Articolo: https://arxiv.org/abs/2410.20918

Riassunto

Questo articolo introduce il test di "quasi-bontà di adattamento" (almost goodness-of-fit, AGoF) per valutare se un modello parametrico rappresenta adeguatamente la distribuzione di probabilità di un campione osservato. Specificamente, data una funzione di distribuzione $F$ e una famiglia parametrica $\mathcal{G}=\{G(\theta) : \theta \in \Theta\}$, si considera il problema di verifica di ipotesi: $H_0: \|F - G(\theta_F)\|_p \geq \epsilon \quad \text{vs} \quad H_1: \|F - G(\theta_F)\|_p < \epsilon$ dove $\epsilon > 0$ è la tolleranza di errore e $G(\theta_F)$ rappresenta il rappresentante di $F$ nella classe parametrica. Il modello approssimato è determinato tramite M-stimatori e vengono forniti due schemi bootstrap coerenti e facili da implementare per eseguire il test.

Contesto di Ricerca e Motivazione

Sfondo del Problema

I test tradizionali di bontà di adattamento presentano un problema fondamentale: pongono l'affermazione "il modello è una ragionevole approssimazione dei dati" nell'ipotesi nulla $H_0$, fornendo quindi solo evidenza statistica della "non adattamento" del modello, senza poter fornire evidenza della vera "bontà di adattamento".

Motivazione della Ricerca

1. Limitazioni dei test GoF tradizionali: I metodi classici possono solo rifiutare il modello, non verificarne l'applicabilità
2. Esigenze Pratiche: In pratica, siamo più interessati a sapere se il modello è "sufficientemente buono" piuttosto che perfettamente preciso
3. Importanza della Modellazione Approssimata: Nella realtà, raramente i modelli descrivono perfettamente i dati; è necessario tollerare un certo grado di deviazione

Insufficienze dei Metodi Esistenti

• La distribuzione limite delle statistiche di tipo Kolmogorov-Smirnov nel caso di stima parametrica è complessa e non gaussiana
• I metodi bootstrap sono generalmente incoerenti nella stima della norma supremo
• Manca un quadro unificato per affrontare la verifica approssimata di famiglie parametriche

Contributi Principali

1. Propone il quadro di test AGoF: Posiziona l'"adattamento approssimato" nell'ipotesi alternativa, fornendo evidenza statistica dell'applicabilità del modello
2. Utilizza la distanza $L^p$: Rispetto alla norma supremo tradizionale, la norma $L^p$ possiede migliori proprietà teoriche e vantaggi computazionali
3. Sviluppa due schemi bootstrap: Dimostra la loro coerenza e fornisce algoritmi di implementazione pratica
4. Introduce la statistica AGoF: Quantifica la percentuale di miglioramento del modello rispetto a un riferimento non informativo
5. Fornisce un'analisi teorica completa: Inclusa la distribuzione asintotica, la coerenza bootstrap e altre garanzie teoriche

Dettagli del Metodo

Definizione del Compito

Dato un campione $X_1, \ldots, X_n$ da una distribuzione sconosciuta $F$ e una famiglia di modelli parametrici $\mathcal{G} = \{G(\theta) : \theta \in \Theta \subset \mathbb{R}^k\}$, si verifica: $H_0: \|F - G(\theta_F)\|_p \geq \epsilon \quad \text{vs} \quad H_1: \|F - G(\theta_F)\|_p < \epsilon$

dove $\theta_F$ è determinato tramite M-stima: $E_F[\psi_{\theta_F}(X)] = 0$.

Architettura del Metodo Principale

1. Stima Parametrica

Si utilizza lo stimatore M risolvendo: $\Psi_n(\theta) = \frac{1}{n}\sum_{i=1}^n \psi_\theta(X_i) = 0$

2. Statistica di Test

La statistica normalizzata è: $T_n(F,G(\theta_F),p) = \sqrt{n}(\|F_n - G(\hat{\theta}_n)\|_p - \|F - G(\theta_F)\|_p)$

3. Costruzione della Regione di Rifiuto

Si propone la regione di rifiuto: $R_n = \{\|F_n - G(\hat{\theta}_n)\|_p < \epsilon - c_n(\alpha)\}$ dove $c_n(\alpha) = -Q_T(\alpha)/\sqrt{n}$ e $Q_T(\alpha)$ è il quantile $\alpha$ della distribuzione limite.

Punti di Innovazione Tecnica

1. Vantaggi della Scelta della Distanza $L^p$

• Differenziabilità Hadamard: Per $1 < p < \infty$, la norma $L^p$ è Hadamard differenziabile, facilitando l'applicazione del metodo delta funzionale
• Limite Gaussiano: Sotto ipotesi generali, la distribuzione asintotica è gaussiana
• Coerenza Bootstrap: Sotto condizioni appropriate, lo stimatore bootstrap standard è coerente
• Flessibilità: Regolando il valore di $p$ è possibile controllare la sensibilità alle code della distribuzione

2. Quadro Teorico

Stabilisce una teoria asintotica completa, includendo:

• Convergenza debole dei processi empirici nello spazio $L^p$
• Distribuzione limite del processo con parametri stimati
• Coerenza del processo bootstrap

Risultati Teorici

Teoremi Principali

Teorema 1: Convergenza Debole del Processo

Sotto le ipotesi 1-2, $X \in L^{2/p,1}$ se e solo se: $G_n(\theta_F) \rightsquigarrow G_{\theta_F} \text{ in } L^p$ dove $G_{\theta_F}$ è un processo gaussiano centrato.

Teorema 2: Distribuzione Asintotica della Statistica di Test

• Quando $p = 1$: $T(F,G(\theta_F),1) = \int_{C_{\theta_F}} |G_{\theta_F}| + \int_{\mathbb{R}\setminus C_{\theta_F}} G_{\theta_F}\text{sgn}(F-G(\theta_F))$
• Quando $1 < p < \infty$: $T(F,G(\theta_F),p) = \frac{1}{\|F-G(\theta_F)\|_p^{p-1}} \int G_{\theta_F} |F-G(\theta_F)|^{p-1}\text{sgn}(F-G(\theta_F))$

Corollario 1: Condizioni di Normalità

La condizione necessaria e sufficiente per la distribuzione limite normale è:

• $p = 1$: La misura di Lebesgue dell'insieme di contatto $C_{\theta_F} = \{F = G(\theta_F)\}$ è zero
• $1 < p < \infty$: $F \neq G(\theta_F)$

Coerenza Bootstrap

I Teoremi 3 e il Corollario 2 dimostrano che sotto ipotesi appropriate, la statistica bootstrap converge debolmente alla stessa distribuzione limite.

Configurazione Sperimentale

Progettazione dello Studio di Simulazione

• Dimensioni Campionarie: $n = 30, 50, 100, 500$
• Numero di Replicazioni Bootstrap: $B = 2000$
• Livello di Significatività: $\alpha = 0.05$
• Replicazioni Monte Carlo: 1000

Scenari di Test

1. Weibull vs Modello Esponenziale: $p = 1$, distribuzione vera Weibull(2,1)
2. Miscela Gaussiana vs Modello Normale: $p = 2$, distribuzione vera miscela gaussiana a due componenti
3. Binomiale Negativa vs Modello di Poisson: $p = 1$, caso di distribuzione discreta
4. Kumaraswamy vs Modello Beta: $p = 1$, caso di supporto limitato
5. Student t vs Modello Normale: $p = 4$, distribuzione con code pesanti
6. Lognormale vs Modello Gamma: $p = 1$, distribuzione asimmetrica

Due Metodi Bootstrap

• Bootstrap 1: Metodo basato su quantili, condizione di rifiuto: $2\|F_n - G(\hat{\theta}_n)\|_p - \hat{\epsilon}^*(\alpha) < \epsilon$
• Bootstrap 2: Metodo basato su approssimazione normale, condizione di rifiuto: $\|F_n - G(\hat{\theta}_n)\|_p - \hat{\sigma}_{\text{boot}}z_\alpha < \epsilon$

Risultati Sperimentali

Principali Scoperte

1. Confronto delle Prestazioni del Metodo

• Dimensioni Campionarie Medie ($n = 500$): I due metodi mostrano prestazioni simili, controllando bene il livello di test
• Dimensioni Campionarie Piccole ($n \leq 100$): Bootstrap 2 generalmente controlla meglio il livello di significatività nominale
• Casi di Statistica AGoF Elevata (> 0.9): Bootstrap 1 mostra prestazioni migliori

2. Esempio di Risultati Specifici

Nel caso del modello Weibull vs Esponenziale:

• $\|F - G(\theta_F)\|_1 = 0.3002$
• Statistica AGoF: $G(F,G) = 0.194$ (miglioramento di solo il 19,4% rispetto al modello costante)
• La funzione di potenza mostra che i due metodi sono quasi indistinguibili a $n = 500$

3. Raccomandazioni Pratiche

• Statistica AGoF tra 0-0.9: Consigliato Bootstrap 2
• Statistica AGoF superiore a 0.9: Consigliato Bootstrap 1
• Con dimensioni campionarie piccole, interpretare i risultati con cautela

Applicazioni Pratiche

Applicazione 1: Indagine Sierologica di Haiti

Dati: 4308 campioni di anticorpi IgG dall'indagine sierologica nazionale di Haiti (antigene Bm33)

Analisi: Test AGoF di modelli di miscela normale con 1-5 componenti

• Modello a 2 componenti mostra le migliori prestazioni: $\epsilon^*_2(0.05) \approx 0.022$ ($L^1$), $G^*(F,G_2) > 0.97$
• Modello normale a componente singola insufficiente: tasso di miglioramento < 78%
• Modelli a 3 o più componenti mostrano miglioramento limitato (< 1%)

Applicazione 2: Stress di Frattura della Fibra di Carbonio

Dati: Circa 1200 fibre di carbonio con prestazioni di trazione a diverse lunghezze di misura

Confronto di Modelli: Weibull, Weibull a tre parametri, normale asimmetrica, Weibull bimodale

Principali Scoperte:

• Weibull bimodale mostra le migliori prestazioni nella maggior parte delle lunghezze di misura
• Le prestazioni del modello diminuiscono significativamente con l'aumento della lunghezza di misura (eccetto Weibull bimodale)
• L'analisi di regressione lineare conferma la significatività statistica di questo trend

Lavori Correlati

Test Tradizionali di Bontà di Adattamento

• Test di Kolmogorov-Smirnov e relative limitazioni
• Problemi di dipendenza dalla distribuzione nel test di Cramér-von Mises

Test di Equivalenza

• Metodo dell'ipotesi alternativa di Lehmann di Wellek (2021)
• Domini di tolleranza di modelli polinomiali di Liu e Lindsay (2009)
• Test di equivalenza ottimale di Romano (2005)

Verifiche di Ipotesi Correlate

• Test di ipotesi esatto di Berger e Delampady (1987)
• Procedura di test coerente di ipotesi correlate di Dette e Sen (2013)
• Test di verifica di vicinato di Baringhaus e Henze (2024)

Conclusioni e Discussione

Conclusioni Principali

1. Efficacia del Metodo: Il test AGoF risolve con successo il problema dei test GoF tradizionali che forniscono solo evidenza di "non adattamento"
2. Completezza Teorica: Fornisce una teoria asintotica completa e prove di coerenza bootstrap
3. Praticità: I due schemi bootstrap sono facili da implementare e applicabili a un'ampia gamma di modelli parametrici

Limitazioni

1. Condizioni di Integrabilità: Richiede il soddisfacimento della condizione $X \in L^{2/p,1}$, limitando l'ambito di applicazione
2. Scelta dei Parametri: La scelta della tolleranza di errore $\epsilon$ richiede ancora conoscenze specialistiche del dominio
3. Complessità Computazionale: Rispetto ai semplici test GoF, il costo computazionale è più elevato

Direzioni Future

1. Estensione Multivariata: Estendere il metodo al caso di distribuzioni multivariate
2. Alternative Non Parametriche: Considerare la verifica approssimata di modelli non parametrici o semiparametrici
3. Metodi Adattivi: Sviluppare metodi guidati dai dati per la selezione automatica di $\epsilon$

Valutazione Approfondita

Punti di Forza

1. Innovazione Teorica: Primo approccio sistematico a posizionare l'"adattamento approssimato" nell'ipotesi alternativa, con importante rottura concettuale
2. Completezza Metodologica: L'analisi teorica e gli algoritmi di implementazione sono molto completi
3. Valore Pratico: La statistica AGoF fornisce una misura intuitiva della qualità del modello
4. Vantaggi Tecnici: La scelta della distanza $L^p$ presenta evidenti vantaggi sia teorici che computazionali

Insufficienze

1. Condizioni di Ipotesi: Il quadro degli M-stimatori e le condizioni di integrabilità possono limitare l'applicabilità
2. Regolazione dei Parametri: La scelta dei valori di $p$ e $\epsilon$ manca di guida sistematica
3. Efficienza Computazionale: Il costo computazionale del processo bootstrap è relativamente elevato

Impatto

1. Contributo Accademico: Fornisce una nuova direzione di ricerca nel campo dei test di bontà di adattamento
2. Valore Pratico: Presenta importanti prospettive di applicazione nella selezione e verifica dei modelli
3. Riproducibilità: I risultati teorici sono completi e la descrizione degli algoritmi è chiara, facilitando la riproduzione

Scenari Applicabili

• Situazioni che richiedono la verifica dell'applicabilità di modelli parametrici
• Selezione e confronto di modelli
• Verifica di modelli nel controllo di qualità e normativa
• Valutazione di modelli di distribuzione nella gestione del rischio

Bibliografia

L'articolo cita una ricca letteratura correlata, coprendo importanti lavori in più aree quali la teoria dei processi empirici, gli M-stimatori, i metodi bootstrap e altri, fornendo una base teorica solida per la ricerca.