MLE-Konvergenzgeschwindigkeit zur Informationsprojektion der Exponentialfamilie: Kriterium für Modelldimension und Stichprobengröße -- vollständige Beweisversion--

Grundlegende Informationen

• Papier-ID: 2105.08947
• Titel: MLE convergence speed to information projection of exponential family: Criterion for model dimension and sample size -- complete proof version--
• Autor: Yo Sheena (Fakultät für Datenwissenschaften, Universität Shiga; Gastprofessor am Institut für Statistische Mathematik)
• Klassifizierung: math.ST stat.TH
• Veröffentlichungsdatum: Mai 2021 (arXiv-Preprint)
• Papierlink: https://arxiv.org/abs/2105.08947

Zusammenfassung

Diese Arbeit untersucht das Problem der Verteilung in parametrischen Verteilungsmodellen, die der wahren Verteilung am nächsten kommt, wenn die wahre Verteilung außerhalb des Modells liegt. Unter Verwendung der Kullback-Leibler (K-L) Divergenz zur Messung des Abstands zwischen Verteilungen wird die nächstgelegene Verteilung als "Informationsprojektion" bezeichnet. Das Schätzrisiko des Maximum-Likelihood-Schätzers (MLE) wird als die erwartete K-L Divergenz zwischen der Informationsprojektion und der Vorhersageverteilung mit eingefügtem MLE definiert. Diese Arbeit leitet die asymptotische Entwicklung des Risikos bis zur Ordnung $n^{-2}$ ab und untersucht hinreichende Bedingungen für das Risiko, damit die Bayes-Fehlerrate zwischen der wahren Verteilung und der Informationsprojektion unter einem festgelegten Wert liegt. Durch die Kombination dieser Ergebnisse wird ein "$p-n$-Kriterium" vorgeschlagen, um zu bestimmen, ob der MLE unter einem gegebenen Modell und einer gegebenen Stichprobe der Informationsprojektion ausreichend nahe kommt. Insbesondere ist das Kriterium für Exponentialfamilienmodelle relativ einfach und kann auf komplexe Modelle ohne explizite Form der Normalisierungskonstante angewendet werden. Das Kriterium kann als Lösung für Probleme der Stichprobengröße oder Modellakzeptanz dienen.

Forschungshintergrund und Motivation

Kernproblem

Bei einem gegebenen Datensatz ist es erforderlich, eine unbekannte Wahrscheinlichkeitsverteilung als Generator für unabhängig und identisch verteilte (i.i.d.) Stichproben anzunehmen. Wenn ein bestimmtes parametrisches Verteilungsmodell zur "Erklärung" der Daten verwendet wird, besteht die erste Aufgabe darin, die "beste" Verteilung im Modell zu finden. Da die wahre Verteilung normalerweise außerhalb des Modells liegt, bedeutet "beste" die Verteilung, die der wahren Verteilung am nächsten kommt.

Bedeutung des Problems

Eine erfolgreiche Verteilungsapproximation hat breite Anwendungen:

1. Regression oder Diskriminanzanalyse basierend auf bedingten Verteilungen
2. Multiple Imputation mit bedingten oder unbedingten Verteilungen
3. Anomalieerkennung basierend auf Wahrscheinlichkeitskontourregionen
4. Verkörperung von C.R. Raos berühmter Gleichung: "unsicheres Wissen" + "Wissen über den Grad der Unsicherheit" = "verfügbares Wissen"

Einschränkungen bestehender Methoden

Bei der Verteilungsapproximation gibt es drei wichtige Probleme:

1. Systematische Konstruktion von Verteilungsmodellen
2. Bewertung, wie nahe der Schätzer der besten Verteilung kommt
3. Bewertung, wie nahe die beste Verteilung der wahren Verteilung kommt

Bestehende Forschungen konzentrieren sich hauptsächlich auf die Nähe der Vorhersageverteilung zur wahren Verteilung und nicht zur besten Verteilung.

Forschungsmotivation

Diese Arbeit konzentriert sich auf das zweite Problem und etabliert ein Kriterium zur Bestimmung, ob der MLE der besten Verteilung ausreichend nahe kommt. Durch Trennung des zweiten und dritten Problems wird das Modell fixiert und die asymptotische Entwicklung des Risikos in Bezug auf die Stichprobengröße n abgeleitet.

Kernbeiträge

1. Theoretischer Beitrag: Ableitung der asymptotischen Entwicklung des MLE-Schätzrisikos bis zur Ordnung $n^{-2}$ für allgemeine Verteilungsmodelle mit vollständigen mathematischen Beweisen
2. Spezialisierung auf Exponentialfamilien: Vereinfachte Risikoausdrücke und praktisches $p-n$-Kriterium für Exponentialfamilienmodelle
3. Praktisches Kriterium: Vorschlag des $p-n$-Kriteriums zur Bestimmung, ob die Stichprobengröße ausreichend ist oder die Modelldimension angemessen ist
4. Algorithmen-Rahmen: Bereitstellung eines Berechnungsalgorithmus für komplexe Exponentialfamilienmodelle ohne explizite Normalisierungskonstante
5. Empirische Validierung: Validierung des $p-n$-Kriteriums an zwei realen Datensätzen
6. Theoretische Verbindungen: Etablierung von Beziehungen zu Informationskriterien (AIC/TIC)

Methodische Details

Aufgabendefinition

Gegeben ein parametrisches Verteilungsmodell $M = \{g(x; \theta) | \theta \in \Theta\}$, wobei $g(x; \theta)$ eine Wahrscheinlichkeitsdichtefunktion bezüglich eines Referenzmaßes $d\mu$ ist. Die Dichtefunktion der wahren Verteilung ist $g(x)$. Das Ziel ist:

• Finden der Informationsprojektion $g(x; \theta^*)$ im Modell
• Bewertung des Abstands zwischen der Vorhersageverteilung $g(x; \hat{\theta})$ des MLE $\hat{\theta}$ und der Informationsprojektion
• Etablierung eines Kriteriums zur Bestimmung, ob der MLE der Informationsprojektion ausreichend nahe kommt

Kern-Rahmen

Definition der Informationsprojektion

Die Informationsprojektion $g(x; \theta^*)$ wird definiert als: $\theta^* = \arg \min_{\theta \in \Theta} D[g(x) | g(x; \theta)]$ wobei $D[g_1 | g_2] = \int g_1(x) \log(g_1(x)/g_2(x))d\mu$ die K-L Divergenz ist.

Definition des Schätzrisikos

Das Schätzrisiko wird definiert als: $R[g(x; \theta^*) | g(x; \hat{\theta})] = E[D[g(x; \theta^*) | g(x; \hat{\theta})]]$

Theoretische Ergebnisse

Asymptotische Entwicklung für allgemeine Modelle

Satz 1: Das Schätzrisiko des MLE bezüglich K-L Divergenz ist: $R[g(x; \theta^*) | g(x; \hat{\theta})] = (2n)^{-1}\text{tr}(\tilde{G}^{-1}G\tilde{G}^{-1}G^*) + n^{-2}[\text{komplexer Ausdruck zweiter Ordnung}] + O(n^{-3})$

wobei:

• $G^*_{ij}(\theta^*)$: Fisher-Informationsmatrix
• $\tilde{G}_{ij}(\theta^*)$: Negative Erwartung der Hessian-Matrix
• $G_{ij}(\theta^*)$: Varianz-Kovarianz-Matrix unter der wahren Verteilung

Vereinfachte Ergebnisse für Exponentialfamilien

Korollar 1: Für Exponentialfamilienmodelle $g(x; \theta) = \exp(\sum_{i=1}^p \theta_i \xi_i(x) - \Psi(\theta))$: $R[g(x; \theta^*) | g(x; \hat{\theta})] = \frac{1}{2n}\text{tr}(\tilde{G}^{-1}G) + \frac{1}{24n^2}[\text{Funktion von Kumulanten dritter und vierter Ordnung}] + O(n^{-3})$

Schlüsseleigenschaft: $G^* = \tilde{G} = \ddot{\Psi}(\theta^*)$ (Matrix der zweiten Ableitungen)

$p-n$-Kriterium

Kriterium für allgemeine Modelle

$C \geq \frac{1}{2n}\text{tr}(\hat{\tilde{G}}^{-1}\hat{G}\hat{\tilde{G}}^{-1}\hat{G}^*)$

Kriterium für Exponentialfamilien

$C \geq \frac{1}{2n}\text{tr}(\hat{\Sigma}(\ddot{\Psi}(\hat{\theta}))^{-1}) + \frac{1}{24n^2}[\text{geschätzter Ausdruck zweiter Ordnung}]$

wobei $\hat{\Sigma}$ die Stichproben-Kovarianzmatrix der $\xi_i$-Terme ist.

Schwellenwertfestlegung

Der Schwellenwert $C$ wird durch die Beziehung zwischen Bayes-Fehlerrate und K-L Divergenz festgelegt:

• Wenn $D[g_1 | g_2] \leq \delta$, dann Fehlerrate $\text{Er}[g_1 | g_2] \geq 1/2 - \sqrt{\delta/8}$
• Für Fehlerrate-Schwellenwert $1/2 - \alpha$ gilt näherungsweise $C_\alpha = 8\alpha^2$

Experimentelle Einrichtung

Datensätze

1. Rotwein-Qualitätsdatensatz:
   • Quelle: UCI Machine Learning Repository
   • Stichprobengröße: 1599 (Rotwein-Daten)
   • Variablen: 11 chemische Stoffe (kontinuierliche Variablen) + Qualitätsindikator (3-8 Ganzzahlen)
   • Modell: 47-dimensionales Exponentialfamilienmodell (nach Korrelationsfilterung)
2. Abalone-Datensatz:
   • Quelle: UCI Machine Learning Repository
   • Stichprobengröße: 4177
   • Variablen: Geschlecht (3 Klassen) + Ringe (1-29 Ganzzahlen)
   • Modell: 62-dimensionale Multinomialverteilung (63 Kategorien)

Experimentelles Design

• Rotwein-Daten: Zufällige Aufteilung in zwei Hälften, eine Hälfte für Modellkonstruktion, eine Hälfte für Parameterschätzung
• Abalone-Daten: Direkte Anwendung der $p-n$-Kriteriumsformel für Multinomialverteilung
• Verwendung von MCMC-Methoden zur Behandlung der Normalisierungskonstante komplexer Exponentialfamilienmodelle

Experimentelle Ergebnisse

Ergebnisse des Rotwein-Datensatzes

• 47-dimensionales Modell ($n=799$):
  • Term erster Ordnung: 2,95e-02
  • Term zweiter Ordnung: -1,30e-04
  • Gesamtes geschätztes Risiko: 2,93e-02
  • Entsprechend $\alpha \approx 0,06$, Bayes-Fehlerrate > 0,44
• 37-dimensionales vereinfachtes Modell:
  • Gesamtes Schätzrisiko: 1,62e-02 < 0,02 (Schwellenwert für $\alpha=0,05$)
  • Erfüllt die Anforderungen des $p-n$-Kriteriums
• Klassifizierungsleistung: Generatives Klassifizierungsmodell Genauigkeit 58%, Entscheidungsbaum 63%, aber generatives Modell mit weniger Überanpassung

Ergebnisse des Abalone-Datensatzes

• $p=62$, $n=4177$, $M̂=36128,33$
• Risiko erster Ordnung: 0,0074, Risiko zweiter Ordnung: 1,73e-04
• Gesamtrisiko: 0,0076 < 0,02 (für $\alpha=0,05$)
• Erfüllt das $p-n$-Kriterium
• Aber für $\alpha=0,01$ wird $n \geq 38847$ benötigt, tatsächliche Stichprobe ist unzureichend

Wichtigste Erkenntnisse

1. Der Term zweiter Ordnung trägt sehr wenig zum Gesamtrisiko bei, die Approximation erster Ordnung ist normalerweise ausreichend
2. Das $p-n$-Kriterium kann effektiv die Modellauswahl und Stichprobengröße lenken
3. Komplexe Modelle können durch MCMC-Methoden implementiert werden, ohne explizite Normalisierungskonstante zu benötigen

Verwandte Arbeiten

Exponentialfamilientheorie

• Portnoy, Stone, Barron & Sheu untersuchten die Konvergenz von Exponentialfamiliensequenzen
• Wainwright & Jordan untersuchten die Basisfunktionsauswahl in Graphmodellen
• Efron & Tibshirani untersuchten die Konstruktion gemischter Exponentialfamilien

Informationsgeometrie

• Amaris & Nagokas Informationsgeometrietheorie bietet die geometrische Grundlage für diese Arbeit
• Csiszárs Konzept der Informationsprojektion
• Theoretischer Rahmen der $\alpha$-Divergenz

Modellauswahl

• Beziehungen zu AIC/TIC-Informationskriterien
• Diese Methode trennt Schätzrisiko und Approximationsrisiko

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Etablierung einer präzisen asymptotischen Theorie des MLE-Schätzrisikos, insbesondere der vereinfachten Form für Exponentialfamilien
2. Vorschlag eines praktischen $p-n$-Kriteriums, das für Stichprobengröße und Modellakzeptanzprobleme verwendet werden kann
3. Bereitstellung eines Algorithmen-Rahmens zur Behandlung komplexer Exponentialfamilienmodelle
4. Etablierung theoretischer Verbindungen zu Informationskriterien

Einschränkungen

1. Theoretische Annahmen erfordern angemessene Regularitätsbedingungen
2. Die Berechnung des Terms zweiter Ordnung ist komplex, in der Praxis wird oft die Approximation erster Ordnung verwendet
3. Die Schwellenwertfestlegung basiert auf Approximationsbeziehungen und kann nicht ausreichend präzise sein
4. Für Nicht-Exponentialfamilienmodelle ist die Kriteriumsform komplexer

Zukünftige Richtungen

1. Erweiterung auf allgemeinere Divergenzfamilien
2. Untersuchung endlicher Stichprobeneigenschaften
3. Entwicklung effizienterer Berechnungsalgorithmen
4. Anwendung auf moderne statistische Modelle wie Deep Learning

Tiefgreifende Bewertung

Stärken

1. Theoretische Strenge: Vollständige mathematische Beweise mit tiefgehender theoretischer Analyse
2. Praktischer Wert: Das $p-n$-Kriterium kann direkt auf praktische Probleme angewendet werden
3. Methodische Innovation: Der Ansatz der Trennung von Schätzrisiko und Approximationsrisiko ist neuartig
4. Rechnerische Machbarkeit: MCMC-Implementierungslösung für komplexe Modelle
5. Breite Anwendbarkeit: Anwendbar auf verschiedene Exponentialfamilienmodelle

Mängel

1. Rechenkomplexität: Große Berechnungsmenge für Terme zweiter Ordnung, was die praktische Anwendung einschränkt
2. Annahmebedingungen: Erfordert relativ starke Regularitätsannahmen
3. Begrenzte Experimente: Validierung nur an zwei Datensätzen
4. Schwellenwert-Approximation: Die Approximation der Beziehung zwischen Bayes-Fehlerrate und K-L Divergenz könnte nicht ausreichend präzise sein

Einfluss

1. Theoretischer Beitrag: Bietet neue Analysewerkzeuge für die statistische Lerntheorie
2. Praktische Anleitung: Bietet quantitative Kriterien für die Modellauswahl
3. Methodologie: Etabliert einen neuen Rahmen für die Risikozerlegung
4. Erweiterbarkeit: Legt die theoretische Grundlage für nachfolgende Forschung

Anwendungsszenarien

1. Stichprobengröße-Planung für Exponentialfamilienmodelle
2. Modellauswahl für komplexe statistische Modelle
3. Kontrolle der Modellkomplexität im Machine Learning
4. Anleitung zur Priorauswahl in der Bayes-Statistik

Literaturverzeichnis

Diese Arbeit zitiert 28 wichtige Literaturquellen, die Informationsgeometrie, Exponentialfamilientheorie, asymptotische Statistik und andere Bereiche abdecken und eine solide theoretische Grundlage für die Forschung bieten. Wichtige Referenzen umfassen Amaris Monographie zur Informationsgeometrie, Barron & Sheus Forschung zur Konvergenz von Exponentialfamilien sowie klassische Literatur zur statistischen Lerntheorie.