2025-11-14T13:34:11.421709

Explaining Models under Multivariate Bernoulli Distribution via Hoeffding Decomposition

Ferrere, Bousquet, Gamboa et al.
Explaining the behavior of predictive models with random inputs can be achieved through sub-models decomposition, where such sub-models have easier interpretable features. Arising from the uncertainty quantification community, recent results have demonstrated the existence and uniqueness of a generalized Hoeffding decomposition for such predictive models when the stochastic input variables are correlated, based on concepts of oblique projection onto L 2 subspaces. This article focuses on the case where the input variables have Bernoulli distributions and provides a complete description of this decomposition. We show that in this case the underlying L 2 subspaces are one-dimensional and that the functional decomposition is explicit. This leads to a complete interpretability framework and theoretically allows reverse engineering. Explicit indicators of the influence of inputs on the output prediction (exemplified by Sobol' indices and Shapley effects) can be explicitly derived. Illustrated by numerical experiments, this type of analysis proves useful for addressing decision-support problems, based on binary decision diagrams, Boolean networks or binary neural networks. The article outlines perspectives for exploring high-dimensional settings and, beyond the case of binary inputs, extending these findings to models with finite countable inputs.
academic

Erklärung von Modellen unter multivariater Bernoulli-Verteilung mittels Hoeffding-Zerlegung

Grundinformationen

  • Papier-ID: 2510.07088
  • Titel: Explaining Models under Multivariate Bernoulli Distribution via Hoeffding Decomposition
  • Autoren: Baptiste Ferrere, Nicolas Bousquet, Fabrice Gamboa, Jean-Michel Loubes, Joseph Muré
  • Klassifizierung: stat.ML cs.LG
  • Veröffentlichungsdatum: 10. Oktober 2025 (arXiv v2)
  • Papier-Link: https://arxiv.org/abs/2510.07088

Zusammenfassung

Das Papier untersucht die Interpretierbarkeit von Vorhersagemodellen mit stochastischen Eingaben durch Submodell-Zerlegung zur Verständigung des Modellverhaltens. Basierend auf neuesten Fortschritten in der Unsicherheitsquantifizierung bietet das Papier eine vollständige Beschreibung der verallgemeinerten Hoeffding-Zerlegung für den Fall, dass Eingabevariablen einer multivariaten Bernoulli-Verteilung folgen. Die Forschung zeigt, dass der zugrunde liegende L²-Unterraum in diesem Fall eindimensional ist und die Funktionszerlegung explizit ist, was die Grundlage für ein vollständiges Interpretierbarkeitsrahmenwerk schafft, das theoretisch Reverse Engineering ermöglicht. Das Papier leitet auch explizite Indikatoren für die Auswirkung von Eingaben auf Ausgabevorhersagen ab (wie Sobol-Indizes und Shapley-Effekte) und validiert die Methode durch numerische Experimente in Entscheidungsunterstützungsproblemen.

Forschungshintergrund und Motivation

Problemdefinition

  1. Kernproblem: Wie können komplexe Vorhersagemodelle mit korrelierten binären Eingabevariablen erklärt werden?
  2. Praktische Anforderung: In maschinellem Lernen und Unsicherheitsquantifizierung sind Eingabevariablen oft nicht unabhängig. Die klassische Hoeffding-Zerlegung setzt Unabhängigkeit voraus, was in praktischen Anwendungen zu restriktiv ist
  3. Anwendungsszenarien: Binäre Entscheidungsdiagramme, Boolesche Netzwerke, binäre neuronale Netze, Molekülstrukturdarstellung, probabilistische Boolesche Netzwerke

Forschungsmotivation

Die klassische Hoeffding-Zerlegung (HD) erfordert gegenseitige Unabhängigkeit der Eingabevariablen, was in vielen praktischen Anwendungen unrealistisch ist. Obwohl bereits ein theoretischer Rahmen für die verallgemeinerte Hoeffding-Zerlegung (GHD) existiert, fehlen explizite Konstruktionsmethoden für spezifische Verteilungen. Die multivariate Bernoulli-Verteilung als wichtiger Spezialfall hat breite Anwendungen in vielen Bereichen.

Einschränkungen bestehender Methoden

  1. Unabhängigkeitsannahme: Die klassische HD erfordert unabhängige Eingabevariablen und begrenzt damit den Anwendungsbereich
  2. Rechenkomplexität: Bestehende GHD-Methoden ermangeln expliziter Konstruktionen und sind schwer praktisch zu berechnen
  3. Unzureichende Interpretierbarkeit: Mangel an vollständigem Interpretierbarkeitsrahmenwerk für binäre Eingaben

Kernbeiträge

  1. Theoretischer Beitrag: Beweis, dass der L²-Unterraum der GHD im multivariaten Bernoulli-Fall eindimensional ist, mit expliziter Funktionszerlegungsdarstellung
  2. Konstruktive Methode: Basierend auf Fourier-Walsh-Hadamard-Basistransformation, explizite Berechnungsmethode für Zerlegungskoeffizienten
  3. Interpretierbarkeitsrahmenwerk: Herleitung expliziter Ausdrücke für verallgemeinerte Sobol-Indizes und Shapley-Effekte
  4. Algorithmusimplementierung: Bereitstellung von Kürzungsnäherungsmethoden für hochdimensionale Fälle und statistische Schätzgarantien
  5. Anwendungsvalidierung: Validierung der Methode auf synthetischen und realen Datensätzen

Methodische Details

Aufgabendefinition

Gegeben ein d-dimensionaler multivariater Bernoulli-Zufallsvektor X = (X₁, ..., Xd) und eine quadratisch integrierbare Funktion G: {0,1}^d → ℝ, besteht das Ziel darin, die eindeutige Funktionszerlegung zu finden:

G(X) = ∑_{A∈P_D} G_A(X_A)

wobei P_D die Potenzmenge von {1,...,d} ist und die Zerlegung hierarchische Orthogonalitätsbedingungen erfüllt.

Theoretischer Kernrahmen

Multivariate Bernoulli-Hoeffding-Zerlegung (MBHD)

Das Kerntheorieresultat des Papiers ist Theorem 2.2, das die explizite Zerlegungsdarstellung etabliert:

Theorem 2.2: Sei G: {0,1}^d → ℝ, definiere:

  • g(X) := (e_A(X_A)G(X)){A∈P_D}, wobei e_A(X_A) := (-1)^{∑{j∈A} X_j}/P_A(X_A)
  • Γ = (Γ_{A,B}){A,B∈P_D} als Gram-Matrix, Γ{A,B} := Ee_A(X_A)e_B(X_B)
  • μ als Mittelwert von g(X)

Dann ist die GHD gegeben durch: G(X) = ∑_{A∈P_D} β_A e_A(X_A)

wobei die Koeffizienten β das lineare System erfüllen: Γβ = μ

Geometrische Interpretation

Das Papier bietet auch eine geometrische Perspektive (Korollar 2.3):

G(X) = ∑_{A∈P_D} ⟨G(X), e*_A(X)⟩e_A(X_A)

wobei e*_A(X) der schiefe Dualvektor von e_A(X_A) ist.

Technische Innovationspunkte

  1. Eindimensionale Unterraum-Eigenschaft: Beweis, dass jeder Hoeffding-Zerlegungsraum V_A im multivariaten Bernoulli-Fall eindimensional ist
  2. Explizite Basiskonstruktion: Die transformierte Fourier-Walsh-Hadamard-Basis {e_A(X_A)}_{A∈P_D} bildet eine hierarchische orthogonale Basis
  3. Lösung linearer Systeme: Umwandlung des Zerlegungsproblems in die Lösung eines 2^d-dimensionalen linearen Systems Γβ = μ
  4. Ausschlusseigenschaft: Beweis, dass wenn bestimmte Variablen keine kausale Auswirkung auf die Vorhersage haben, die entsprechenden β-Koeffizienten null sein müssen

Sensitivitätsanalyseindikatoren

Verallgemeinerte Sobol-Indizes

Das Papier leitet explizite Ausdrücke für verallgemeinerte Sobol-Indizes her:

S_A := CovG(X), G_A(X_A)/VarG(X) = β_A β_B Γ_{A,B}/VarG(X)

Diese Indizes erfüllen die Normalisierungsbedingung ∑_{A∈P_D} S_A = 1, können aber negative Werte annehmen (bei starker negativer Korrelation).

Verallgemeinerte Shapley-Effekte

Shapley-Effekte basierend auf Harsanyi-Dividenden-Definition:

Sh_i = ∑_{A⊆D: i∈A} S_A/|A|

mit expliziten Ausdrücken im multivariaten Bernoulli-Fall.

Experimentelle Einrichtung

Synthetische Experimente

  1. Lineare Schwellenwertfunktionen: Entwurf eines 10-dimensionalen binären Klassifizierers G(X) = sign(W^T X + b)
  2. Korrelationskontrolle: Generierung binärer Vektoren mit verschiedenen Korrelationsniveaus durch Schwellenwertung multivariater Gaußverteilungen
  3. Drei Abhängigkeitsstufen: Hohe Abhängigkeit (ρ=0,9), mittlere Abhängigkeit (ρ=0,5), schwache Abhängigkeit (ρ=0,1)

Entscheidungsbaumanwendung

  1. Zweidimensionale Parameterstudie: Verwendung der Farlie-Gumbel-Morgenstern-Copula zur Kontrolle der Abhängigkeitsstruktur
  2. Pilz-Klassifizierungsdatensatz: Agaricus-Lepiota-Datensatz aus der UCI-Maschinenlernbibliothek, 8124 Stichproben, 22 kategorische Attribute

Bewertungsindikatoren

  • Varianzzerlegungsfehler: ‖S^ρ - S^ρ_⊥‖₁, ‖S^ρ - S^ρ_⊥‖₂
  • Relativer Fehler: Normalisierter Fehler relativ zum wahren Wert
  • Klassifizierungsleistung: Präzision, Recall, F1-Score

Experimentelle Ergebnisse

Hauptergebnisse

Auswirkung der Abhängigkeit auf die Varianzzerlegung

Experimente zeigen, dass das Ignorieren von Eingabeabhängigkeit zu signifikanten Approximationsfehlern führt:

  • Bei hoher Abhängigkeit erreicht der relative Varianzfehler 87%
  • Der relative Fehler der Sobol-Matrix beträgt bei hoher Abhängigkeit 75%
  • Mit abnehmender Korrelation sinken die Fehler deutlich

Entscheidungsbaumanalyseergebnisse

  1. Zweidimensionaler Fall: Erfolgreiche Wiederherstellung der theoretischen konjunktiven Regel X₁X₂
  2. Pilzklassifizierung: Identifikation von 5 kritischen binären Regeln, wobei die Geruchsregel 78,2% der Gesamtvarianz ausmacht
  3. Merkmalswichtigkeitshierarchie: X₁(Geruch) ≫ X₂(Stielwurzel) > {X₃,X₄,X₅}(andere Merkmale)

Statistische Garantien

Das Papier bietet theoretische Garantien für Schätzer:

  • Starke Konsistenz: Ĝₙ(x) →^{a.s.} G(x)
  • Asymptotische Normalität: Zentraler Grenzwertsatz
  • Nicht-asymptotische Konzentrationsgrenzen: Bernstein-Typ-Ungleichungen

Rechenkomplexität und hochdimensionale Approximation

Fluch der Dimensionalität

Die vollständige Zerlegung erfordert die Lösung eines 2^d-dimensionalen linearen Systems, was in hochdimensionalen Fällen nicht praktikabel ist.

Kürzungsnäherung

Vorschlag einer Kürzungsmethode, die nur niedrigordnige Terme behält: G_(x) := ∑_{A∈P_D, |A|≤c} G_A(x_A)

Die Komplexität sinkt von O(2^d) auf O(d^c), in der Praxis wird typischerweise c ∈ {1,2,3} gewählt.

Fehlerzerlegung

Der Gesamtfehler wird in Bias und Varianz zerlegt: E(G(x) - Ĝₙ,c(x))² = Bias² + Varianz

Verwandte Arbeiten

Hoeffding-Zerlegungstheorie

  • Klassische HD (Hoeffding 1948): Unabhängigkeitsannahme für Eingaben
  • Verallgemeinerte HD (Chastaing et al. 2012): Theoretischer Rahmen für korrelierte Eingaben
  • Neueste Fortschritte (Il Idrissi et al. 2025): Schiefe Projektionstheorie

Sensitivitätsanalyse

  • Sobol-Indizes: Varianzzerlegungsmethode
  • Shapley-Werte: Kooperative Spieltheoriemethode
  • Kernmethoden: Alternative Ansätze zur Behandlung von Abhängigkeitsstrukturen

Interpretierbarkeit des maschinellen Lernens

  • SHAP: Shapley-Wert-basierte Erklärungsmethode
  • LIME: Lokale Interpretierungsmethode
  • Aufmerksamkeitsmechanismen: Interpretierbarkeit in tiefem Lernen

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

  1. Die GHD unter multivariater Bernoulli-Verteilung hat eine explizite eindimensionale Unterraumstruktur
  2. Bereitstellung einer vollständigen konstruktiven Zerlegungsmethode und eines Berechnungsrahmens
  3. Verallgemeinerte Sensitivitätsindikatoren können explizit berechnet werden und haben gute theoretische Eigenschaften
  4. Die Methode hat praktischen Wert in Entscheidungsunterstützung und Modellerklärung

Einschränkungen

  1. Vollständige Trägerannahme: Erfordert, dass alle 2^d Konfigurationen positive Wahrscheinlichkeit haben, was in hochdimensionalen Fällen möglicherweise zu streng ist
  2. Rechenkomplexität: Die exponentielle Komplexität der vollständigen Zerlegung begrenzt hochdimensionale Anwendungen
  3. Kürzungsbias: Der durch hochdimensionale Approximation eingeführte Bias erfordert weitere Forschung

Zukünftige Richtungen

  1. Theoretische Erweiterung: Lockerung der Vollständige-Träger-Annahme, Erweiterung auf endliche abzählbare Eingaben
  2. Algorithmusoptimierung: Entwicklung effizienterer hochdimensionaler Berechnungsmethoden
  3. Anwendungserweiterung: Erkundung von Anwendungen in tiefem Lernen und anderen maschinellen Lernmodellen

Tiefgreifende Bewertung

Stärken

  1. Theoretische Strenge: Bereitstellung eines vollständigen mathematischen Theorierahmens und Beweise
  2. Methodische Innovation: Erstmalige Bereitstellung expliziter Zerlegung im multivariaten Bernoulli-Fall
  3. Praktischer Wert: Direkte Anwendbarkeit in der Erklärung von Modellen mit binären Eingaben
  4. Vollständigkeit: Bildung einer vollständigen Kette von Theorie zu Algorithmus zu Anwendung

Mängel

  1. Begrenzte Anwendbarkeit: Nur für binäre Eingaben anwendbar und erfordert Vollständige-Träger-Annahme
  2. Hochdimensionale Herausforderung: Exponentielle Komplexität begrenzt großflächige Anwendungen
  3. Begrenzte experimentelle Validierung: Hauptsächlich in niedrigdimensionalen und spezifischen Szenarien validiert

Auswirkungen

  1. Theoretischer Beitrag: Wichtiger Spezialfall für die Funktionszerlegungstheorie
  2. Methodologischer Wert: Neues Werkzeug zur Modellerklärung mit korrelierten binären Eingaben
  3. Anwendungspotenzial: Breite Anwendungsaussichten in Booleschen Funktionen, Entscheidungsbäumen und anderen Bereichen

Anwendbare Szenarien

  1. Binäre Entscheidungssysteme: Wie medizinische Diagnose, Kreditbewertung
  2. Boolesche Netzwerkanalyse: Genregulationsnetzwerke, logische Schaltungen
  3. Entscheidungsbaumanerklärung: Zufallswälder, Gradient-Boosting-Bäume und andere Ensemble-Methoden
  4. Binäre neuronale Netzwerke: Interpretierbarkeitsanalyse quantisierter neuronaler Netze

Literaturverzeichnis

Das Papier zitiert 50 verwandte Literaturquellen, die Hoeffding-Zerlegungstheorie, Sensitivitätsanalyse, Interpretierbarkeit des maschinellen Lernens und andere wichtige Arbeiten in mehreren Bereichen abdecken und eine solide theoretische Grundlage für die Forschung bieten.

Gesamtbewertung: Dies ist ein theoretisch streng durchgeführtes und methodisch innovatives hochqualitatives Papier, das wichtige Beiträge zur Funktionszerlegungstheorie unter multivariater Bernoulli-Verteilung leistet. Obwohl es Herausforderungen in hochdimensionalen Anwendungen gibt, bietet es starke theoretische Werkzeuge für die Interpretierbarkeitsanalyse von Modellen mit binären Eingaben.