2025-11-14T13:34:11.421709

Explaining Models under Multivariate Bernoulli Distribution via Hoeffding Decomposition

Ferrere, Bousquet, Gamboa et al.

Explaining the behavior of predictive models with random inputs can be achieved through sub-models decomposition, where such sub-models have easier interpretable features. Arising from the uncertainty quantification community, recent results have demonstrated the existence and uniqueness of a generalized Hoeffding decomposition for such predictive models when the stochastic input variables are correlated, based on concepts of oblique projection onto L 2 subspaces. This article focuses on the case where the input variables have Bernoulli distributions and provides a complete description of this decomposition. We show that in this case the underlying L 2 subspaces are one-dimensional and that the functional decomposition is explicit. This leads to a complete interpretability framework and theoretically allows reverse engineering. Explicit indicators of the influence of inputs on the output prediction (exemplified by Sobol' indices and Shapley effects) can be explicitly derived. Illustrated by numerical experiments, this type of analysis proves useful for addressing decision-support problems, based on binary decision diagrams, Boolean networks or binary neural networks. The article outlines perspectives for exploring high-dimensional settings and, beyond the case of binary inputs, extending these findings to models with finite countable inputs.

academic

다변량 베르누이 분포 하에서의 Hoeffding 분해를 통한 모델 설명

기본 정보

논문 ID: 2510.07088
제목: Explaining Models under Multivariate Bernoulli Distribution via Hoeffding Decomposition
저자: Baptiste Ferrere, Nicolas Bousquet, Fabrice Gamboa, Jean-Michel Loubes, Joseph Muré
분류: stat.ML cs.LG
발표 시간: 2025년 10월 10일 (arXiv v2)
논문 링크: https://arxiv.org/abs/2510.07088

초록

본 논문은 확률적 입력을 가진 예측 모델의 해석성 문제를 부분 모델 분해를 통해 연구한다. 불확실성 정량화 분야의 최근 진전을 바탕으로, 입력 변수가 다변량 베르누이 분포를 따르는 경우에 대해 일반화된 Hoeffding 분해의 완전한 설명을 제공한다. 연구 결과, 이 경우 기저 L² 부분공간이 일차원이며 함수 분해가 명시적임을 보여주며, 이는 완전한 해석성 프레임워크의 기초를 마련한다. 논문은 또한 입력이 출력 예측에 미치는 영향의 명시적 지표(예: Sobol 지수 및 Shapley 효과)를 도출하고, 수치 실험을 통해 의사결정 지원 문제에서의 방법의 유효성을 검증한다.

연구 배경 및 동기

문제 정의

핵심 문제: 상관된 이진 입력 변수를 가진 복잡한 예측 모델의 행동을 어떻게 설명할 것인가
현실적 필요성: 기계학습 및 불확실성 정량화에서 입력 변수는 종종 독립적이지 않으며, 전통적인 Hoeffding 분해는 독립성을 가정하므로 실제 응용에서 지나치게 제한적이다
응용 분야: 이진 결정 그래프, 부울 네트워크, 이진 신경망, 분자 구조 표현, 확률 부울 네트워크 등

연구 동기

전통적인 Hoeffding 분해(HD)는 입력 변수의 상호 독립성을 요구하는데, 이는 많은 실제 응용에서 현실적이지 않다. 일반화된 Hoeffding 분해(GHD)의 이론적 프레임워크가 존재하지만, 특정 분포에 대한 명시적 구성 방법이 부족하다. 다변량 베르누이 분포는 많은 분야에서 광범위하게 응용되는 중요한 특수한 경우이다.

기존 방법의 한계

독립성 가정: 고전적 HD는 입력 변수의 독립성을 요구하여 응용 범위를 제한한다
계산 복잡성: 기존 GHD 방법은 명시적 구성이 부족하여 실제 계산이 어렵다
해석성 부족: 이진 입력에 대한 완전한 해석성 프레임워크가 부족하다

핵심 기여

이론적 기여: 다변량 베르누이 경우에서 GHD의 L² 부분공간이 일차원임을 증명하고 명시적인 함수 분해 표현을 제공한다
구성적 방법: Fourier-Walsh-Hadamard 기저 변환을 기반으로 분해 계수의 명시적 계산 방법을 제시한다
해석성 프레임워크: 일반화된 Sobol 지수 및 Shapley 효과의 명시적 표현식을 도출한다
알고리즘 구현: 고차원 경우의 절단 근사 방법 및 통계적 추정 보장을 제공한다
응용 검증: 합성 데이터 및 실제 데이터셋에서 방법의 유효성을 검증한다

방법론 상세 설명

작업 정의

d차원 다변량 베르누이 확률 벡터 X = (X₁, ..., Xd)와 제곱 적분 가능한 함수 G: {0,1}^d → ℝ이 주어질 때, 목표는 다음의 유일한 함수 분해를 찾는 것이다:

G(X) = ∑_{A∈P_D} G_A(X_A)

여기서 P_D는 {1,...,d}의 멱집합이며, 분해는 계층적 직교성 조건을 만족한다.

핵심 이론 프레임워크

다변량 베르누이 Hoeffding 분해(MBHD)

논문의 핵심 이론 결과는 정리 2.2로, 명시적인 분해 표현을 수립한다:

정리 2.2: G: {0,1}^d → ℝ이 주어질 때, 다음을 정의한다:

g(X) := (e_A(X_A)G(X)){A∈P_D}, 여기서 e_A(X_A) := (-1)^{∑{j∈A} X_j}/P_A(X_A)
Γ = (Γ_{A,B}){A,B∈P_D}를 Gram 행렬로, Γ{A,B} := Ee_A(X_A)e_B(X_B)
μ를 g(X)의 평균

그러면 GHD는 다음 식으로 주어진다: G(X) = ∑_{A∈P_D} β_A e_A(X_A)

여기서 계수 β는 선형 시스템을 만족한다: Γβ = μ

기하학적 해석

논문은 또한 기하학적 관점의 이해를 제공한다(추론 2.3):

G(X) = ∑_{A∈P_D} ⟨G(X), e*_A(X)⟩e_A(X_A)

여기서 e*_A(X)는 e_A(X_A)의 사선 쌍대 벡터이다.

기술적 혁신점

일차원 부분공간 성질: 다변량 베르누이 경우에서 각 Hoeffding 분해 공간 V_A가 일차원임을 증명한다
명시적 기저 구성: 변환된 Fourier-Walsh-Hadamard 기저 {e_A(X_A)}_{A∈P_D}가 계층적 직교 기저를 형성한다
선형 시스템 풀이: 분해 문제를 2^d 차원 선형 시스템 Γβ = μ 풀이로 변환한다
배제 성질: 특정 변수가 예측에 인과적 영향을 미치지 않으면 해당 β 계수는 반드시 0임을 증명한다