불균형 데이터셋에서 설명의 신뢰성 평가: 서리 현상 발생 사례 연구

기본 정보

• 논문 ID: 2507.09545
• 제목: Assessing reliability of explanations in unbalanced datasets: a use-case on the occurrence of frost events
• 저자: Ilaria Vascotto, Valentina Blasone, Alex Rodriguez, Alessandro Bonaita, Luca Bortolussi
• 분류: cs.LG (머신러닝)
• 발표 시간/학회: 후기 발표, 제3회 설명 가능한 인공지능 세계 학회 (2025년 7월 09-11일, 터키 이스탄불)
• 논문 링크: https://arxiv.org/abs/2507.09545

초록

설명 가능한 인공지능(XAI) 방법의 사용은 인공지능 모델의 점진적 배포와 최근 제시된 입법 요구사항 덕분에 실제 응용에서 매우 중요해졌습니다. 설명의 견고성은 기본적이지만 종종 과소평가되는 측면으로, 설명을 신뢰하기 위해 충족해야 할 핵심 속성입니다. 본 연구는 불균형 데이터셋의 특정 상황에서 설명 신뢰성 평가에 대한 초기 통찰력을 제공합니다. 불균형 데이터셋은 고위험 사용 사례에서 매우 흔하지만, 동시에 AI 모델과 XAI 방법 모두에 상당한 도전을 제시합니다. 우리는 소수 클래스(즉, 빈도가 낮은 클래스)에 초점을 맞춘 간단한 평가 방법을 제안하며, 이는 다양체 상의 이웃 생성, 설명 집계 및 설명 일관성 테스트 메트릭을 활용합니다. 우리는 수치 특성의 표 형식 데이터셋을 기반으로 서리 현상 발생을 사용 사례로 하여 이를 시연했습니다.

연구 배경 및 동기

문제 정의

본 연구가 해결하고자 하는 핵심 문제는: 불균형 데이터셋에서 XAI 설명의 신뢰성을 어떻게 평가할 것인가입니다. 구체적으로, 데이터셋에서 소수 클래스 샘플이 극히 적을 때, 전통적인 설명 방법은 신뢰할 수 없는 결과를 생성할 수 있습니다.

중요성 분석

1. 입법 요구사항: GDPR 및 AI Act 등의 규정이 고위험 응용에 대한 투명성을 요구
2. 실제 필요성: 의료, 기후, 사기 탐지 등 고위험 분야에서 불균형 데이터 문제에 자주 직면
3. 신뢰 위기: 불균형 데이터셋에서 모델이 99% 정확도를 달성해도 단순히 다수 클래스를 예측하는 것일 수 있음

기존 방법의 한계

1. LIME 및 SHAP 등의 방법이 불균형 데이터셋에서 낮은 견고성을 보임
2. 대상화된 평가 부재: 기존 방법은 주로 전체 성능에 초점을 맞추고 소수 클래스의 특수성을 무시
3. 설명 불안정성: 유사한 입력이 완전히 다른 설명을 생성할 수 있음

연구 동기

저자들은 불균형 데이터셋에서 소수 클래스의 설명 신뢰성 평가가 특히 중요하다고 생각합니다. 이유는:

• 희귀 사건의 정확한 예측이 고위험 응용에서 매우 중요
• 다수 클래스는 예측하기 쉬우므로 그 설명이 반드시 신뢰할 수 있는 것은 아님
• 소수 클래스 설명의 견고성을 평가하기 위한 전문화된 방법이 필요

핵심 기여

1. 불균형 데이터셋에 대한 설명 신뢰성 평가 프레임워크 제안, 소수 클래스 샘플에 초점
2. 다양체 기반 이웃 생성 방법 설계, 교란 샘플이 데이터 다양체 위에 있도록 보장
3. 일관성 메트릭 도입, 원본 설명과 국소 가중 평균 설명을 비교하여 신뢰성 평가
4. 실제 서리 예측 작업에서 방법의 효과성 검증, 고도로 불균형한 특성(99:1)

방법 상세 설명

작업 정의

불균형 데이터셋 $\mathcal{D} = (X,y)$가 주어졌을 때, 여기서 $P(y=0) \gg P(y=1)$ (0은 다수 클래스, 1은 소수 클래스), 신경망 $f(\cdot)$을 훈련하고, 목표는 소수 클래스 샘플에서 설명 방법 $e$의 신뢰성을 평가하는 것입니다.

모델 아키텍처

1. 이웃 생성 (Neighbourhood Generation)

k-medoids 클러스터링 기반의 다양체 상 이웃 생성:

단계:

• 검증 집합에 k-medoids 클러스터링 적용, $k_{medoids}$개 클러스터 획득
• 각 클러스터 평균 크기 $n_k = 10$
• 각 클러스터의 medoid를 대표점으로 추출
• 테스트 샘플에 대해 해당 medoid 및 $k_{nn}=5$개 최근접 이웃 찾기

교란 공식: $\tilde{x}_j = (1-\bar{\lambda}) \cdot x_j + \bar{\lambda} \cdot x_{M_j}$ 여기서 $\bar{\lambda} \sim Beta(\lambda \cdot 100, (1-\lambda) \cdot 100)$

2. 국소 평균화 (Local Averaging)

소수 클래스 샘플에 대한 가중 평균 설명 계산: $\bar{e}(x) = \frac{\sum_{\tilde{x} \in \mathcal{N}} e(\tilde{x}) \cdot \pi(x,\tilde{x})}{\sum_{\tilde{x} \in \mathcal{N}} \pi(x,\tilde{x})}$ 여기서 가중치 $\pi(x,\tilde{x}) = \frac{1}{dist(x,\tilde{x})}$

3. 신뢰성 평가

두 가지 평가 지표 정의:

국소 견고성: $\hat{\mathcal{R}}(x) = \frac{1}{|\mathcal{N}|} \sum_{\tilde{x} \in \mathcal{N}} \rho(e(x), e(\tilde{x}))$

일관성: $\hat{\mathcal{C}}(x) = \rho(e(x), \bar{e}(x))$ 여기서 $\rho$는 Spearman 순위 상관계수

기술 혁신점

1. 다양체 인식 이웃 생성: 무작위 가우시안 노이즈와 비교하여 medoid 기반 방법은 데이터 분포에 더 부합하는 이웃을 생성
2. 소수 클래스 전문화 평가: 가장 중요하지만 가장 취약한 소수 클래스 샘플에 초점
3. 일관성 메트릭 도입: 원본 설명과 집계 설명을 비교하여 국소 일관성 평가
4. 거리 가중 설명 집계: 샘플 간 거리에 따라 설명을 가중 평균

실험 설정

데이터셋

서리 예측 데이터셋:

• 출처: ERA5 재분석 데이터(ECMWF) + 보험사 독점 데이터
• 시간 범위: 2009-2024년(15년)
• 지리적 범위: 폴란드 전역
• 특성: 8개 수치화된 대기 변수(표준화 처리)
• 목표: 이진 분류(서리 발생 여부)
• 불균형 정도: 99% vs 1%(고도로 불균형)
• 데이터 분할: 훈련 집합 75%, 검증 집합 15%, 테스트 집합 10%(지역별 계층화)

평가 지표

• 모델 성능: F1-점수(불균형 데이터셋에 적합)
• 설명 신뢰성: 국소 견고성 $\hat{\mathcal{R}}(x)$ 및 일관성 $\hat{\mathcal{C}}(x)$
• 상관성 메트릭: Spearman 순위 상관계수

비교 방법

설명 방법:

1. Integrated Gradients: 그래디언트 적분 기반 귀인 방법
2. DeepLIFT: 활성화 차이 전파 기반 방법
3. Layer-wise Relevance Propagation (LRP): 계층별 관련성 전파
4. 앙상블 방법: 위 세 가지 방법의 가중 조합

이웃 생성 비교:

• 무작위 가우시안 노이즈 생성 vs medoid 기반 다양체 생성

구현 세부사항

• 모델 아키텍처: 5층 완전 연결 신경망, ReLU 활성화, sigmoid 출력
• 손실 함수: Focal Loss ($\gamma=2.5, \alpha=0.75$)
• 최적화기: RAdam, 학습률 0.0001
• 훈련 설정: 100 에포크, 배치 크기 256
• 이웃 매개변수: $k_{nn}=5, \lambda=0.05$, 이웃 크기 $n=100$

실험 결과

주요 결과

모델 성능

설명 방법 성능 비교

주요 발견

1. 이웃 생성 방법의 중요성: medoid 기반 방법이 무작위 노이즈와 비교하여 소수 클래스에서 현저히 더 나은 성능 발휘
2. DeepLIFT 최적 성능: 견고성과 일관성 두 지표 모두에서 최고 점수와 최저 표준편차 달성
3. LRP의 불안정성: 그래디언트 소실 문제로 인해 LRP가 가장 불안정한 성능 보임
4. 소수 클래스의 취약성: 소수 클래스 설명이 다수 클래스 설명보다 이웃 생성 방법의 영향을 더 쉽게 받음

절제 실험

무작위 이웃 생성과 medoid 기반 이웃 생성을 비교하여 다음을 증명:

• 무작위 방법이 소수 클래스에서 더 큰 분포 편이 생성
• medoid 기반 방법이 데이터 다양체 구조를 더 잘 유지
• 소수 클래스가 이웃 생성 방법 선택에 더 민감함

관련 연구

XAI 견고성 연구

• LIME 및 SHAP의 한계: 이들 방법이 대적 공격에서 성능이 좋지 않음을 보여주는 기존 연구
• 설명 안정성: 기존 작업은 주로 일반적인 경우의 설명 안정성에 초점을 맞추고 불균형 데이터에 대한 전문화된 연구 부족

불균형 학습

• 전통적 방법: 재샘플링, 비용 민감 학습 등
• 심층 학습 방법: Focal Loss 등 불균형을 처리하는 전문화된 손실 함수
• 평가 도전: 전통적 평가 지표가 극도로 불균형한 데이터에서 실패

본 논문의 기여

기존 연구와 비교하여, 본 논문은 불균형 데이터셋에서 XAI 방법의 신뢰성 문제를 처음으로 체계적으로 연구하고 전문화된 평가 프레임워크를 제안합니다.

결론 및 토론

주요 결론

1. 불균형 데이터셋에서의 설명 신뢰성은 중요하지만 간과된 문제
2. 소수 클래스 설명은 특별한 평가 방법이 필요, 전통적 방법은 오도할 수 있음
3. 다양체 기반 이웃 생성이 평가의 신뢰성을 현저히 향상
4. DeepLIFT가 서리 예측 작업에서 최고 성능, 높은 견고성과 일관성 보유

한계

1. 방법이 아직 초기 단계: 더 많은 데이터셋과 시나리오에서의 검증 필요
2. 표 형식 데이터만 고려: 이미지, 텍스트 등 다른 데이터 유형 미포함
3. 평가 지표의 한계: 현재 지표가 설명 품질을 완전히 포착하지 못할 수 있음
4. 계산 오버헤드: 각 샘플에 대해 많은 이웃을 생성하면 계산 비용 증가

향후 방향

1. 다양한 불균형 비율로 확장: 방법이 다양한 불균형 정도에서 어떻게 수행되는지 연구
2. 다중 모달 데이터: 이미지, 텍스트 등 데이터 유형으로 방법 확장
3. 불확실성 분석: 불확실성 정량화와 결합하여 소수 클래스 평가 개선
4. 시공간 데이터: 시공간 차원의 특수성 고려

심층 평가

장점

1. 문제의 중요성: XAI 분야에서 중요하지만 간과된 문제에 초점
2. 방법의 창의성: 이론적 기초를 갖춘 대상화된 평가 프레임워크 제안
3. 실험의 충분성: 실제 시나리오에서 검증, 실제 응용 가치 보유
4. 작문의 명확성: 논문 구조가 명확하고 방법 설명이 상세함

부족한 점

1. 실험 규모 제한: 단일 데이터셋에서만 검증, 보편성 증명 부족
2. 이론 분석 부족: 방법의 이론적 성질에 대한 심층 분석 부족
3. 기준선 방법 한계: 불균형 데이터를 처리하는 다른 전문화된 XAI 방법과의 비교 미흡
4. 평가 지표 단순성: 주로 상관성 지표에 의존, 설명 품질을 전면적으로 반영하지 못할 수 있음

영향력

1. 학술적 기여: 불균형 데이터에서의 XAI 응용에 새로운 관점 제공
2. 실용적 가치: 고위험 응용에서의 XAI 배포에 지침 제공
3. 재현성: 코드 공개로 재현 및 확장 용이

적용 시나리오

• 고위험 응용: 의료 진단, 금융 위험 관리, 기상 경보 등
• 극도로 불균형한 데이터: 사기 탐지, 이상 탐지, 희귀 사건 예측
• 규제 요구사항이 엄격한 분야: 설명 가능한 AI가 필요한 산업 응용

참고문헌

논문은 XAI 분야의 중요한 연구를 인용하고 있습니다:

• LIME 3 및 SHAP 4 등 고전적 방법
• Integrated Gradients 11, DeepLIFT 12, LRP 13 등 신경망 설명 방법
• Focal Loss 7 등 불균형 학습 기술
• 관련 견고성 분석 연구 5, 9, 10

종합 평가: 이것은 중요한 실제 문제에 주목하는 초기 연구 작업입니다. 실험 규모와 이론적 깊이에서 개선의 여지가 있지만, 불균형 데이터셋에서 XAI의 신뢰성 평가를 위한 새로운 연구 방향을 개척했으며, 좋은 응용 전망을 가지고 있습니다.