2025-11-16T13:49:12.700878

A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection

Ive, Bondaronek, Yadav et al.

Introduction: Healthcare AI models often inherit biases from their training data. While efforts have primarily targeted bias in structured data, mental health heavily depends on unstructured data. This study aims to detect and mitigate linguistic differences related to non-biological differences in the training data of AI models designed to assist in pediatric mental health screening. Our objectives are: (1) to assess the presence of bias by evaluating outcome parity across sex subgroups, (2) to identify bias sources through textual distribution analysis, and (3) to develop a de-biasing method for mental health text data. Methods: We examined classification parity across demographic groups and assessed how gendered language influences model predictions. A data-centric de-biasing method was applied, focusing on neutralizing biased terms while retaining salient clinical information. This methodology was tested on a model for automatic anxiety detection in pediatric patients. Results: Our findings revealed a systematic under-diagnosis of female adolescent patients, with a 4% lower accuracy and a 9% higher False Negative Rate (FNR) compared to male patients, likely due to disparities in information density and linguistic differences in patient notes. Notes for male patients were on average 500 words longer, and linguistic similarity metrics indicated distinct word distributions between genders. Implementing our de-biasing approach reduced diagnostic bias by up to 27%, demonstrating its effectiveness in enhancing equity across demographic groups. Discussion: We developed a data-centric de-biasing framework to address gender-based content disparities within clinical text. By neutralizing biased language and enhancing focus on clinically essential information, our approach demonstrates an effective strategy for mitigating bias in AI healthcare models trained on text.

academic

소아 정신건강 텍스트에서 인구통계학적 편견 감지 및 완화를 위한 데이터 중심 접근법: 불안증 감지 사례 연구

기본 정보

논문ID: 2501.00129
제목: A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection
저자: Julia Ive, Paulina Bondaronek, Vishal Yadav, Daniel Santel, Tracy Glauser, Tina Cheng, Jeffrey R. Strawn, Greeshma Agasthya, Jordan Tschida, Sanghyun Choo, Mayanka Chandrashekar, Anuj J. Kapadia, John Pestian
분류: cs.CL cs.AI
기관: University College London, Queen Mary University of London, Cincinnati Children's Hospital Medical Center, Oak Ridge National Laboratory 등
논문 유형: 연구 논문

초록

본 연구는 소아 정신건강 AI 모델의 인구통계학적 편견 문제를 해결하기 위해 데이터 중심의 편견 완화 방법을 제시합니다. 연구 결과 여성 청소년 환자에서 체계적인 진단 과소 현상이 발견되었으며, 정확도는 남성 환자보다 4% 낮고 위음성률은 9% 높았습니다. 정보 밀도 필터링 및 성별 중립 단어 치환을 통한 편견 완화 방법으로 진단 편견을 27% 감소시켜 의료 AI 공정성에 대한 효과적인 해결책을 제시했습니다.

연구 배경 및 동기

문제 식별

AI 편견의 보편성: 의료 AI 모델은 훈련 데이터에서 편견을 상속받는 경우가 많으며, 특히 소수 집단에 대한 의료 불공정을 심화시킬 수 있음
정신건강의 특수성: 정신건강은 비정형화된 텍스트 데이터(임상 기록)에 크게 의존하지만, 기존 편견 완화 연구는 주로 정형화된 데이터에 초점을 맞춤
소아 정신건강 위기: COVID-19 이후 소아 불안증 유병률이 두 배로 증가했으며, 특히 여성 청소년 집단에서 심각함

중요성

소아 정신건강 선별검사의 복잡성과 도전성
정신건강 진단 확대에 있어 AI의 거대한 잠재력
다양한 인구 집단에서 AI 도구의 공정하고 효과적인 사용 보장의 시급성

기존 방법의 한계

전통적 편견 완화 기법(단어 임베딩 편견 제거, 적대적 훈련)이 의료 분야에 부적합
의료 데이터의 이질성(서로 다른 의료 기관 출처)이 충분히 고려되지 않음
의료 텍스트 전용 편견 완화 프레임워크 부재

핵심 기여

체계적 편견 식별: 소아 불안증 감지에서 성별 편견을 처음으로 발견하고 정량화했으며, 여성 환자의 위음성률이 현저히 높음을 확인
데이터 중심 편견 완화 프레임워크: 정보 밀도 필터링 및 성별 단어 중립화를 포함한 의료 텍스트 전용 편견 완화 방법 제시
효과성 검증: 실제 임상 데이터에서 방법의 효과성을 검증하여 진단 편견을 최대 27% 감소
해석 가능성 분석: LIME 기술을 사용하여 모델 결정에 의존하는 단어를 분석하고 편견의 원인 규명

방법론 상세 설명

작업 정의

입력: 소아 환자의 임상 기록 텍스트 시퀀스 출력: 이진 분류 예측(불안증/비불안증) 목표: 예측 정확도를 유지하면서 다양한 성별 집단 간의 성능 차이 감소

편견 감지 프레임워크

1. 분류 공정성 평가

여러 지표를 사용하여 모델 편견 평가:

균형 오류율 (BER): $BER = \frac{(\frac{FP}{FP+TN}) + (\frac{FN}{FN+TP})}{2}$
위음성률 (FNR): 진단 누락률 측정
위양성률 (FPR): 오진율 측정
BER 비율: 비특권 집단과 특권 집단의 BER 비율, >1.25는 유의미한 편견 표시

2. 텍스트 분포 분석

인구 집단 간 텍스트 특성 차이 분석:

평균 기록 길이
의학 용어 백분율
성별 편견 어휘 백분율
Jaccard 거리 및 친숙도 점수

편견 완화 방법

1. 정보 밀도 필터링 (tf-idf_filt)

TF-IDF 점수를 사용하여 문장 중요도 계산
정보량이 가장 낮은 20% 문장 제거
다양한 집단 간 정보 밀도 균형 조정

2. 성별 단어 편견 완화 (gen_sub)

이름 및 대명사 등 성별 편견 어휘 자동 감지
Stanza 도구를 사용하여 고유명사 추출
성별 특정 어휘를 중립적 대체어로 치환
- 이름 → "person1", "person2" 등
- 대명사 → "he/she" → "they"

3. 결합 방법 (tf-idf_filt+gen_sub)

정보 밀도 필터링과 성별 단어 치환을 결합하여 시너지 효과 발휘

모델 아키텍처

Clinical-BigBird 기반 Transformer 모델
임상 텍스트에 특화된 사전 훈련
긴 시퀀스 입력 지원(최대 4,096개 토큰)
미세 조정 매개변수: 2 에포크, 학습률 1e-5, 배치 크기 8

실험 설정

데이터셋

출처: Cincinnati Children's Hospital Medical Center
규모: 130만 환자, 6,300만 임상 기록
시간 범위: 2009년 1월 - 2022년 3월
불안증 사례: 선별 기준을 통과한 84,426건
최종 데이터: 73,288명 환자, 781만 기록

연령 그룹 전략

5개 연령 그룹으로 분류: 5, 8, 10, 12, 15세
각 그룹 3,700-5,064개 훈련 샘플
852-1,278개 테스트 샘플
1:1 사례 대조 매칭(연령 및 성별 기준)

데이터 전처리

중복 제거: 코사인 유사도 ≥0.8인 기록
최근 25개 기록 선택
입력 길이를 1,000개 토큰으로 제한

평가 지표

정확도 (Accuracy)
위음성률 (FNR) - 주요 관심 지표
위양성률 (FPR)
균형 오류율 (BER)
불확실한 예측 백분율(확률이 0.4, 0.6 범위)

실험 결과

주요 발견

1. 체계적 성별 편견

지표	남성	여성	차이
정확도	-	-4%	여성이 더 낮음
FNR	-	+9%	여성이 더 높음
불확실한 예측	-	+5%	여성이 더 높음
기록 길이	기준	-500단어	여성이 더 짧음

2. 텍스트 분포 차이

어휘 유사성: Jaccard 지수 0.54(남녀 간)
용어 분포: Jaccard 지수 0.34(유의미한 차이)
최저 유사성: 5세 및 15세 그룹(Jaccard 0.43)

3. 편견 완화 효과

최적 방법 (tf-idf_filt):

FNR 격차 0.024 감소(27% 개선)
Bin 5: FNR 격차 0.13에서 0.02로 감소
Bin 15: FNR 격차 0.13에서 0.07로 감소
BER 비율 1.33에서 0.98로 감소(Bin 10)

절제 실험

방법	FNR 개선	성능 유지	불확실성 감소
rnd_filt	일관된 효과 없음	✓	-
tf-idf_filt	-0.024	✓	-4%
gen_sub	+0.008	✓	-3%
결합 방법	-0.022	✓	-12%

해석 가능성 분석

LIME을 사용하여 모델이 의존하는 단어 분석:

원본 모델: 사례의 10%가 편견 단어에 의존한 예측
tf-idf_filt: 3%로 감소
결합 방법: 편견 단어 빈도 50% 감소

교차 인종 검증

다른 인종 집단의 FNR 평균 0.05 높음
결합 방법이 FNR 격차 0.034 감소
방법의 보편적 적용 가능성 입증

결론 및 논의

주요 결론

편견의 보편성: 소아 불안증 감지 모델은 여성 환자에 대한 체계적 진단 과소 현상 존재
텍스트 차이가 근본 원인: 다양한 성별 환자 기록의 정보 밀도 및 언어 분포에 유의미한 차이 존재
데이터 중심 방법의 효과성: 정보 밀도 균형 조정 및 언어 중립화를 통해 편견을 현저히 감소 가능
임상적 의의: 27%의 편견 감소는 여성 환자 진단 개선에 중요한 가치 보유

한계

데이터 품질 의존성: 방법 효과는 EHR 텍스트 품질 및 일관성에 제한됨
단일 편견 유형: 성별 편견만 초점을 맞추고 다른 인구통계학적 특성 미포함
일반화 능력: 다양한 임상 환경에서의 일반화 능력 추가 검증 필요
생물학적 차이: 생물학적 차이와 사회문화적 차이를 완전히 구분하기 어려움

향후 방향

다른 정신건강 질환 및 인구 집단으로 확대
더욱 정교한 편견 감지 및 완화 기법 개발
다중 양식 데이터(텍스트 + 정형화된 데이터) 결합
의료 AI 공정성 평가를 위한 표준화된 프레임워크 구축

심층 평가

장점

문제의 중요성: 소아 정신건강이라는 핵심 분야에 초점을 맞추어 중요한 사회적 가치 보유
방법의 혁신성: 의료 텍스트에 특화된 데이터 중심 편견 완화 프레임워크 제시
실험의 충분성: 대규모 실제 임상 데이터 검증 및 다차원 편견 분석
실용적 가치: 방법이 단순하고 효과적이며 임상 환경에서 쉽게 배포 가능
해석 가능성: LIME 등 기법을 사용하여 모델 결정의 해석 가능한 분석 제공

부족한 점

이론적 깊이: 편견 발생 메커니즘에 대한 심층 이론적 분석 부재
방법의 한계: 편견 완화 방법이 상대적으로 단순하여 과도한 단순화 가능성 존재
평가의 단일성: 주로 분류 공정성에 초점을 맞추고 보정 등 다른 공정성 차원 부족
장기적 영향: 편견 완화가 모델의 장기 성능 및 일반화 능력에 미치는 영향 미평가

영향력

학술적 기여: 의료 NLP 편견 연구에 중요한 사례 및 방법론적 참고 제공
실무적 가치: 임상 AI 시스템의 공정성 개선을 위한 구체적 해결책 제시
정책적 의의: 의료 AI 규제 및 표준 제정을 위한 기술적 지원 제공
재현 가능성: 방법 설명이 상세하여 우수한 재현 가능성 보유

적용 시나리오

임상 의사결정 지원: 정신건강 선별검사 및 진단 보조 시스템
의료 품질 개선: 기존 의료 AI 시스템의 편견 식별 및 완화
규제 준수: 의료 AI 공정성 및 윤리 요구사항 충족
연구 도구: 다른 의료 AI 편견 연구를 위한 방법론적 기초 제공

참고문헌

본 논문은 공정한 기계학습, NLP 편견 완화, 의료 AI 등 분야의 중요 문헌을 인용하고 있으며, 다음을 포함합니다:

Feldman et al. (2015) - 공정성 측정 기준
Bolukbasi et al. (2016) - 단어 임베딩 편견 제거
Obermeyer et al. (2019) - 의료 알고리즘의 인종 편견
Ribeiro et al. (2016) - LIME 해석 가능성 방법

종합 평가: 이는 의료 AI 공정성 분야에서 중요한 가치를 지닌 연구 논문입니다. 소아 정신건강 AI의 성별 편견 문제를 식별했을 뿐만 아니라 실용적인 해결책을 제시했습니다. 이론적 깊이와 방법론적 복잡성 측면에서 개선의 여지가 있지만, 실용적 가치와 사회적 의의로 인해 해당 분야의 중요한 기여가 됩니다.