2025-11-16T13:49:12.700878

A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection

Ive, Bondaronek, Yadav et al.
Introduction: Healthcare AI models often inherit biases from their training data. While efforts have primarily targeted bias in structured data, mental health heavily depends on unstructured data. This study aims to detect and mitigate linguistic differences related to non-biological differences in the training data of AI models designed to assist in pediatric mental health screening. Our objectives are: (1) to assess the presence of bias by evaluating outcome parity across sex subgroups, (2) to identify bias sources through textual distribution analysis, and (3) to develop a de-biasing method for mental health text data. Methods: We examined classification parity across demographic groups and assessed how gendered language influences model predictions. A data-centric de-biasing method was applied, focusing on neutralizing biased terms while retaining salient clinical information. This methodology was tested on a model for automatic anxiety detection in pediatric patients. Results: Our findings revealed a systematic under-diagnosis of female adolescent patients, with a 4% lower accuracy and a 9% higher False Negative Rate (FNR) compared to male patients, likely due to disparities in information density and linguistic differences in patient notes. Notes for male patients were on average 500 words longer, and linguistic similarity metrics indicated distinct word distributions between genders. Implementing our de-biasing approach reduced diagnostic bias by up to 27%, demonstrating its effectiveness in enhancing equity across demographic groups. Discussion: We developed a data-centric de-biasing framework to address gender-based content disparities within clinical text. By neutralizing biased language and enhancing focus on clinically essential information, our approach demonstrates an effective strategy for mitigating bias in AI healthcare models trained on text.
academic

Подход, ориентированный на данные, для выявления и смягчения демографической предвзятости в текстах детского психического здоровья: Тематическое исследование выявления тревожности

Основная информация

  • ID статьи: 2501.00129
  • Название: A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection
  • Авторы: Julia Ive, Paulina Bondaronek, Vishal Yadav, Daniel Santel, Tracy Glauser, Tina Cheng, Jeffrey R. Strawn, Greeshma Agasthya, Jordan Tschida, Sanghyun Choo, Mayanka Chandrashekar, Anuj J. Kapadia, John Pestian
  • Классификация: cs.CL cs.AI
  • Учреждения: University College London, Queen Mary University of London, Cincinnati Children's Hospital Medical Center, Oak Ridge National Laboratory и др.
  • Тип статьи: Исследовательская работа

Аннотация

В данном исследовании предлагается подход к устранению демографической предвзятости, ориентированный на данные, для моделей искусственного интеллекта в области детского психического здоровья. Исследование выявило систематическое недодиагностирование у пациентов женского пола подросткового возраста с точностью на 4% ниже, чем у пациентов мужского пола, и уровнем ложноотрицательных результатов на 9% выше. Благодаря методам устранения предвзятости, включающим фильтрацию информационной плотности и замену гендерно-нейтральных слов, удалось сократить диагностическую предвзятость на 27%, предоставив эффективное решение для справедливости медицинского ИИ.

Исследовательский контекст и мотивация

Выявление проблемы

  1. Распространённость предвзятости ИИ: Модели медицинского ИИ часто наследуют предвзятость из обучающих данных, что может усугубить медицинское неравенство, особенно для меньшинств
  2. Специфика психического здоровья: Психическое здоровье в значительной степени зависит от неструктурированных текстовых данных (клинические заметки), в то время как существующие исследования по устранению предвзятости сосредоточены в основном на структурированных данных
  3. Кризис психического здоровья детей: После COVID-19 распространённость симптомов тревожности у детей удвоилась, особенно среди подростков женского пола

Значимость

  • Сложность и вызовы скрининга психического здоровья у детей
  • Огромный потенциал ИИ в расширении диагностики психического здоровья
  • Срочная необходимость обеспечения справедливого и эффективного применения инструментов ИИ в различных популяциях

Ограничения существующих методов

  • Традиционные методы устранения предвзятости (такие как деобиасирование словесных вложений, состязательное обучение) неприменимы в медицинской области
  • Гетерогенность медицинских данных (из различных медицинских учреждений) не получила должного внимания
  • Отсутствие специализированной структуры деобиасирования для медицинских текстов

Основные вклады

  1. Выявление систематической предвзятости: Впервые выявлена и количественно оценена гендерная предвзятость при выявлении тревожности у детей, с значительно более высоким уровнем ложноотрицательных результатов у пациентов женского пола
  2. Структура деобиасирования, ориентированная на данные: Предложены методы деобиасирования, специально адаптированные для медицинских текстов, включая фильтрацию информационной плотности и нейтрализацию гендерных слов
  3. Проверка эффективности: Валидация методов на реальных клинических данных с сокращением диагностической предвзятости до 27%
  4. Анализ интерпретируемости: Использование технологии LIME для анализа словарного запаса, на котором основаны решения модели, выявление источников предвзятости

Подробное описание методов

Определение задачи

Входные данные: Последовательность текстов клинических заметок пациента-ребёнка Выходные данные: Двоичная классификация (тревожность/отсутствие тревожности) Цель: Сокращение различий в производительности между группами разного пола при сохранении точности прогнозирования

Структура выявления предвзятости

1. Оценка справедливости классификации

Использование нескольких показателей для оценки предвзятости модели:

  • Сбалансированный коэффициент ошибок (BER): BER=(FPFP+TN)+(FNFN+TP)2BER = \frac{(\frac{FP}{FP+TN}) + (\frac{FN}{FN+TP})}{2}
  • Коэффициент ложноотрицательных результатов (FNR): Измерение частоты пропусков диагноза
  • Коэффициент ложноположительных результатов (FPR): Измерение частоты ошибочных диагнозов
  • Коэффициент BER: Отношение BER непривилегированной группы к привилегированной группе, >1,25 указывает на значительную предвзятость

2. Анализ распределения текстов

Анализ различий в текстовых характеристиках между популяциями разного пола:

  • Средняя длина заметки
  • Процент медицинской терминологии
  • Процент словарного запаса с гендерной предвзятостью
  • Расстояние Жаккара и оценки знакомства

Методы деобиасирования

1. Фильтрация информационной плотности (tf-idf_filt)

  • Использование оценок TF-IDF для расчёта важности предложения
  • Удаление 20% предложений с наименьшей информационной ценностью
  • Балансировка информационной плотности между различными группами

2. Деобиасирование гендерных слов (gen_sub)

  • Автоматическое выявление имён и местоимений и других слов с гендерной предвзятостью
  • Использование инструмента Stanza для извлечения собственных имён
  • Замена гендерно-специфичных слов нейтральными альтернативами
    • Имена → "person1", "person2" и т.д.
    • Местоимения → "he/she" → "they"

3. Комбинированный метод (tf-idf_filt+gen_sub)

Объединение фильтрации информационной плотности и замены гендерных слов для синергетического эффекта

Архитектура модели

  • Модель Transformer на основе Clinical-BigBird
  • Предварительно обучена на клинических текстах
  • Поддерживает длинные последовательности входных данных (до 4 096 токенов)
  • Параметры тонкой настройки: 2 эпохи, скорость обучения 1e-5, размер пакета 8

Экспериментальная установка

Набор данных

  • Источник: Cincinnati Children's Hospital Medical Center
  • Масштаб: 1,3 млн пациентов, 63 млн клинических заметок
  • Временной диапазон: январь 2009 г. – март 2022 г.
  • Случаи тревожности: 84 426 случаев, прошедших критерии отбора
  • Окончательные данные: 73 288 пациентов, 7,81 млн заметок

Стратегия группировки по возрасту

  • Разделение на 5 возрастных групп: 5, 8, 10, 12, 15 лет
  • 3 700–5 064 обучающих образца на группу
  • 852–1 278 тестовых образцов на группу
  • Сопоставление случай-контроль 1:1 (по возрасту и полу)

Предварительная обработка данных

  • Дедупликация: заметки с косинусным сходством ≥0,8
  • Выбор последних 25 заметок
  • Ограничение длины входных данных 1 000 токенами

Показатели оценки

  • Точность (Accuracy)
  • Коэффициент ложноотрицательных результатов (FNR) – основной показатель
  • Коэффициент ложноположительных результатов (FPR)
  • Сбалансированный коэффициент ошибок (BER)
  • Процент неопределённых прогнозов (вероятность в диапазоне 0,4, 0,6)

Результаты экспериментов

Основные выводы

1. Систематическая гендерная предвзятость

ПоказательМужчиныЖенщиныРазница
Точность––4%Ниже у женщин
FNR–+9%Выше у женщин
Неопределённые прогнозы–+5%Выше у женщин
Длина заметкиБазовая–500 словКороче у женщин

2. Различия в распределении текстов

  • Сходство словарного запаса: Индекс Жаккара 0,54 (между мужчинами и женщинами)
  • Распределение терминов: Индекс Жаккара 0,34 (значительные различия)
  • Минимальное сходство: Группы 5 и 15 лет (Жаккар 0,43)

3. Эффект деобиасирования

Оптимальный метод (tf-idf_filt):

  • Сокращение разрыва FNR на 0,024 (улучшение на 27%)
  • Bin 5: разрыв FNR снизился с 0,13 до 0,02
  • Bin 15: разрыв FNR снизился с 0,13 до 0,07
  • Коэффициент BER снизился с 1,33 до 0,98 (Bin 10)

Абляционные эксперименты

МетодУлучшение FNRСохранение производительностиСнижение неопределённости
rnd_filtБез последовательного эффекта✓–
tf-idf_filt–0,024✓–4%
gen_sub+0,008✓–3%
Комбинированный метод–0,022✓–12%

Анализ интерпретируемости

Использование LIME для анализа словарного запаса, на котором основаны решения модели:

  • Исходная модель: 10% случаев прогнозирования зависят от слов с предвзятостью
  • tf-idf_filt: Сокращение до 3%
  • Комбинированный метод: Снижение частоты слов с предвзятостью на 50%

Кросс-расовая валидация

  • Средний FNR для других расовых групп выше на 0,05
  • Комбинированный метод сократил разрыв FNR на 0,034
  • Доказывает универсальность метода

Связанные работы

Справедливость машинного обучения

  • Методы предварительной обработки: переборка, увеличение данных
  • Модификация алгоритмов: состязательное деобиасирование, модификация целевой функции
  • Методы постобработки: калибровка, преобразование вложений

Методы деобиасирования NLP

  • Обмен атрибутами: обмен словами с чувствительными атрибутами
  • Деобиасирование вложений: удаление гендерного компонента из словесных вложений
  • Состязательное обучение: наказание прогнозов, зависящих от защищённых атрибутов

Предвзятость медицинского ИИ

  • Расовая предвзятость в коммерческих алгоритмах прогнозирования
  • Групповые различия в прогнозировании риска самоубийства
  • Демографическая предвзятость в моделях патологии

Выводы и обсуждение

Основные выводы

  1. Распространённость предвзятости: Модели выявления тревожности у детей демонстрируют систематическое недодиагностирование у пациентов женского пола
  2. Различия в текстах – источник проблемы: Заметки пациентов разного пола существенно отличаются по информационной плотности и языковому распределению
  3. Эффективность подхода, ориентированного на данные: Балансировка информационной плотности и языковая нейтрализация значительно сокращают предвзятость
  4. Клиническое значение: Сокращение предвзятости на 27% имеет важное значение для улучшения диагностики у пациентов женского пола

Ограничения

  1. Зависимость от качества данных: Эффективность метода ограничена качеством и согласованностью текстов электронных медицинских записей
  2. Единственный тип предвзятости: Сосредоточение только на гендерной предвзятости без учёта других демографических характеристик
  3. Способность к обобщению: Необходимо дальнейшее подтверждение способности к обобщению в различных клинических условиях
  4. Биологические различия: Сложность полного разделения биологических и социокультурных различий

Будущие направления

  1. Расширение на другие заболевания психического здоровья и популяции
  2. Разработка более тонких методов выявления и смягчения предвзятости
  3. Интеграция многомодальных данных (текст + структурированные данные)
  4. Установление стандартизированной структуры оценки справедливости медицинского ИИ

Глубокая оценка

Преимущества

  1. Важность проблемы: Сосредоточение на критической области детского психического здоровья с важной социальной ценностью
  2. Инновационность методов: Предложение структуры деобиасирования, ориентированной на данные, специально адаптированной для медицинских текстов
  3. Полнота экспериментов: Валидация на крупномасштабных реальных клинических данных с многомерным анализом предвзятости
  4. Практическая ценность: Простые и эффективные методы, легко развёртываемые в клинической среде
  5. Интерпретируемость: Использование технологий LIME и других методов для обеспечения интерпретируемого анализа решений модели

Недостатки

  1. Теоретическая глубина: Отсутствие глубокого теоретического анализа механизмов возникновения предвзятости
  2. Ограничения методов: Методы деобиасирования относительно просты, что может привести к чрезмерному упрощению
  3. Единственность оценки: Основной акцент на справедливости классификации без учёта других аспектов справедливости, таких как калибровка
  4. Долгосрочное воздействие: Отсутствие оценки влияния деобиасирования на долгосрочную производительность и способность модели к обобщению

Влияние

  1. Академический вклад: Предоставление важного тематического исследования и методологического справочника для исследований предвзятости в медицинском NLP
  2. Практическая ценность: Предоставление конкретных решений для улучшения справедливости клинических систем ИИ
  3. Политическое значение: Предоставление технической поддержки для регулирования и стандартизации справедливости медицинского ИИ
  4. Воспроизводимость: Подробное описание методов с хорошей воспроизводимостью

Применимые сценарии

  1. Системы поддержки клинических решений: Скрининг и диагностическая помощь при психических расстройствах
  2. Улучшение качества медицинского обслуживания: Выявление и смягчение предвзятости в существующих системах медицинского ИИ
  3. Нормативное соответствие: Соответствие требованиям справедливости и этики медицинского ИИ
  4. Исследовательский инструмент: Предоставление методологической основы для других исследований предвзятости в медицинском ИИ

Библиография

В статье цитируются важные работы в области справедливости машинного обучения, деобиасирования NLP и медицинского ИИ, включая:

  • Feldman et al. (2015) – Стандарты измерения справедливости
  • Bolukbasi et al. (2016) – Деобиасирование словесных вложений
  • Obermeyer et al. (2019) – Расовая предвзятость в медицинских алгоритмах
  • Ribeiro et al. (2016) – Метод интерпретируемости LIME

Общая оценка: Это исследовательская работа, имеющая важное значение в области справедливости медицинского ИИ. Она не только выявляет проблему гендерной предвзятости в ИИ для детского психического здоровья, но и предлагает практические решения. Хотя существует место для улучшения в теоретической глубине и сложности методов, её практическая ценность и социальное значение делают её важным вкладом в эту область.