2025-11-16T13:49:12.700878

A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection

Ive, Bondaronek, Yadav et al.
Introduction: Healthcare AI models often inherit biases from their training data. While efforts have primarily targeted bias in structured data, mental health heavily depends on unstructured data. This study aims to detect and mitigate linguistic differences related to non-biological differences in the training data of AI models designed to assist in pediatric mental health screening. Our objectives are: (1) to assess the presence of bias by evaluating outcome parity across sex subgroups, (2) to identify bias sources through textual distribution analysis, and (3) to develop a de-biasing method for mental health text data. Methods: We examined classification parity across demographic groups and assessed how gendered language influences model predictions. A data-centric de-biasing method was applied, focusing on neutralizing biased terms while retaining salient clinical information. This methodology was tested on a model for automatic anxiety detection in pediatric patients. Results: Our findings revealed a systematic under-diagnosis of female adolescent patients, with a 4% lower accuracy and a 9% higher False Negative Rate (FNR) compared to male patients, likely due to disparities in information density and linguistic differences in patient notes. Notes for male patients were on average 500 words longer, and linguistic similarity metrics indicated distinct word distributions between genders. Implementing our de-biasing approach reduced diagnostic bias by up to 27%, demonstrating its effectiveness in enhancing equity across demographic groups. Discussion: We developed a data-centric de-biasing framework to address gender-based content disparities within clinical text. By neutralizing biased language and enhancing focus on clinically essential information, our approach demonstrates an effective strategy for mitigating bias in AI healthcare models trained on text.
academic

نهج يركز على البيانات للكشف عن التحيز الديموغرافي والتخفيف منه في نصوص الصحة النفسية للأطفال: دراسة حالة في الكشف عن القلق

المعلومات الأساسية

  • معرّف الورقة: 2501.00129
  • العنوان: نهج يركز على البيانات للكشف عن التحيز الديموغرافي والتخفيف منه في نصوص الصحة النفسية للأطفال: دراسة حالة في الكشف عن القلق
  • المؤلفون: جوليا آيف، بولينا بوندارونيك، فيشال يادav، دانيال سانتل، تريسي جلاوسر، تينا تشينج، جيفري آر. شترون، جريشما أجاسثيا، جوردان تشيدا، سانجهيون تشو، مايانكا تشاندراشيكار، أنوج جي. كابديا، جون بيستيان
  • التصنيف: cs.CL cs.AI
  • المؤسسات: جامعة كوليج لندن، جامعة كوين ماري بلندن، مركز سينسيناتي للأطفال الطبي، مختبر أوك ريدج الوطني وغيرها
  • نوع الورقة: ورقة بحثية

الملخص

تتناول هذه الدراسة مشكلة التحيز الديموغرافي في نماذج الذكاء الاصطناعي للصحة النفسية للأطفال، وتقترح نهجاً يركز على البيانات للتخفيف من التحيز. كشفت الدراسة عن مشكلة نقص تشخيصي منهجي لدى المريضات الإناث من المراهقين، حيث كانت دقة التشخيص أقل بنسبة 4% مقارنة بالمرضى الذكور، مع معدل إيجابي كاذب أعلى بنسبة 9%. من خلال تطبيق طرق التخفيف من التحيز بما في ذلك تصفية كثافة المعلومات واستبدال الكلمات المحايدة جنسياً، تم تقليل التحيز التشخيصي بنسبة 27%، مما يوفر حلاً فعالاً لتحقيق العدالة في الذكاء الاصطناعي الطبي.

خلفية البحث والدافع

تحديد المشكلة

  1. انتشار التحيز في الذكاء الاصطناعي: غالباً ما ترث نماذج الذكاء الاصطناعي الطبية التحيزات من بيانات التدريب، مما قد يؤدي إلى تفاقم عدم المساواة الطبية، خاصة بالنسبة للأقليات
  2. خصوصية الصحة النفسية: تعتمد الصحة النفسية بشكل كبير على بيانات النصوص غير المنظمة (الملاحظات السريرية)، بينما يركز البحث الحالي حول التخفيف من التحيز بشكل أساسي على البيانات المنظمة
  3. أزمة الصحة النفسية للأطفال: تضاعفت معدلات انتشار أعراض القلق لدى الأطفال بعد جائحة كوفيد-19، خاصة بين المراهقات الإناث

الأهمية

  • تعقيد وتحديات الفحص الشامل للصحة النفسية للأطفال
  • الإمكانيات الهائلة للذكاء الاصطناعي في توسيع نطاق التشخيص النفسي
  • الحاجة الملحة لضمان فعالية وعدالة أدوات الذكاء الاصطناعي عبر مختلف المجموعات السكانية

قيود الطرق الموجودة

  • لا تنطبق تقنيات التخفيف من التحيز التقليدية (مثل إزالة التحيز من تضمينات الكلمات والتدريب الخصومي) على المجال الطبي
  • لم يتم الأخذ بعين الاعتبار بشكل كافٍ التنوع في البيانات الطبية (من مؤسسات طبية مختلفة)
  • نقص الأطر المتخصصة للتخفيف من التحيز في النصوص الطبية

المساهمات الأساسية

  1. تحديد التحيز المنهجي: اكتشاف وتحديد التحيز الجنسي لأول مرة في الكشف عن القلق لدى الأطفال، مع معدل إيجابي كاذب أعلى بشكل ملحوظ لدى المريضات الإناث
  2. إطار عمل للتخفيف من التحيز يركز على البيانات: اقتراح طرق متخصصة للنصوص الطبية، تشمل تصفية كثافة المعلومات وتحييد كلمات الجنس
  3. التحقق من الفعالية: التحقق من فعالية الطريقة على بيانات سريرية حقيقية، مع تقليل التحيز التشخيصي بنسبة تصل إلى 27%
  4. تحليل القابلية للتفسير: استخدام تقنية LIME لتحليل المفردات التي تعتمد عليها قرارات النموذج، مما يكشف مصادر التحيز

شرح الطريقة

تعريف المهمة

الإدخال: سلسلة من نصوص الملاحظات السريرية لمريض طفل الإخراج: التنبؤ بالتصنيف الثنائي (قلق/بدون قلق) الهدف: تقليل الفروقات في الأداء بين المجموعات الجنسية المختلفة مع الحفاظ على دقة التنبؤ

إطار عمل الكشف عن التحيز

1. تقييم عدالة التصنيف

استخدام مقاييس متعددة لتقييم التحيز في النموذج:

  • معدل الخطأ المتوازن (BER): BER=(FPFP+TN)+(FNFN+TP)2BER = \frac{(\frac{FP}{FP+TN}) + (\frac{FN}{FN+TP})}{2}
  • معدل الإيجابي الكاذب (FNR): قياس معدل عدم التشخيص
  • معدل السلبي الكاذب (FPR): قياس معدل التشخيص الخاطئ
  • نسبة BER: نسبة BER للمجموعة المحرومة إلى المجموعة المميزة، حيث تشير القيمة >1.25 إلى تحيز كبير

2. تحليل توزيع النص

تحليل الفروقات في خصائص النص بين المجموعات السكانية المختلفة:

  • متوسط طول الملاحظة
  • نسبة المصطلحات الطبية
  • نسبة المفردات المتحيزة جنسياً
  • مسافة جاكار ودرجات الألفة

طرق التخفيف من التحيز

1. تصفية كثافة المعلومات (tf-idf_filt)

  • استخدام درجات TF-IDF لحساب أهمية الجملة
  • إزالة 20% من الجمل ذات أقل كمية معلومات
  • موازنة كثافة المعلومات بين المجموعات المختلفة

2. إزالة التحيز من الكلمات الجنسية (gen_sub)

  • الكشف التلقائي عن الأسماء والضمائر وغيرها من المفردات المتحيزة جنسياً
  • استخدام أداة Stanza لاستخراج الأسماء العلم
  • استبدال المفردات الخاصة بجنس معين بكلمات محايدة بديلة
    • الأسماء → "person1"، "person2" وغيرها
    • الضمائر → "he/she" → "they"

3. الطريقة المدمجة (tf-idf_filt+gen_sub)

دمج تصفية كثافة المعلومات واستبدال الكلمات الجنسية للاستفادة من التأثيرات التآزرية

معمارية النموذج

  • نموذج Transformer قائم على Clinical-BigBird
  • مدرب مسبقاً بشكل متخصص على النصوص السريرية
  • يدعم إدخال تسلسلات طويلة (حتى 4,096 رمز)
  • معاملات الضبط الدقيق: حقبتان، معدل التعلم 1e-5، حجم الدفعة 8

إعداد التجربة

مجموعة البيانات

  • المصدر: مركز سينسيناتي للأطفال الطبي
  • الحجم: 1.3 مليون مريض، 63 مليون ملاحظة سريرية
  • الفترة الزمنية: يناير 2009 - مارس 2022
  • حالات القلق: 84,426 حالة تم تصفيتها
  • البيانات النهائية: 73,288 مريض، 7.81 مليون ملاحظة

استراتيجية تجميع العمر

  • تقسيم إلى 5 مجموعات عمرية: 5، 8، 10، 12، 15 سنة
  • 3,700-5,064 عينة تدريب لكل مجموعة
  • 852-1,278 عينة اختبار
  • مطابقة الحالات والشواهد بنسبة 1:1 (حسب العمر والجنس)

معالجة البيانات المسبقة

  • إزالة التكرار: الملاحظات ذات التشابه الكوسيني ≥0.8
  • اختيار آخر 25 ملاحظة
  • تحديد طول الإدخال إلى 1,000 رمز

مقاييس التقييم

  • الدقة (Accuracy)
  • معدل الإيجابي الكاذب (FNR) - المؤشر الرئيسي
  • معدل السلبي الكاذب (FPR)
  • معدل الخطأ المتوازن (BER)
  • نسبة التنبؤات غير المؤكدة (الاحتمالية في الفترة 0.4, 0.6)

نتائج التجربة

النتائج الرئيسية

1. التحيز الجنسي المنهجي

المؤشرالذكورالإناثالفرق
الدقة--4%أقل لدى الإناث
FNR-+9%أعلى لدى الإناث
التنبؤات غير المؤكدة-+5%أعلى لدى الإناث
طول الملاحظةالأساس-500 كلمةأقصر لدى الإناث

2. الفروقات في توزيع النص

  • التشابه المفرداتي: مؤشر جاكار 0.54 (بين الذكور والإناث)
  • توزيع المصطلحات: مؤشر جاكار 0.34 (فروقات كبيرة)
  • أقل تشابه: بين مجموعات 5 و15 سنة (جاكار 0.43)

3. تأثير التخفيف من التحيز

أفضل طريقة (tf-idf_filt):

  • تقليل فجوة FNR بمقدار 0.024 (تحسن 27%)
  • Bin 5: انخفاض فجوة FNR من 0.13 إلى 0.02
  • Bin 15: انخفاض فجوة FNR من 0.13 إلى 0.07
  • انخفاض نسبة BER من 1.33 إلى 0.98 (Bin 10)

تجارب الاستبدال

الطريقةتحسن FNRالحفاظ على الأداءتقليل عدم التأكد
rnd_filtبدون تأثير متسق✓-
tf-idf_filt-0.024✓-4%
gen_sub+0.008✓-3%
الطريقة المدمجة-0.022✓-12%

تحليل القابلية للتفسير

استخدام LIME لتحليل المفردات التي يعتمد عليها النموذج:

  • النموذج الأصلي: 10% من الحالات يعتمد التنبؤ على مفردات متحيزة
  • tf-idf_filt: انخفاض إلى 3%
  • الطريقة المدمجة: انخفاض تكرار المفردات المتحيزة بنسبة 50%

التحقق عبر الأعراق

  • معدل FNR أعلى بمتوسط 0.05 للمجموعات العرقية الأخرى
  • تقليل فجوة FNR بمقدار 0.034 باستخدام الطريقة المدمجة
  • إثبات القابلية العامة للطريقة

الأعمال ذات الصلة

عدالة التعلم الآلي

  • تقنيات المعالجة المسبقة: إعادة العينات، زيادة البيانات
  • تعديلات الخوارزمية: إزالة التحيز الخصومي، تعديل دالة الهدف
  • تقنيات المعالجة اللاحقة: المعايرة، تحويل التضمينات

طرق إزالة التحيز في معالجة اللغة الطبيعية

  • تبديل الخصائص: تبديل مفردات الخصائص الحساسة
  • إزالة التحيز من التضمينات: إزالة مكون الجنس من تضمينات الكلمات
  • التدريب الخصومي: معاقبة التنبؤات المتأثرة بالخصائص المحمية

التحيز في الذكاء الاصطناعي الطبي

  • التحيز العرقي في الخوارزميات التنبؤية التجارية
  • الفروقات بين المجموعات في التنبؤ بمخاطر الانتحار
  • التحيز الديموغرافي في نماذج علم الأمراض

الخلاصة والمناقشة

الاستنتاجات الرئيسية

  1. انتشار التحيز: توجد مشكلة نقص تشخيصي منهجي لدى المريضات الإناث في نماذج الكشف عن القلق لدى الأطفال
  2. الفروقات النصية هي الجذر: توجد فروقات كبيرة في كثافة المعلومات والتوزيع اللغوي في ملاحظات المرضى من الجنسين المختلفين
  3. فعالية الطريقة التي تركز على البيانات: يمكن تقليل التحيز بشكل كبير من خلال موازنة كثافة المعلومات وتحييد اللغة
  4. الأهمية السريرية: يحمل تقليل التحيز بنسبة 27% أهمية كبيرة لتحسين التشخيص لدى المريضات الإناث

القيود

  1. الاعتماد على جودة البيانات: تتأثر فعالية الطريقة بجودة واتساق نصوص السجلات الطبية الإلكترونية
  2. نوع واحد من التحيز: التركيز فقط على التحيز الجنسي، دون تناول خصائص ديموغرافية أخرى
  3. القدرة على التعميم: تحتاج قدرة الطريقة على التعميم في بيئات سريرية مختلفة إلى التحقق الإضافي
  4. الفروقات البيولوجية: من الصعب التمييز بشكل كامل بين الفروقات البيولوجية والفروقات الاجتماعية والثقافية

الاتجاهات المستقبلية

  1. التوسع إلى أمراض الصحة النفسية الأخرى والمجموعات السكانية
  2. تطوير تقنيات أكثر دقة للكشف عن التحيز والتخفيف منه
  3. دمج البيانات متعددة الأنماط (النصوص + البيانات المنظمة)
  4. إنشاء إطار عمل موحد لتقييم عدالة الذكاء الاصطناعي الطبي

التقييم المتعمق

المميزات

  1. أهمية المشكلة: التركيز على مجال الصحة النفسية للأطفال، وهو مجال حاسم ذو قيمة اجتماعية كبيرة
  2. الابتكار في الطريقة: اقتراح إطار عمل متخصص للتخفيف من التحيز يركز على البيانات ومناسب للنصوص الطبية
  3. كفاية التجارب: التحقق على بيانات سريرية حقيقية واسعة النطاق، مع تحليل متعدد الأبعاد للتحيز
  4. القيمة العملية: طرق بسيطة وفعالة، سهلة النشر في البيئات السريرية
  5. القابلية للتفسير: استخدام تقنيات مثل LIME لتوفير تحليل قابل للتفسير لقرارات النموذج

أوجه القصور

  1. عمق النظرية: نقص التحليل النظري العميق لآليات توليد التحيز
  2. حدود الطريقة: طرق التخفيف من التحيز نسبياً بسيطة، قد تعاني من مشاكل الإفراط في التبسيط
  3. التقييم الأحادي: التركيز الأساسي على عدالة التصنيف، مع نقص تقييم جوانب عدالة أخرى مثل المعايرة
  4. التأثير طويل الأجل: عدم تقييم تأثير التخفيف من التحيز على الأداء طويل الأجل وقدرة النموذج على التعميم

التأثير

  1. المساهمة الأكاديمية: توفير حالة دراسة مهمة ومرجع منهجي لأبحاث التحيز في الذكاء الاصطناعي الطبي
  2. القيمة العملية: توفير حل ملموس لتحسين عدالة أنظمة الذكاء الاصطناعي السريرية
  3. الأهمية السياسية: توفير دعم تقني لتنظيم الذكاء الاصطناعي الطبي ووضع المعايير
  4. القابلية للتكرار: وصف الطريقة بالتفصيل، مع قابلية جيدة للتكرار

حالات الاستخدام

  1. دعم القرار السريري: أنظمة فحص وتشخيص الصحة النفسية
  2. تحسين جودة الرعاية الطبية: تحديد والتخفيف من التحيز في أنظمة الذكاء الاصطناعي الطبية الموجودة
  3. الامتثال التنظيمي: تلبية متطلبات عدالة وأخلاقيات الذكاء الاصطناعي الطبي
  4. أداة البحث: توفير أساس منهجي لأبحاث التحيز في الذكاء الاصطناعي الطبي الأخرى

المراجع

تستشهد هذه الورقة بأدبيات مهمة في مجالات التعلم الآلي العادل، وإزالة التحيز من معالجة اللغة الطبيعية، والذكاء الاصطناعي الطبي، بما في ذلك:

  • Feldman et al. (2015) - معايير قياس العدالة
  • Bolukbasi et al. (2016) - إزالة التحيز من تضمينات الكلمات
  • Obermeyer et al. (2019) - التحيز العرقي في الخوارزميات الطبية
  • Ribeiro et al. (2016) - طريقة LIME للقابلية للتفسير

التقييم الشامل: هذه ورقة بحثية ذات قيمة مهمة في مجال عدالة الذكاء الاصطناعي الطبي. لا تقتصر على تحديد مشكلة التحيز الجنسي في الذكاء الاصطناعي للصحة النفسية للأطفال فحسب، بل تقدم أيضاً حلاً عملياً. على الرغم من وجود مجال للتحسن في العمق النظري وتعقيد الطريقة، فإن قيمتها العملية وأهميتها الاجتماعية تجعلها مساهمة مهمة في هذا المجال.