2025-11-16T13:49:12.700878

A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection

Ive, Bondaronek, Yadav et al.
Introduction: Healthcare AI models often inherit biases from their training data. While efforts have primarily targeted bias in structured data, mental health heavily depends on unstructured data. This study aims to detect and mitigate linguistic differences related to non-biological differences in the training data of AI models designed to assist in pediatric mental health screening. Our objectives are: (1) to assess the presence of bias by evaluating outcome parity across sex subgroups, (2) to identify bias sources through textual distribution analysis, and (3) to develop a de-biasing method for mental health text data. Methods: We examined classification parity across demographic groups and assessed how gendered language influences model predictions. A data-centric de-biasing method was applied, focusing on neutralizing biased terms while retaining salient clinical information. This methodology was tested on a model for automatic anxiety detection in pediatric patients. Results: Our findings revealed a systematic under-diagnosis of female adolescent patients, with a 4% lower accuracy and a 9% higher False Negative Rate (FNR) compared to male patients, likely due to disparities in information density and linguistic differences in patient notes. Notes for male patients were on average 500 words longer, and linguistic similarity metrics indicated distinct word distributions between genders. Implementing our de-biasing approach reduced diagnostic bias by up to 27%, demonstrating its effectiveness in enhancing equity across demographic groups. Discussion: We developed a data-centric de-biasing framework to address gender-based content disparities within clinical text. By neutralizing biased language and enhancing focus on clinically essential information, our approach demonstrates an effective strategy for mitigating bias in AI healthcare models trained on text.
academic

बाल मानसिक स्वास्थ्य पाठ में जनसांख्यिकीय पूर्वाग्रह का पता लगाने और कम करने के लिए डेटा-केंद्रित दृष्टिकोण: चिंता का पता लगाने में एक केस स्टडी

मूल जानकारी

  • पेपर ID: 2501.00129
  • शीर्षक: A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection
  • लेखक: Julia Ive, Paulina Bondaronek, Vishal Yadav, Daniel Santel, Tracy Glauser, Tina Cheng, Jeffrey R. Strawn, Greeshma Agasthya, Jordan Tschida, Sanghyun Choo, Mayanka Chandrashekar, Anuj J. Kapadia, John Pestian
  • वर्गीकरण: cs.CL cs.AI
  • संस्थान: University College London, Queen Mary University of London, Cincinnati Children's Hospital Medical Center, Oak Ridge National Laboratory आदि
  • पेपर प्रकार: अनुसंधान पेपर

सारांश

यह अनुसंधान बाल मानसिक स्वास्थ्य AI मॉडल में जनसांख्यिकीय पूर्वाग्रह की समस्या के समाधान के लिए एक डेटा-केंद्रित विपूर्वाग्रह पद्धति प्रस्तावित करता है। अनुसंधान से पता चलता है कि महिला किशोर रोगियों में व्यवस्थित निदान की कमी की समस्या है, जिसमें पुरुष रोगियों की तुलना में 4% कम सटीकता और 9% अधिक झूठी नकारात्मक दर है। सूचना घनत्व फ़िल्टरिंग और लिंग-तटस्थ शब्द प्रतिस्थापन के विपूर्वाग्रह पद्धति के माध्यम से, निदान पूर्वाग्रह को 27% तक कम करने में सफलता मिली, जो चिकित्सा AI निष्पक्षता के लिए एक प्रभावी समाधान प्रदान करता है।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या की पहचान

  1. AI पूर्वाग्रह की व्यापकता: चिकित्सा AI मॉडल अक्सर प्रशिक्षण डेटा से पूर्वाग्रह प्राप्त करते हैं, जो चिकित्सा असमानता को बढ़ा सकते हैं, विशेष रूप से अल्पसंख्यक समूहों को प्रभावित करते हैं
  2. मानसिक स्वास्थ्य की विशेषता: मानसिक स्वास्थ्य अत्यधिक अनुरचित पाठ डेटा (नैदानिक नोट्स) पर निर्भर करता है, जबकि मौजूदा विपूर्वाग्रह अनुसंधान मुख्य रूप से संरचित डेटा पर केंद्रित है
  3. बाल मानसिक स्वास्थ्य संकट: COVID-19 के बाद बाल चिंता के लक्षणों की व्यापकता दोगुनी हो गई, विशेष रूप से महिला किशोर समूह में

महत्व

  • बाल मानसिक स्वास्थ्य जांच की जटिलता और चुनौती
  • मानसिक स्वास्थ्य निदान का विस्तार करने में AI की विशाल संभावना
  • विभिन्न जनसंख्या समूहों में AI उपकरणों की निष्पक्ष और प्रभावी सुनिश्चितता की तत्काल आवश्यकता

मौजूदा पद्धति की सीमाएं

  • पारंपरिक विपूर्वाग्रह तकनीकें (जैसे शब्द एम्बेडिंग विपूर्वाग्रह, प्रतिकूल प्रशिक्षण) चिकित्सा क्षेत्र के लिए उपयुक्त नहीं हैं
  • चिकित्सा डेटा की विषमता (विभिन्न चिकित्सा संस्थानों से) को पर्याप्त रूप से संबोधित नहीं किया गया है
  • चिकित्सा पाठ के लिए विशेष विपूर्वाग्रह ढांचे की कमी

मुख्य योगदान

  1. व्यवस्थित पूर्वाग्रह की पहचान: बाल चिंता का पता लगाने में पहली बार लिंग पूर्वाग्रह की पहचान और परिमाण, महिला रोगियों में झूठी नकारात्मक दर में उल्लेखनीय वृद्धि
  2. डेटा-केंद्रित विपूर्वाग्रह ढांचा: चिकित्सा पाठ के लिए विशेष रूप से उपयुक्त विपूर्वाग्रह पद्धति प्रस्तावित, जिसमें सूचना घनत्व फ़िल्टरिंग और लिंग शब्द तटस्थता शामिल है
  3. प्रभावशीलता सत्यापन: वास्तविक नैदानिक डेटा पर पद्धति की प्रभावशीलता सत्यापित, निदान पूर्वाग्रह को 27% तक कम किया
  4. व्याख्यात्मकता विश्लेषण: LIME तकनीक का उपयोग करके मॉडल निर्णय पर निर्भर शब्दावली का विश्लेषण, पूर्वाग्रह के स्रोत का खुलासा

विधि विवरण

कार्य परिभाषा

इनपुट: बाल रोगी के नैदानिक नोट्स का पाठ अनुक्रम आउटपुट: द्विआधारी वर्गीकरण पूर्वानुमान (चिंता/गैर-चिंता) लक्ष्य: पूर्वानुमान सटीकता बनाए रखते हुए विभिन्न लिंग समूहों के बीच प्रदर्शन अंतर को कम करना

पूर्वाग्रह पहचान ढांचा

1. वर्गीकरण निष्पक्षता मूल्यांकन

मॉडल पूर्वाग्रह का मूल्यांकन करने के लिए कई संकेतकों का उपयोग:

  • संतुलित त्रुटि दर (BER): BER=(FPFP+TN)+(FNFN+TP)2BER = \frac{(\frac{FP}{FP+TN}) + (\frac{FN}{FN+TP})}{2}
  • झूठी नकारात्मक दर (FNR): छूटे हुए निदान की दर को मापता है
  • झूठी सकारात्मक दर (FPR): गलत निदान की दर को मापता है
  • BER अनुपात: अविशेषाधिकार प्राप्त समूह का BER विशेषाधिकार प्राप्त समूह के BER से, >1.25 महत्वपूर्ण पूर्वाग्रह दर्शाता है

2. पाठ वितरण विश्लेषण

विभिन्न जनसंख्या समूहों के बीच पाठ विशेषताओं में अंतर का विश्लेषण:

  • औसत नोट की लंबाई
  • चिकित्सा शब्दावली प्रतिशत
  • लिंग पूर्वाग्रह शब्दावली प्रतिशत
  • Jaccard दूरी और परिचितता स्कोर

विपूर्वाग्रह पद्धति

1. सूचना घनत्व फ़िल्टरिंग (tf-idf_filt)

  • TF-IDF स्कोर का उपयोग करके वाक्य महत्व की गणना करना
  • 20% सबसे कम सूचना वाले वाक्यों को हटाना
  • विभिन्न समूहों के बीच सूचना घनत्व को संतुलित करना

2. लिंग शब्द विपूर्वाग्रह (gen_sub)

  • नाम और सर्वनाम जैसे लिंग पूर्वाग्रह शब्दावली की स्वचालित पहचान
  • Stanza उपकरण का उपयोग करके उचित संज्ञा निकालना
  • लिंग-विशिष्ट शब्दावली को तटस्थ विकल्प से बदलना
    • नाम → "person1", "person2" आदि
    • सर्वनाम → "he/she" → "they"

3. संयुक्त पद्धति (tf-idf_filt+gen_sub)

सूचना घनत्व फ़िल्टरिंग और लिंग शब्द प्रतिस्थापन को संयोजित करना, सहक्रियात्मक प्रभाव प्राप्त करना

मॉडल आर्किटेक्चर

  • Clinical-BigBird पर आधारित Transformer मॉडल
  • नैदानिक पाठ पर विशेष रूप से पूर्व-प्रशिक्षित
  • लंबे अनुक्रम इनपुट का समर्थन (अधिकतम 4,096 टोकन)
  • सूक्ष्म-ट्यूनिंग पैरामीटर: 2 epoch, सीखने की दर 1e-5, बैच आकार 8

प्रयोगात्मक सेटअप

डेटासेट

  • स्रोत: Cincinnati Children's Hospital Medical Center
  • आकार: 13 लाख रोगी, 63 मिलियन नैदानिक नोट्स
  • समय अवधि: जनवरी 2009 - मार्च 2022
  • चिंता के मामले: जांच मानदंड के माध्यम से 84,426 मामले
  • अंतिम डेटा: 73,288 रोगी, 78.1 मिलियन नोट्स

आयु समूहन रणनीति

  • 5 आयु समूहों में विभाजित: 5, 8, 10, 12, 15 वर्ष
  • प्रत्येक समूह में 3,700-5,064 प्रशिक्षण नमूने
  • 852-1,278 परीक्षण नमूने
  • 1:1 केस नियंत्रण मिलान (आयु और लिंग के अनुसार)

डेटा पूर्व-प्रसंस्करण

  • डुप्लिकेशन हटाना: कोसाइन समानता ≥0.8 के नोट्स
  • सबसे हाल के 25 नोट्स का चयन
  • इनपुट लंबाई को 1,000 टोकन तक सीमित करना

मूल्यांकन संकेतक

  • सटीकता (Accuracy)
  • झूठी नकारात्मक दर (FNR) - मुख्य ध्यान संकेतक
  • झूठी सकारात्मक दर (FPR)
  • संतुलित त्रुटि दर (BER)
  • अनिश्चित पूर्वानुमान प्रतिशत (संभावना 0.4, 0.6 अंतराल में)

प्रयोगात्मक परिणाम

मुख्य निष्कर्ष

1. व्यवस्थित लिंग पूर्वाग्रह

संकेतकपुरुषमहिलाअंतर
सटीकता--4%महिलाएं कम
FNR-+9%महिलाएं अधिक
अनिश्चित पूर्वानुमान-+5%महिलाएं अधिक
नोट की लंबाईआधार-500 शब्दमहिलाएं छोटे

2. पाठ वितरण अंतर

  • शब्दावली समानता: Jaccard सूचकांक 0.54 (पुरुष-महिला के बीच)
  • शब्दावली वितरण: Jaccard सूचकांक 0.34 (महत्वपूर्ण अंतर)
  • न्यूनतम समानता: 5 वर्ष और 15 वर्ष समूह (Jaccard 0.43)

3. विपूर्वाग्रह प्रभाव

सर्वोत्तम पद्धति (tf-idf_filt):

  • FNR अंतर में 0.024 की कमी (27% सुधार)
  • Bin 5: FNR अंतर 0.13 से 0.02 तक कम
  • Bin 15: FNR अंतर 0.13 से 0.07 तक कम
  • BER अनुपात 1.33 से 0.98 तक (Bin 10)

विलोपन प्रयोग

पद्धतिFNR सुधारप्रदर्शन रखरखावअनिश्चितता में कमी
rnd_filtकोई सुसंगत प्रभाव नहीं✓-
tf-idf_filt-0.024✓-4%
gen_sub+0.008✓-3%
संयुक्त पद्धति-0.022✓-12%

व्याख्यात्मकता विश्लेषण

LIME का उपयोग करके मॉडल पर निर्भर शब्दावली का विश्लेषण:

  • मूल मॉडल: 10% मामलों में पूर्वानुमान पूर्वाग्रह शब्दावली पर निर्भर
  • tf-idf_filt: 3% तक कम
  • संयुक्त पद्धति: पूर्वाग्रह शब्दावली आवृत्ति में 50% की कमी

अंतर-जातीय सत्यापन

  • अन्य जातीय समूहों में FNR औसतन 0.05 अधिक
  • संयुक्त पद्धति FNR अंतर को 0.034 तक कम करती है
  • पद्धति की सार्वभौमिकता साबित करता है

संबंधित कार्य

मशीन लर्निंग निष्पक्षता

  • पूर्व-प्रसंस्करण तकनीकें: पुनः नमूनाकरण, डेटा वृद्धि
  • एल्गोरिथम संशोधन: प्रतिकूल विपूर्वाग्रह, उद्देश्य फ़ंक्शन संशोधन
  • पश्च-प्रसंस्करण तकनीकें: अंशांकन, एम्बेडिंग परिवर्तन

NLP विपूर्वाग्रह पद्धति

  • विशेषता विनिमय: संवेदनशील विशेषता शब्दावली का विनिमय
  • एम्बेडिंग विपूर्वाग्रह: शब्द एम्बेडिंग से लिंग घटक हटाना
  • प्रतिकूल प्रशिक्षण: संरक्षित विशेषता प्रभाव वाले पूर्वानुमान को दंडित करना

चिकित्सा AI पूर्वाग्रह

  • वाणिज्यिक पूर्वानुमान एल्गोरिथम में जातीय पूर्वाग्रह
  • आत्महत्या जोखिम पूर्वानुमान में समूह अंतर
  • रोगविज्ञान मॉडल में जनसांख्यिकीय पूर्वाग्रह

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

  1. पूर्वाग्रह व्यापक है: बाल चिंता का पता लगाने वाले मॉडल में महिला रोगियों के लिए व्यवस्थित निदान की कमी है
  2. पाठ अंतर मूल कारण है: विभिन्न लिंग रोगियों के नोट्स में सूचना घनत्व और भाषा वितरण में महत्वपूर्ण अंतर
  3. डेटा-केंद्रित पद्धति प्रभावी है: सूचना घनत्व संतुलन और भाषा तटस्थता के माध्यम से पूर्वाग्रह को महत्वपूर्ण रूप से कम किया जा सकता है
  4. नैदानिक महत्व: 27% पूर्वाग्रह में कमी महिला रोगियों के निदान में सुधार के लिए महत्वपूर्ण है

सीमाएं

  1. डेटा गुणवत्ता निर्भरता: पद्धति प्रभाव EHR पाठ की गुणवत्ता और सुसंगतता पर निर्भर है
  2. एकल पूर्वाग्रह प्रकार: केवल लिंग पूर्वाग्रह पर ध्यान केंद्रित, अन्य जनसांख्यिकीय विशेषताओं को शामिल नहीं किया गया है
  3. सामान्यीकरण क्षमता: विभिन्न नैदानिक वातावरण में सामान्यीकरण क्षमता को आगे सत्यापन की आवश्यकता है
  4. जैविक अंतर: जैविक अंतर और सामाजिक-सांस्कृतिक अंतर को पूरी तरह से अलग करना कठिन है

भविष्य की दिशा

  1. अन्य मानसिक स्वास्थ्य रोगों और जनसंख्या समूहों तक विस्तार
  2. अधिक परिष्कृत पूर्वाग्रह पहचान और शमन तकनीकें विकसित करना
  3. बहु-मोडल डेटा (पाठ + संरचित डेटा) को संयोजित करना
  4. चिकित्सा AI निष्पक्षता मूल्यांकन के लिए मानकीकृत ढांचा स्थापित करना

गहन मूल्यांकन

शक्तियां

  1. समस्या की महत्ता: बाल मानसिक स्वास्थ्य के इस महत्वपूर्ण क्षेत्र पर ध्यान केंद्रित, महत्वपूर्ण सामाजिक मूल्य
  2. पद्धति नवाचार: चिकित्सा पाठ के लिए विशेष रूप से उपयुक्त डेटा-केंद्रित विपूर्वाग्रह ढांचा प्रस्तावित
  3. प्रयोग पर्याप्तता: बड़े पैमाने पर वास्तविक नैदानिक डेटा सत्यापन, बहु-आयामी पूर्वाग्रह विश्लेषण
  4. व्यावहारिक मूल्य: पद्धति सरल और प्रभावी, नैदानिक वातावरण में तैनाती के लिए आसान
  5. व्याख्यात्मकता: LIME जैसी तकनीकों का उपयोग करके मॉडल निर्णय की व्याख्यात्मक विश्लेषण प्रदान करता है

कमियां

  1. सैद्धांतिक गहराई: पूर्वाग्रह उत्पन्न होने की प्रणाली की गहन सैद्धांतिक विश्लेषण की कमी
  2. पद्धति सीमाएं: विपूर्वाग्रह पद्धति अपेक्षाकृत सरल है, संभावित अत्यधिक सरलीकरण की समस्या
  3. मूल्यांकन एकल: मुख्य रूप से वर्गीकरण निष्पक्षता पर ध्यान केंद्रित, अंशांकन जैसे अन्य निष्पक्षता आयामों की कमी
  4. दीर्घकालीन प्रभाव: विपूर्वाग्रह के मॉडल के दीर्घकालीन प्रदर्शन और सामान्यीकरण क्षमता पर प्रभाव का मूल्यांकन नहीं किया गया है

प्रभाव

  1. शैक्षणिक योगदान: चिकित्सा NLP पूर्वाग्रह अनुसंधान के लिए महत्वपूर्ण केस और पद्धति संदर्भ प्रदान करता है
  2. व्यावहारिक मूल्य: नैदानिक AI प्रणालियों की निष्पक्षता सुधार के लिए ठोस समाधान प्रदान करता है
  3. नीति महत्व: चिकित्सा AI नियमन और मानक निर्धारण के लिए तकनीकी समर्थन प्रदान करता है
  4. पुनरुत्पादनीयता: पद्धति विवरण विस्तृत, अच्छी पुनरुत्पादनीयता है

लागू परिदृश्य

  1. नैदानिक निर्णय समर्थन: मानसिक स्वास्थ्य जांच और निदान सहायता प्रणाली
  2. चिकित्सा गुणवत्ता सुधार: मौजूदा चिकित्सा AI प्रणालियों में पूर्वाग्रह की पहचान और शमन
  3. नियामक अनुपालन: चिकित्सा AI निष्पक्षता और नैतिकता आवश्यकताओं को पूरा करना
  4. अनुसंधान उपकरण: अन्य चिकित्सा AI पूर्वाग्रह अनुसंधान के लिए पद्धति संबंधी आधार प्रदान करता है

संदर्भ

यह पेपर निष्पक्षता मशीन लर्निंग, NLP विपूर्वाग्रह, चिकित्सा AI आदि क्षेत्रों के महत्वपूर्ण साहित्य का हवाला देता है, जिसमें शामिल हैं:

  • Feldman et al. (2015) - निष्पक्षता माप मानदंड
  • Bolukbasi et al. (2016) - शब्द एम्बेडिंग विपूर्वाग्रह
  • Obermeyer et al. (2019) - चिकित्सा एल्गोरिथम जातीय पूर्वाग्रह
  • Ribeiro et al. (2016) - LIME व्याख्यात्मकता पद्धति

समग्र मूल्यांकन: यह चिकित्सा AI निष्पक्षता क्षेत्र में महत्वपूर्ण मूल्य वाला एक अनुसंधान पेपर है। यह न केवल बाल मानसिक स्वास्थ्य AI में लिंग पूर्वाग्रह की समस्या की पहचान करता है, बल्कि व्यावहारिक समाधान भी प्रस्तावित करता है। हालांकि सैद्धांतिक गहराई और पद्धति जटिलता के संदर्भ में सुधार की गुंजाइश है, लेकिन इसका व्यावहारिक मूल्य और सामाजिक महत्व इसे इस क्षेत्र का एक महत्वपूर्ण योगदान बनाता है।