2025-11-16T13:49:12.700878

A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection

Ive, Bondaronek, Yadav et al.

Introduction: Healthcare AI models often inherit biases from their training data. While efforts have primarily targeted bias in structured data, mental health heavily depends on unstructured data. This study aims to detect and mitigate linguistic differences related to non-biological differences in the training data of AI models designed to assist in pediatric mental health screening. Our objectives are: (1) to assess the presence of bias by evaluating outcome parity across sex subgroups, (2) to identify bias sources through textual distribution analysis, and (3) to develop a de-biasing method for mental health text data. Methods: We examined classification parity across demographic groups and assessed how gendered language influences model predictions. A data-centric de-biasing method was applied, focusing on neutralizing biased terms while retaining salient clinical information. This methodology was tested on a model for automatic anxiety detection in pediatric patients. Results: Our findings revealed a systematic under-diagnosis of female adolescent patients, with a 4% lower accuracy and a 9% higher False Negative Rate (FNR) compared to male patients, likely due to disparities in information density and linguistic differences in patient notes. Notes for male patients were on average 500 words longer, and linguistic similarity metrics indicated distinct word distributions between genders. Implementing our de-biasing approach reduced diagnostic bias by up to 27%, demonstrating its effectiveness in enhancing equity across demographic groups. Discussion: We developed a data-centric de-biasing framework to address gender-based content disparities within clinical text. By neutralizing biased language and enhancing focus on clinically essential information, our approach demonstrates an effective strategy for mitigating bias in AI healthcare models trained on text.

academic

শিশু মানসিক স্বাস্থ্য পাঠ্যে জনতাত্ত্বিক পক্ষপাত সনাক্তকরণ এবং হ্রাসের জন্য একটি ডেটা-কেন্দ্রিক পদ্ধতি: উদ্বেগ সনাক্তকরণে একটি কেস স্টাডি

মৌলিক তথ্য

পেপার আইডি: 2501.00129
শিরোনাম: A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection
লেখক: Julia Ive, Paulina Bondaronek, Vishal Yadav, Daniel Santel, Tracy Glauser, Tina Cheng, Jeffrey R. Strawn, Greeshma Agasthya, Jordan Tschida, Sanghyun Choo, Mayanka Chandrashekar, Anuj J. Kapadia, John Pestian
শ্রেণীবিভাগ: cs.CL cs.AI
প্রতিষ্ঠান: University College London, Queen Mary University of London, Cincinnati Children's Hospital Medical Center, Oak Ridge National Laboratory ইত্যাদি
পেপার ধরন: গবেষণা পত্র

সারসংক্ষেপ

এই গবেষণা শিশু মানসিক স্বাস্থ্য কৃত্রিম বুদ্ধিমত্তা মডেলে জনতাত্ত্বিক পক্ষপাত সমস্যার সমাধানের জন্য একটি ডেটা-কেন্দ্রিক পক্ষপাত হ্রাস পদ্ধতি প্রস্তাব করে। গবেষণা দেখায় যে মহিলা কিশোর রোগীদের মধ্যে পদ্ধতিগত নির্ণয়ের অভাব রয়েছে, যেখানে পুরুষ রোগীদের তুলনায় নির্ভুলতা ৪% কম এবং মিথ্যা নেতিবাচক হার ৯% বেশি। তথ্য ঘনত্ব ফিল্টারিং এবং লিঙ্গ-নিরপেক্ষ শব্দ প্রতিস্থাপনের মাধ্যমে, গবেষণা নির্ণয়ের পক্ষপাত ২৭% হ্রাস করতে সফল হয়েছে, যা চিকিৎসা কৃত্রিম বুদ্ধিমত্তা ন্যায্যতার জন্য কার্যকর সমাধান প্রদান করে।

গবেষণা পটভূমি এবং প্রেরণা

সমস্যা চিহ্নিতকরণ

কৃত্রিম বুদ্ধিমত্তা পক্ষপাতের সর্বজনীনতা: চিকিৎসা কৃত্রিম বুদ্ধিমত্তা মডেল প্রশিক্ষণ ডেটা থেকে পক্ষপাত উত্তরাধিকার সূত্রে পায়, যা চিকিৎসা অন্যায্যতা বৃদ্ধি করতে পারে, বিশেষত সংখ্যালঘু গোষ্ঠীর উপর প্রভাব ফেলে
মানসিক স্বাস্থ্যের বিশেষত্ব: মানসিক স্বাস্থ্য অ-কাঠামোগত পাঠ্য ডেটার উপর অত্যন্ত নির্ভরশীল (ক্লিনিকাল নোট), যখন বিদ্যমান পক্ষপাত হ্রাস গবেষণা প্রধানত কাঠামোগত ডেটার উপর দৃষ্টি নিবদ্ধ করে
শিশু মানসিক স্বাস্থ্য সংকট: COVID-19 পরবর্তী শিশু উদ্বেগ উপসর্গের প্রাধান্য দ্বিগুণ হয়েছে, বিশেষত মহিলা কিশোর গোষ্ঠীতে

গুরুত্ব

শিশু মানসিক স্বাস্থ্য স্ক্রীনিংয়ের জটিলতা এবং চ্যালেঞ্জ
মানসিক স্বাস্থ্য নির্ণয় প্রসারিত করার ক্ষেত্রে কৃত্রিম বুদ্ধিমত্তার বিশাল সম্ভাবনা
বিভিন্ন জনসংখ্যা গোষ্ঠীতে কৃত্রিম বুদ্ধিমত্তা সরঞ্জামের ন্যায্য এবং কার্যকর নিশ্চিতকরণের জরুরি প্রয়োজন

বিদ্যমান পদ্ধতির সীমাবদ্ধতা

ঐতিহ্যবাহী পক্ষপাত হ্রাস কৌশল (যেমন শব্দ এমবেডিং পক্ষপাত হ্রাস, প্রতিকূল প্রশিক্ষণ) চিকিৎসা ক্ষেত্রে প্রযোজ্য নয়
চিকিৎসা ডেটার বৈচিত্র্য (বিভিন্ন চিকিৎসা প্রতিষ্ঠান থেকে) যথাযথভাবে বিবেচনা করা হয়নি
চিকিৎসা পাঠ্যের জন্য বিশেষায়িত পক্ষপাত হ্রাস কাঠামোর অভাব

মূল অবদান

পদ্ধতিগত পক্ষপাত চিহ্নিতকরণ: শিশু উদ্বেগ সনাক্তকরণে প্রথমবারের মতো লিঙ্গ পক্ষপাত সনাক্ত এবং পরিমাপ করা, মহিলা রোগীদের মধ্যে উল্লেখযোগ্যভাবে উচ্চতর মিথ্যা নেতিবাচক হার
ডেটা-কেন্দ্রিক পক্ষপাত হ্রাস কাঠামো: চিকিৎসা পাঠ্যের জন্য বিশেষভাবে উপযুক্ত পক্ষপাত হ্রাস পদ্ধতি প্রস্তাব, যার মধ্যে তথ্য ঘনত্ব ফিল্টারিং এবং লিঙ্গ শব্দ নিরপেক্ষকরণ অন্তর্ভুক্ত
কার্যকারিতা যাচাইকরণ: প্রকৃত ক্লিনিকাল ডেটায় পদ্ধতির কার্যকারিতা যাচাই, নির্ণয়ের পক্ষপাত ২৭% পর্যন্ত হ্রাস
ব্যাখ্যাযোগ্যতা বিশ্লেষণ: LIME প্রযুক্তি ব্যবহার করে মডেল সিদ্ধান্তের উপর নির্ভরশীল শব্দভাণ্ডার বিশ্লেষণ, পক্ষপাতের উৎস প্রকাশ

পদ্ধতি বিস্তারিত

কাজের সংজ্ঞা

ইনপুট: শিশু রোগীর ক্লিনিকাল নোট পাঠ্য ক্রম আউটপুট: দ্বিমুখী শ্রেণীবিভাগ পূর্বাভাস (উদ্বেগ/অ-উদ্বেগ) লক্ষ্য: পূর্বাভাস নির্ভুলতা বজায় রেখে বিভিন্ন লিঙ্গ গোষ্ঠীর মধ্যে কর্মক্ষমতা পার্থক্য হ্রাস

পক্ষপাত সনাক্তকরণ কাঠামো

১. শ্রেণীবিভাগ ন্যায্যতা মূল্যায়ন

মডেল পক্ষপাত মূল্যায়নের জন্য একাধিক সূচক ব্যবহার:

ভারসাম্যপূর্ণ ত্রুটি হার (BER): $BER = \frac{(\frac{FP}{FP+TN}) + (\frac{FN}{FN+TP})}{2}$
মিথ্যা নেতিবাচক হার (FNR): মিস্ড ডায়াগনোসিস হার পরিমাপ
মিথ্যা ইতিবাচক হার (FPR): ভুল নির্ণয় হার পরিমাপ
BER অনুপাত: অ-সুবিধাপ্রাপ্ত গোষ্ঠী এবং সুবিধাপ্রাপ্ত গোষ্ঠীর BER অনুপাত, >1.25 উল্লেখযোগ্য পক্ষপাত নির্দেশ করে

২. পাঠ্য বিতরণ বিশ্লেষণ

বিভিন্ন জনসংখ্যা গোষ্ঠীর মধ্যে পাঠ্য বৈশিষ্ট্য পার্থক্য বিশ্লেষণ:

গড় নোট দৈর্ঘ্য
চিকিৎসা পরিভাষা শতাংশ
লিঙ্গ পক্ষপাত শব্দভাণ্ডার শতাংশ
Jaccard দূরত্ব এবং পরিচিতি স্কোর

পক্ষপাত হ্রাস পদ্ধতি

১. তথ্য ঘনত্ব ফিল্টারিং (tf-idf_filt)

TF-IDF স্কোর ব্যবহার করে বাক্যের গুরুত্ব গণনা
২০% তথ্য পরিমাণ সর্বনিম্ন বাক্য অপসারণ
বিভিন্ন গোষ্ঠীর মধ্যে তথ্য ঘনত্ব ভারসাম্য

২. লিঙ্গ শব্দ পক্ষপাত হ্রাস (gen_sub)

স্বয়ংক্রিয়ভাবে নাম এবং সর্বনাম ইত্যাদি লিঙ্গ পক্ষপাত শব্দভাণ্ডার সনাক্ত
Stanza সরঞ্জাম ব্যবহার করে যথাযথ বিশেষ্য নিষ্কাশন
লিঙ্গ-নির্দিষ্ট শব্দভাণ্ডার নিরপেক্ষ বিকল্প দিয়ে প্রতিস্থাপন
- নাম → "person1", "person2" ইত্যাদি
- সর্বনাম → "he/she" → "they"

৩. সমন্বিত পদ্ধতি (tf-idf_filt+gen_sub)

তথ্য ঘনত্ব ফিল্টারিং এবং লিঙ্গ শব্দ প্রতিস্থাপন একত্রিত করে, সহযোগিতামূলক প্রভাব উৎপন্ন

মডেল স্থাপত্য

Clinical-BigBird ভিত্তিক Transformer মডেল
ক্লিনিকাল পাঠ্যে বিশেষভাবে প্রাক-প্রশিক্ষিত
দীর্ঘ ক্রম ইনপুট সমর্থন (সর্বোচ্চ ৪,০৯৬ টোকেন)
সূক্ষ্ম-সুর পরামিতি: ২ যুগ, শেখার হার 1e-5, ব্যাচ আকার ৮

পরীক্ষামূলক সেটআপ

ডেটাসেট

উৎস: Cincinnati Children's Hospital Medical Center
স্কেল: ১.৩ মিলিয়ন রোগী, ৬.৩ কোটি ক্লিনিকাল নোট
সময়কাল: ২০০৯ সালের জানুয়ারি - ২০২২ সালের মার্চ
উদ্বেগ কেস: স্ক্রীনিং মানদণ্ডের মাধ্যমে ৮৪,৪২৬ কেস
চূড়ান্ত ডেটা: ৭৩,২৮৮ রোগী, ৭.৮১ মিলিয়ন নোট

বয়স গ্রুপিং কৌশল

৫টি বয়স গোষ্ঠীতে বিভক্ত: ৫, ৮, ১০, ১২, ১৫ বছর
প্রতিটি গোষ্ঠী ৩,৭০০-৫,০৬৪ প্রশিক্ষণ নমুনা
৮৫২-১,২৭৮ পরীক্ষা নমুনা
১:১ কেস নিয়ন্ত্রণ ম্যাচিং (বয়স এবং লিঙ্গ অনুযায়ী)

ডেটা প্রাক-প্রক্রিয়াকরণ

ডিডুপ্লিকেশন: কোসাইন সাদৃশ্য ≥০.৮ এর নোট
সর্বশেষ ২৫টি নোট নির্বাচন
ইনপুট দৈর্ঘ্য ১,০০০ টোকেনে সীমাবদ্ধ

মূল্যায়ন সূচক

নির্ভুলতা (Accuracy)
মিথ্যা নেতিবাচক হার (FNR) - প্রধান ফোকাস সূচক
মিথ্যা ইতিবাচক হার (FPR)
ভারসাম্যপূর্ণ ত্রুটি হার (BER)
অনিশ্চিত পূর্বাভাস শতাংশ (সম্ভাবনা ০.৪, ০.৬ ব্যবধানে)

পরীক্ষামূলক ফলাফল

প্রধান অনুসন্ধান

১. পদ্ধতিগত লিঙ্গ পক্ষপাত

সূচক	পুরুষ	মহিলা	পার্থক্য
নির্ভুলতা	-	-৪%	মহিলা কম
FNR	-	+৯%	মহিলা বেশি
অনিশ্চিত পূর্বাভাস	-	+৫%	মহিলা বেশি
নোট দৈর্ঘ্য	ভিত্তি	-৫০০ শব্দ	মহিলা ছোট

২. পাঠ্য বিতরণ পার্থক্য

শব্দভাণ্ডার সাদৃশ্য: Jaccard সূচক ০.৫৪ (পুরুষ-মহিলা)
পরিভাষা বিতরণ: Jaccard সূচক ০.৩৪ (উল্লেখযোগ্য পার্থক্য)
সর্বনিম্ন সাদৃশ্য: ৫ বছর এবং ১৫ বছর গোষ্ঠী (Jaccard ০.৪৩)

৩. পক্ষপাত হ্রাস প্রভাব

সর্বোত্তম পদ্ধতি (tf-idf_filt):

FNR ব্যবধান ০.০২৪ হ্রাস (২৭% উন্নতি)
Bin 5: FNR ব্যবধান ০.১৩ থেকে ০.০২ এ হ্রাস
Bin 15: FNR ব্যবধান ০.১৩ থেকে ০.০৭ এ হ্রাস
BER অনুপাত ১.৩৩ থেকে ০.৯৮ এ হ্রাস (Bin 10)

বিলোপন পরীক্ষা

পদ্ধতি	FNR উন্নতি	কর্মক্ষমতা রক্ষা	অনিশ্চয়তা হ্রাস
rnd_filt	কোনো সামঞ্জস্যপূর্ণ প্রভাব নেই	✓	-
tf-idf_filt	-০.০২৪	✓	-৪%
gen_sub	+০.০০৮	✓	-৩%
সমন্বিত পদ্ধতি	-০.০২২	✓	-১২%

ব্যাখ্যাযোগ্যতা বিশ্লেষণ

LIME ব্যবহার করে মডেল নির্ভরশীল শব্দভাণ্ডার বিশ্লেষণ:

মূল মডেল: ১০% কেস পূর্বাভাস পক্ষপাত শব্দভাণ্ডারের উপর নির্ভরশীল
tf-idf_filt: ৩% এ হ্রাস
সমন্বিত পদ্ধতি: পক্ষপাত শব্দভাণ্ডার ফ্রিকোয়েন্সি ৫০% হ্রাস

আন্তঃ-জাতিগত যাচাইকরণ

অন্যান্য জাতিগত গোষ্ঠী গড়ে FNR ০.০৫ বেশি
সমন্বিত পদ্ধতি FNR ব্যবধান ০.০৩৪ হ্রাস
পদ্ধতির সর্বজনীনতা প্রমাণ

উপসংহার এবং আলোচনা

প্রধান উপসংহার

১. পক্ষপাত ব্যাপক: শিশু উদ্বেগ সনাক্তকরণ মডেল মহিলা রোগীদের প্রতি পদ্ধতিগত নির্ণয়ের অভাব প্রদর্শন করে २. পাঠ্য পার্থক্য মূল কারণ: বিভিন্ন লিঙ্গের রোগীর নোটে তথ্য ঘনত্ব এবং ভাষা বিতরণে উল্লেখযোগ্য পার্থক্য ३. ডেটা-কেন্দ্রিক পদ্ধতি কার্যকর: তথ্য ঘনত্ব ভারসাম্য এবং ভাষা নিরপেক্ষকরণের মাধ্যমে পক্ষপাত উল্লেখযোগ্যভাবে হ্রাস ४. ক্লিনিকাল তাৎপর্য উল্লেখযোগ্য: ২৭% পক্ষপাত হ্রাস মহিলা রোগী নির্ণয় উন্নতিতে গুরুত্বপূর্ণ মূল্য

সীমাবদ্ধতা

१. ডেটা গুণমান নির্ভরতা: পদ্ধতির কার্যকারিতা EHR পাঠ্য গুণমান এবং সামঞ্জস্যতা সীমাবদ্ধতার উপর নির্ভরশীল २. একক পক্ষপাত ধরন: শুধুমাত্র লিঙ্গ পক্ষপাতে ফোকাস, অন্যান্য জনতাত্ত্বিক বৈশিষ্ট্য অন্তর্ভুক্ত নয় ३. সাধারণীকরণ ক্ষমতা: বিভিন্ন ক্লিনিকাল পরিবেশে সাধারণীকরণ ক্ষমতা আরও যাচাইয়ের প্রয়োজন ४. জৈবিক পার্থক্য: জৈবিক পার্থক্য এবং সামাজিক-সাংস্কৃতিক পার্থক্য সম্পূর্ণভাবে আলাদা করা কঠিন

ভবিষ্যত দিকনির্দেশনা

१. অন্যান্য মানসিক স্বাস্থ্য রোগ এবং জনসংখ্যা গোষ্ঠীতে সম্প্রসারণ २. আরও সূক্ষ্ম পক্ষপাত সনাক্তকরণ এবং প্রশমন কৌশল উন্নয়ন ३. মাল্টিমোডাল ডেটা একত্রিত (পাঠ্য + কাঠামোগত ডেটা) ४. চিকিৎসা কৃত্রিম বুদ্ধিমত্তা ন্যায্যতা মূল্যায়নের জন্য মানক কাঠামো প্রতিষ্ঠা

গভীর মূল্যায়ন

শক্তি

१. সমস্যা গুরুত্ব: শিশু মানসিক স্বাস্থ্যের এই গুরুত্বপূর্ণ ক্ষেত্রে ফোকাস, উল্লেখযোগ্য সামাজিক মূল্য २. পদ্ধতি উদ্ভাবন: চিকিৎসা পাঠ্যের জন্য বিশেষভাবে উপযুক্ত ডেটা-কেন্দ্রিক পক্ষপাত হ্রাস কাঠামো প্রস্তাব ३. পরীক্ষা সম্পূর্ণতা: বৃহৎ-স্কেল প্রকৃত ক্লিনিকাল ডেটা যাচাইকরণ, বহুমাত্রিক পক্ষপাত বিশ্লেষণ ४. ব্যবহারিক মূল্য: পদ্ধতি সহজ কার্যকর, ক্লিনিকাল পরিবেশে স্থাপনা সহজ ५. ব্যাখ্যাযোগ্যতা: LIME ইত্যাদি প্রযুক্তি ব্যবহার করে মডেল সিদ্ধান্তের ব্যাখ্যাযোগ্য বিশ্লেষণ প্রদান

অপূর্ণতা

१. তত্ত্বগত গভীরতা: পক্ষপাত উৎপাদন প্রক্রিয়ার গভীর তাত্ত্বিক বিশ্লেষণের অভাব २. পদ্ধতি সীমাবদ্ধতা: পক্ষপাত হ্রাস পদ্ধতি তুলনামূলক সহজ, সম্ভাব্য অতিরিক্ত সরলীকরণ ३. মূল্যায়ন একক: প্রধানত শ্রেণীবিভাগ ন্যায্যতায় ফোকাস, ক্যালিব্রেশন ইত্যাদি অন্যান্য ন্যায্যতা মাত্রা অভাব ४. দীর্ঘমেয়াদী প্রভাব: পক্ষপাত হ্রাসের মডেল দীর্ঘমেয়াদী কর্মক্ষমতা এবং সাধারণীকরণ ক্ষমতায় প্রভাব মূল্যায়ন নেই

প্রভাব

१. একাডেমিক অবদান: চিকিৎসা NLP পক্ষপাত গবেষণার জন্য গুরুত্বপূর্ণ কেস এবং পদ্ধতি রেফারেন্স প্রদান २. ব্যবহারিক মূল্য: ক্লিনিকাল কৃত্রিম বুদ্ধিমত্তা সিস্টেমের ন্যায্যতা উন্নতির জন্য নির্দিষ্ট সমাধান প্রদান ३. নীতি তাৎপর্য: চিকিৎসা কৃত্রিম বুদ্ধিমত্তা নিয়ন্ত্রণ এবং মান নির্ধারণের জন্য প্রযুক্তিগত সহায়তা ४. পুনরুৎপাদনযোগ্যতা: পদ্ধতি বর্ণনা বিস্তারিত, ভাল পুনরুৎপাদনযোগ্যতা

প্রযোজ্য পরিস্থিতি

१. ক্লিনিকাল সিদ্ধান্ত সহায়তা: মানসিক স্বাস্থ্য স্ক্রীনিং এবং নির্ণয় সহায়তা সিস্টেম २. চিকিৎসা গুণমান উন্নতি: বিদ্যমান চিকিৎসা কৃত্রিম বুদ্ধিমত্তা সিস্টেমে পক্ষপাত চিহ্নিত এবং প্রশমন ३. নিয়ন্ত্রক সম্মতি: চিকিৎসা কৃত্রিম বুদ্ধিমত্তা ন্যায্যতা এবং নৈতিকতা প্রয়োজনীয়তা পূরণ ४. গবেষণা সরঞ্জাম: অন্যান্য চিকিৎসা কৃত্রিম বুদ্ধিমত্তা পক্ষপাত গবেষণার জন্য পদ্ধতিগত ভিত্তি প্রদান

তথ্যসূত্র

এই পত্র ন্যায্যতা মেশিন লার্নিং, NLP পক্ষপাত হ্রাস, চিকিৎসা কৃত্রিম বুদ্ধিমত্তা ইত্যাদি ক্ষেত্রের গুরুত্বপূর্ণ সাহিত্য উদ্ধৃত করে, যার মধ্যে রয়েছে:

Feldman et al. (2015) - ন্যায্যতা পরিমাপ মান
Bolukbasi et al. (2016) - শব্দ এমবেডিং পক্ষপাত হ্রাস
Obermeyer et al. (2019) - চিকিৎসা অ্যালগরিদম জাতিগত পক্ষপাত
Ribeiro et al. (2016) - LIME ব্যাখ্যাযোগ্যতা পদ্ধতি

সামগ্রিক মূল্যায়ন: এটি চিকিৎসা কৃত্রিম বুদ্ধিমত্তা ন্যায্যতা ক্ষেত্রে উল্লেখযোগ্য মূল্যের একটি গবেষণা পত্র, যা শুধুমাত্র শিশু মানসিক স্বাস্থ্য কৃত্রিম বুদ্ধিমত্তায় লিঙ্গ পক্ষপাত সমস্যা চিহ্নিত করে না বরং ব্যবহারিক সমাধানও প্রস্তাব করে। যদিও তাত্ত্বিক গভীরতা এবং পদ্ধতি জটিলতার দিক থেকে উন্নতির অবকাশ রয়েছে, তবে এর ব্যবহারিক মূল্য এবং সামাজিক তাৎপর্য এটিকে এই ক্ষেত্রের একটি গুরুত্বপূর্ণ অবদান করে তোলে।