2025-11-24T01:01:17.555628

Principles of Safe AI Companions for Youth: Parent and Expert Perspectives

Yu, Mohi, Debroy et al.

AI companions are increasingly popular among teenagers, yet current platforms lack safeguards to address developmental risks and harmful normalization. Despite growing concerns, little is known about how parents and developmental psychology experts assess these interactions or what protections they consider necessary. We conducted 26 semi structured interviews with parents and experts, who reviewed real world youth GenAI companion conversation snippets. We found that stakeholders assessed risks contextually, attending to factors such as youth maturity, AI character age, and how AI characters modeled values and norms. We also identified distinct logics of assessment: parents flagged single events, such as a mention of suicide or flirtation, as high risk, whereas experts looked for patterns over time, such as repeated references to self harm or sustained dependence. Both groups proposed interventions, with parents favoring broader oversight and experts preferring cautious, crisis-only escalation paired with youth facing safeguards. These findings provide directions for embedding safety into AI companion design.

academic

युवाओं के लिए सुरक्षित AI साथियों के सिद्धांत: माता-पिता और विशेषज्ञ दृष्टिकोण

मूल जानकारी

पेपर ID: 2510.11185
शीर्षक: Principles of Safe AI Companions for Youth: Parent and Expert Perspectives
लेखक: Yaman Yu, Mohi, Aishi Debroy, Xin Cao, Karen Rudolph, Yang Wang
वर्गीकरण: cs.HC (मानव-कंप्यूटर इंटरैक्शन)
प्रकाशन समय/सम्मेलन: CHI '26, 13-18 अप्रैल, 2026, बार्सिलोना, स्पेन
पेपर लिंक: https://arxiv.org/abs/2510.11185

सारांश

AI साथी युवाओं में तेजी से लोकप्रिय हो रहे हैं, लेकिन वर्तमान प्लेटफॉर्मों में विकासात्मक जोखिमों और हानिकारक मानदंडों के सामान्यीकरण के खिलाफ सुरक्षा उपायों का अभाव है। बढ़ती चिंताओं के बावजूद, माता-पिता और विकासात्मक मनोविज्ञान विशेषज्ञ इन इंटरैक्शन का मूल्यांकन कैसे करते हैं और वे किन सुरक्षा उपायों को आवश्यक मानते हैं, इस बारे में बहुत कम जानकारी है। इस अध्ययन में 26 माता-पिता और विशेषज्ञों के साथ अर्ध-संरचित साक्षात्कार किए गए, जिन्होंने युवाओं और AI साथियों के बीच वास्तविक बातचीत के अंश की समीक्षा की। अध्ययन से पता चलता है कि हितधारक संदर्भ के आधार पर जोखिम का मूल्यांकन करते हैं, युवाओं की परिपक्वता, AI भूमिका की आयु और AI भूमिका कैसे मूल्यों और मानदंडों को मॉडल करती है, जैसे कारकों पर ध्यान केंद्रित करते हैं। अध्ययन ने विभिन्न मूल्यांकन तर्क भी पहचाने: माता-पिता एकल घटनाओं (जैसे आत्महत्या का उल्लेख या छेड़खानी) को उच्च जोखिम के रूप में चिह्नित करते हैं, जबकि विशेषज्ञ समय पैटर्न पर ध्यान केंद्रित करते हैं (जैसे आत्म-नुकसान का बार-बार उल्लेख या निरंतर निर्भरता)। दोनों समूहों ने हस्तक्षेप उपायों का प्रस्ताव दिया, माता-पिता व्यापक निगरानी की ओर झुकते हैं, विशेषज्ञ अधिक सावधानीपूर्ण, केवल संकट के समय अपग्रेड करने वाले दृष्टिकोण की ओर झुकते हैं, युवाओं के लिए सुरक्षा उपायों के साथ।

अनुसंधान पृष्ठभूमि और प्रेरणा

समस्या परिभाषा

जनरेटिव AI के उदय के साथ, AI साथी पारंपरिक सूचना-प्रदान करने वाले चैटबॉट से विकसित हुए हैं जो भावनात्मक लगाव बनाने और संबंधों का अनुकरण करने में सक्षम डिजिटल पात्र हैं। सर्वेक्षणों से पता चलता है कि अमेरिका में 72% युवाओं ने AI साथियों का उपयोग किया है, आधे से अधिक नियमित रूप से इनके साथ इंटरैक्ट करते हैं, और लगभग एक-तिहाई इन्हें सामाजिक इंटरैक्शन या भावनात्मक संबंध के लिए उपयोग करते हैं।

समस्या की महत्ता

युवा एक विशेष रूप से कमजोर समूह हैं, जो अद्वितीय विकासात्मक जोखिमों का सामना करते हैं:

विकासात्मक चरण का प्रतिच्छेदन: AI साथी इंटरैक्शन युवाओं के सामाजिक और भावनात्मक विकास के चरण के साथ प्रतिच्छेद करता है, जो उनके विकास प्रक्षेपवक्र को आकार दे सकता है
पहले से मौजूद दुर्घटनाएं: AI साथियों के साथ लंबी बातचीत के बाद दो युवाओं की आत्महत्या के मामले हैं
हितधारक भागीदारी की कमी: माता-पिता और बाल विकास विशेषज्ञ आमतौर पर बच्चों के AI साथी उपयोग से अनजान हैं और सिस्टम डिजाइन निर्णयों से बाहर रखे गए हैं

मौजूदा दृष्टिकोण की सीमाएं

सुरक्षा उपायों की कमी: Meta के आंतरिक दिशानिर्देशों के अनुसार AI सिस्टम को बच्चों के साथ रोमांटिक या संवेदनशील बातचीत करने की अनुमति है
अनुसंधान अंतराल: वास्तविक बातचीत डेटा के आधार पर बहु-हितधारक धारणा अनुसंधान की कमी
शासन की कमी: युवाओं के AI साथी इंटरैक्शन के लिए साक्ष्य-आधारित शासन ढांचे की कमी

अनुसंधान प्रेरणा

यह अनुसंधान युवा विकास में महत्वपूर्ण भूमिका निभाने वाले वयस्क हितधारकों को प्रारंभिक चरण में युवा AI साथी शासन में भाग लेने के लिए लक्षित करता है, अधिक सुरक्षित AI साथी सिस्टम डिजाइन करने के लिए एक अनुभवजन्य आधार प्रदान करता है।

मुख्य योगदान

बातचीत डेटा पर आधारित पहला अनुभवजन्य अनुसंधान: बातचीत डेटा का उपयोग करके युवा-AI साथी इंटरैक्शन के लाभों और जोखिमों की बहु-हितधारक धारणा को प्राप्त करने वाला पहला अनुभवजन्य अनुसंधान प्रदान करता है
जोखिम मूल्यांकन तर्क की पहचान: माता-पिता और विशेषज्ञों द्वारा स्तरीय संदर्भ कारकों के माध्यम से जोखिम का मूल्यांकन करने के तरीके की पहचान करता है, उनके विभिन्न निर्णय तर्क को प्रकट करता है
डिजाइन मार्गदर्शन सिद्धांत: प्रणाली और भूमिका डिजाइन, इंटरैक्शन सुरक्षा उपायों, सामाजिक भागीदारी के पार हितधारक-सुझाए गए सिद्धांत और हस्तक्षेप उपायों का प्रस्ताव देता है

विधि विवरण

अनुसंधान डिजाइन

यह अनुसंधान गुणात्मक अनुसंधान पद्धति का उपयोग करता है, अर्ध-संरचित साक्षात्कारों के माध्यम से डेटा एकत्र करता है, प्रतिभागियों को वास्तविक युवा-AI साथी बातचीत अंश की समीक्षा करने और कथित लाभों और चिंताओं पर चर्चा करने के लिए कहता है।

डेटा संग्रह प्रक्रिया

बातचीत अंश संग्रह

डेटा स्रोत: Character.ai प्लेटफॉर्म, एक व्यापक रूप से उपयोग किया जाने वाला जनरेटिव AI साथी प्लेटफॉर्म
प्रतिभागी: 13-21 वर्ष के 11 युवा उपयोगकर्ता
डेटा आकार: 253 पाठ बातचीत लॉग
अंश चयन: अनुसंधान दल ने विभिन्न विषयों, भूमिकाओं और इंटरैक्शन शैलियों का प्रतिनिधित्व करने वाले 8 बातचीत अंश चुने

प्रतिभागी भर्ती

भर्ती प्लेटफॉर्म: Prolific प्लेटफॉर्म के माध्यम से भर्ती
समावेशन मानदंड:
- माता-पिता समूह: अंग्रेजी भाषी, अमेरिका में रहने वाले, कम से कम एक 13-21 वर्षीय बच्चा
- विशेषज्ञ समूह: विकासात्मक मनोविज्ञान पृष्ठभूमि या कार्य अनुभव वाले
अंतिम नमूना: 26 प्रतिभागी (5 पायलट साक्षात्कार सहित), जिनमें 8 माता-पिता और 13 विशेषज्ञ हैं

साक्षात्कार प्रोटोकॉल

साक्षात्कार संरचना

वार्मअप प्रश्न: प्रतिभागी पृष्ठभूमि को समझना
जोर से सोचने का सत्र: बातचीत अंश की समीक्षा करना और वास्तविक समय में विचार साझा करना
अनुवर्ती चर्चा: जोखिम मूल्यांकन कारकों, स्वीकार्यता सीमाओं और हस्तक्षेप वरीयताओं की गहन खोज

डेटा विश्लेषण

थीमेटिक विश्लेषण पद्धति का उपयोग करते हुए, चार शोधकर्ताओं ने प्रारंभिक कोड और विषय विकसित करने के लिए स्वतंत्र रूप से 20% डेटासेट को कोड किया, फिर शेष डेटा के कोडिंग को पूरा करने के लिए सहयोग किया।

प्रयोगात्मक सेटअप

डेटासेट विशेषताएं

अनुसंधान में उपयोग किए गए 8 बातचीत अंश तीन मुख्य इंटरैक्शन प्रकारों को कवर करते हैं:

रोमांटिक और अंतरंग अन्वेषण
सामाजिक भावनात्मक समर्थन और साथ मांगना
मनोरंजन और आख्यान सह-निर्माण

प्रतिभागी विशेषताएं

लिंग वितरण: 69% महिला, 31% पुरुष, 4% गैर-बाइनरी लिंग
भौगोलिक वितरण: अमेरिका के विभिन्न राज्यों से सभी
व्यावसायिक पृष्ठभूमि: विशेषज्ञ प्रतिभागियों के पास विकासात्मक मनोविज्ञान संबंधित डिग्री या कार्य अनुभव है

नैतिक विचार

संस्थागत समीक्षा बोर्ड (IRB) अनुमोदन प्राप्त
सभी प्रतिभागियों से सूचित सहमति
डेटा गुमनामीकरण प्रसंस्करण
एन्क्रिप्ट किए गए संस्थागत सर्वर पर सुरक्षित भंडारण

प्रयोगात्मक परिणाम

मुख्य निष्कर्ष

1. रोमांटिक और अंतरंग इंटरैक्शन मूल्यांकन

दो मुख्य रुख:

सशर्त स्वीकृति समूह (n=12): इसे सामाजिक स्क्रिप्ट का पूर्वाभ्यास करने और रोमांटिक भावनाओं की खोज के लिए विकास "सैंडबॉक्स" के रूप में देखता है
अंतर्निहित जोखिम समूह (n=6): 18 वर्ष से कम अवयस्कों के लिए अंतर्निहित जोखिम और अस्वीकार्य मानता है

मुख्य मूल्यांकन कारक:

युवा की आयु और परिपक्वता
AI भूमिका की आयु और युवा के साथ आयु अंतर
युवा का इरादा और पहल बनाम AI प्रभुत्व
इंटरैक्शन की आवृत्ति और पैटर्न
AI द्वारा मॉडल किए गए व्यवहार और मूल्य

2. सामाजिक भावनात्मक समर्थन मूल्यांकन

कथित लाभ:

निर्णय-मुक्त सुनने का आउटलेट प्रदान करना
आत्म-अभिव्यक्ति और भावनात्मक विनियमन को बढ़ावा देना
सामाजिक रूप से शर्मीले युवाओं के लिए अभ्यास स्थान प्रदान करना

जोखिम सीमाएं:

AI चिकित्सीय लेकिन चिकित्सा नहीं
सुझाव और भावनात्मक लगाव के बीच सीमा
पुष्टि और अत्यधिक पुष्टि के बीच संतुलन
AI द्वारा भावनात्मक संकेतों की पहचान करने में विफलता

3. मनोरंजन और आख्यान सह-निर्माण मूल्यांकन

मुख्य चिंताएं:

भूमिका पहचान और स्रोत मीडिया के आधार पर उपयुक्तता का न्याय करना
दिखने में अनुकूल भूमिकाओं में छिपा जोखिम
अस्पष्ट और विकासात्मक रूप से अनुपयुक्त भाषा
युवा के आघात अनुभव और मानसिक स्वास्थ्य स्थिति का प्रभाव

मूल्यांकन तर्क में अंतर

माता-पिता बनाम विशेषज्ञ जोखिम मूल्यांकन विधि

माता-पिता: घटना-आधारित दृष्टिकोण अपनाते हैं, जब एकल चिंताजनक तत्व दिखाई देते हैं तो उच्च जोखिम के रूप में चिह्नित करते हैं
विशेषज्ञ: पैटर्न-आधारित तर्क पर जोर देते हैं, यह मूल्यांकन करते हैं कि क्या चिंताजनक तत्व दोहराए जाते हैं, बढ़ते हैं या जारी रहते हैं

माता-पिता की भागीदारी सीमा में अंतर

विशेषज्ञ: उच्च सीमा की ओर झुकते हैं, केवल तीव्र संकट के समय सतर्कता रखते हैं
माता-पिता: निम्न सीमा की ओर झुकते हैं, संवेदनशील परिस्थितियों में भी सूचना प्राप्त करना चाहते हैं

हस्तक्षेप सुझाव

प्रणाली और भूमिका स्तर

मूल्यांकन प्रणाली: फिल्म या गेम शैली की मूल्यांकन प्रणाली अपनाना
पारदर्शिता सुधार: AI भूमिका की क्षमताओं और व्यवहार के बारे में पारदर्शी जानकारी प्रदान करना
AI साक्षरता शिक्षा: AI की प्रकृति और सीमाओं के बारे में प्रारंभिक शिक्षा प्रदान करना
हॉल भूमिका तंत्र: तटस्थ AI भूमिका प्रतिबिंब और सुरक्षा तंत्र के रूप में

इंटरैक्शन स्तर

संदर्भ-जागरूक निगरानी: पारिवारिक मूल्यों के अनुसार निगरानी को अनुकूलित करना
नरम रोक: संवेदनशील सीमाओं को सुंदर तरीके से संभालना, कठोर अस्वीकार से बचना
प्रतिबिंबात्मक प्रश्न: प्रश्नों के माध्यम से प्रतिबिंब को प्रोत्साहित करना
भावनात्मक दूरी बनाए रखना: देखभाल प्रदर्शित करना लेकिन अत्यधिक लगाव से बचना

सामाजिक स्तर

विशेषज्ञ दृष्टिकोण: केवल संकट अपग्रेड, अधिक मजबूत व्यावसायिक संसाधन लिंकिंग
माता-पिता दृष्टिकोण: अधिक व्यापक प्रतिबंध और सूचना प्रणाली

निष्कर्ष और चर्चा

मुख्य निष्कर्ष

संदर्भगत जोखिम मूल्यांकन: माता-पिता और विशेषज्ञ विभिन्न लेकिन पूरक दृष्टिकोण के माध्यम से जोखिम का मूल्यांकन करते हैं, माता-पिता मूल्य संरेखण और विषय उपयुक्तता पर जोर देते हैं, विशेषज्ञ विकासात्मक कौशल अधिग्रहण और संदर्भ नुकसान सीमा पर ध्यान केंद्रित करते हैं
स्तरीय सुरक्षा उपायों की आवश्यकता: सुरक्षा व्यापक प्रतिबंध या कीवर्ड फ़िल्टरिंग के माध्यम से प्राप्त नहीं की जा सकती, आयु, परिपक्वता, इंटरैक्शन प्रकार और पारिवारिक पृष्ठभूमि पर विचार करने वाले स्तरीय सुरक्षा उपायों की आवश्यकता है
स्वायत्तता और सुरक्षा के बीच संतुलन: युवाओं की खोज का समर्थन करने और सुरक्षा के बीच संतुलन खोजने की आवश्यकता है, लचीलापन-उन्मुख डिजाइन के माध्यम से कौशल सीखने का समर्थन करना

डिजाइन अंतर्दृष्टि

जोखिम मूल्यांकन और पहचान

संदर्भगत और विकास-उन्मुख जोखिम मूल्यांकन विधि की आवश्यकता
बहु-हितधारक दृष्टिकोण को एकीकृत करने वाले पहचान मॉडल
केवल विषय या शब्दावली के बजाय इंटरैक्शन गतिविधि पर विचार करना

पारदर्शिता और जवाबदेही

"AI भूमिका कार्ड" या "बातचीत मूल्यांकन" प्रदान करना
भूमिका निर्माण प्रक्रिया में किशोर संवेदनशील टेम्पलेट एम्बेड करना
किशोरों को AI साक्षरता शिक्षा प्रदान करना

व्यक्तिगत सुरक्षा उपाय

एक आकार सभी के लिए फिट दृष्टिकोण से बचना
समायोज्य पारिवारिक सुरक्षा प्रोफाइल प्रदान करना
एकल नियंत्रण के बजाय सहयोगी विनियमन का समर्थन करना

गहन मूल्यांकन

शक्तियां

पद्धति नवाचार: वास्तविक बातचीत डेटा का उपयोग करके बहु-हितधारक अनुसंधान पहली बार, काल्पनिक परिदृश्यों की तुलना में अधिक समृद्ध अंतर्दृष्टि प्रदान करता है
व्यावहारिक मार्गदर्शन मूल्य: विशिष्ट डिजाइन सुझाव और हस्तक्षेप रणनीति प्रदान करता है, AI साथी प्लेटफॉर्म विकास के लिए सीधे मार्गदर्शन मूल्य है
सैद्धांतिक योगदान: माता-पिता और विशेषज्ञों द्वारा जोखिम मूल्यांकन में विभिन्न तर्क (घटना बनाम पैटर्न) की पहचान करता है, हितधारक अंतर को समझने के लिए सैद्धांतिक ढांचा प्रदान करता है
अनुसंधान कठोरता: कठोर गुणात्मक अनुसंधान विधि अपनाता है, जिसमें बहु-शोधकर्ता कोडिंग, थीमेटिक विश्लेषण आदि शामिल हैं

कमियां

नमूना सीमाएं:
- केवल अमेरिकी प्रतिभागी, सांस्कृतिक विविधता की कमी
- अपेक्षाकृत छोटा नमूना आकार (26 लोग)
- महिला प्रतिभागियों का उच्च अनुपात (69%)
किशोर आवाज की कमी: अनुसंधान वयस्क हितधारक दृष्टिकोण पर केंद्रित है, किशोरों के अपने विचार और अनुभव की कमी है
दीर्घकालिक प्रभाव अज्ञात: बातचीत अंश के आधार पर अल्पकालिक मूल्यांकन, दीर्घकालिक उपयोग के प्रभाव को समझ नहीं सकता
कार्यान्वयन व्यावहारिकता: प्रस्तावित कुछ हस्तक्षेप उपाय (जैसे व्यक्तिगत निगरानी, संदर्भ-जागरूक प्रणाली) तकनीकी कार्यान्वयन में चुनौतियों का सामना कर सकते हैं

प्रभाव

शैक्षणिक प्रभाव

AI साथी सुरक्षा अनुसंधान के लिए महत्वपूर्ण अनुभवजन्य आधार स्थापित करता है
मानव-कंप्यूटर इंटरैक्शन क्षेत्र में किशोर सुरक्षा अनुसंधान के लिए नया अनुसंधान प्रतिमान प्रदान करता है
अधिक अंतःविषय सहयोग अनुसंधान को प्रेरित कर सकता है

व्यावहारिक प्रभाव

AI साथी प्लेटफॉर्म डिजाइन के लिए विशिष्ट सुरक्षा मार्गदर्शन सिद्धांत प्रदान करता है
संबंधित नियामक नीति निर्माण को प्रभावित कर सकता है
शिक्षकों और माता-पिता को AI साक्षरता शिक्षा के लिए संदर्भ प्रदान करता है

सामाजिक प्रभाव

किशोरों के AI साथी उपयोग जोखिमों के बारे में जनता जागरूकता बढ़ाता है
AI शासन में बहु-हितधारक भागीदारी को बढ़ावा देता है
किशोरों के डिजिटल कल्याण की रक्षा के लिए वैज्ञानिक साक्ष्य प्रदान करता है

लागू परिदृश्य

AI साथी प्लेटफॉर्म विकास: Character.ai जैसे प्लेटफॉर्मों के लिए किशोर सुरक्षा सुविधाओं को डिजाइन करने में मार्गदर्शन प्रदान करता है
शैक्षणिक प्रौद्योगिकी डिजाइन: शैक्षणिक AI सहायकों की सुरक्षा डिजाइन के लिए संदर्भ प्रदान करता है
नीति निर्माण: किशोरों के AI उपयोग से संबंधित नियामक नीति के लिए अनुभवजन्य समर्थन प्रदान करता है
पारिवारिक शिक्षा: माता-पिता को किशोरों के AI उपयोग को समझने और प्रबंधित करने में मार्गदर्शन प्रदान करता है
मानसिक स्वास्थ्य सेवा: मानसिक स्वास्थ्य पेशेवरों को AI के किशोरों पर प्रभाव को समझने के लिए संदर्भ प्रदान करता है

भविष्य अनुसंधान दिशाएं

किशोर दृष्टिकोण शामिल करना: भविष्य के अनुसंधान को सीधे किशोरों की आवाज और अनुभव को शामिल करना चाहिए
अंतर-सांस्कृतिक अनुसंधान: विभिन्न सांस्कृतिक पृष्ठभूमि तक विस्तार करना, जोखिम धारणा पर सांस्कृतिक अंतर को समझना
अनुदैर्ध्य अनुसंधान: AI साथी उपयोग के दीर्घकालिक प्रभाव को समझने के लिए दीर्घकालिक ट्रैकिंग अनुसंधान करना
हस्तक्षेप प्रभावकारिता मूल्यांकन: प्रस्तावित हस्तक्षेप उपायों की प्रभावकारिता का वास्तविक परीक्षण करना
तकनीकी कार्यान्वयन अनुसंधान: प्रस्तावित सुरक्षा उपायों को तकनीकी स्तर पर कैसे कार्यान्वित किया जाए, इसकी खोज करना

समग्र मूल्यांकन: यह एक उच्च गुणवत्ता वाला मानव-कंप्यूटर इंटरैक्शन अनुसंधान है जो एक उदीयमान और महत्वपूर्ण क्षेत्र में मूल्यवान अनुभवजन्य अंतर्दृष्टि प्रदान करता है। कुछ सीमाओं के बावजूद, AI साथी सुरक्षा डिजाइन में इसका योगदान महत्वपूर्ण है, इस तेजी से विकसित होने वाले क्षेत्र के जिम्मेदार विकास के लिए एक महत्वपूर्ण आधार स्थापित करता है।