Принципы безопасных ИИ-компаньонов для молодежи: Перспективы родителей и экспертов

Основная информация

• ID статьи: 2510.11185
• Название: Principles of Safe AI Companions for Youth: Parent and Expert Perspectives
• Авторы: Yaman Yu, Mohi, Aishi Debroy, Xin Cao, Karen Rudolph, Yang Wang
• Классификация: cs.HC (Взаимодействие человека и компьютера)
• Дата публикации/Конференция: CHI '26, 13–18 апреля 2026 г., Барселона, Испания
• Ссылка на статью: https://arxiv.org/abs/2510.11185

Аннотация

ИИ-компаньоны становятся все более популярны среди молодежи, однако современные платформы не имеют защиты от рисков развития и вредной нормализации. Несмотря на растущие опасения, мало известно о том, как родители и эксперты в области психологии развития оценивают эти взаимодействия и какие защитные меры они считают необходимыми. В данном исследовании проведены полуструктурированные интервью с 26 родителями и экспертами, которые рецензировали фрагменты реальных диалогов молодежи с ИИ-компаньонами. Исследование показало, что заинтересованные стороны оценивают риски в зависимости от контекста, обращая внимание на такие факторы, как зрелость молодежи, возраст персонажа ИИ и то, как персонаж ИИ моделирует ценности и нормы. Исследование также выявило различные логики оценки: родители отмечают отдельные события (такие как упоминание самоубийства или флирт) как высокий риск, в то время как эксперты сосредоточены на временных закономерностях (таких как повторяющиеся упоминания самоповреждения или постоянная зависимость). Обе группы предложили меры вмешательства, причем родители склоняются к более широкому надзору, а эксперты предпочитают осторожный подход с эскалацией только в кризисных ситуациях, дополненный защитными мерами, ориентированными на молодежь.

Исследовательский контекст и мотивация

Определение проблемы

С развитием генеративного ИИ ИИ-компаньоны эволюционировали от традиционных информационных чат-ботов в цифровые персонажи, способные формировать эмоциональную привязанность и имитировать отношения. Опросы показывают, что 72% подростков в США использовали ИИ-компаньонов, более половины регулярно с ними взаимодействуют, а почти треть используют их для социального взаимодействия или эмоциональной связи.

Важность проблемы

Молодежь как особенно уязвимая группа сталкивается с уникальными рисками развития:

1. Пересечение этапов развития: Взаимодействие с ИИ-компаньонами совпадает с этапом социального и эмоционального развития молодежи, что может формировать траекторию их развития
2. Существующие трагические случаи: Зафиксированы два случая самоубийства молодых людей после длительного общения с ИИ-компаньонами
3. Отсутствие участия заинтересованных сторон: Родители и эксперты в области развития детей обычно не осведомлены об использовании детьми ИИ-компаньонов и исключены из решений по проектированию систем

Ограничения существующих подходов

1. Отсутствие защитных мер: Согласно сообщениям, внутренние руководящие принципы Meta позволяют системам ИИ вести романтические или чувственные диалоги с детьми
2. Пробелы в исследованиях: Отсутствуют исследования восприятия нескольких заинтересованных сторон на основе реальных данных диалогов
3. Отсутствие управления: Нет основанной на доказательствах нормативно-правовой базы для взаимодействия молодежи с ИИ-компаньонами

Мотивация исследования

Данное исследование направлено на привлечение взрослых заинтересованных сторон, играющих ключевую роль в развитии молодежи, на ранних этапах управления ИИ-компаньонами для молодежи, обеспечивая эмпирическую основу для разработки более безопасных систем ИИ-компаньонов.

Основные вклады

1. Первое эмпирическое исследование на основе данных диалогов: Предоставляет первое эмпирическое исследование, использующее данные диалогов для выявления восприятия нескольких заинтересованными сторонами преимуществ и рисков взаимодействия молодежи с ИИ-компаньонами
2. Выявление логики оценки рисков: Определены способы, которыми родители и эксперты оценивают риски посредством многоуровневых контекстных факторов, раскрывая различные логики их суждений
3. Принципы проектирования: Предложены принципы и меры вмешательства, рекомендуемые заинтересованными сторонами, охватывающие проектирование систем и персонажей, защиту взаимодействий и социальное участие

Подробное описание методологии

Дизайн исследования

Исследование использует качественный методологический подход, собирая данные посредством полуструктурированных интервью, в ходе которых участники рецензируют фрагменты реальных диалогов молодежи с ИИ-компаньонами и обсуждают воспринимаемые преимущества и опасения.

Процесс сбора данных

Сбор фрагментов диалогов

• Источник данных: Платформа Character.ai, широко используемая платформа генеративных ИИ-компаньонов
• Участники: 11 пользователей в возрасте 13–21 года
• Объем данных: 253 текстовых журнала диалогов
• Выбор фрагментов: Исследовательская группа выбрала 8 фрагментов диалогов, представляющих различные темы, персонажи и стили взаимодействия

Набор участников

• Платформа набора: Набор через платформу Prolific
• Критерии включения:
  • Группа родителей: англоговорящие, проживающие в США, имеющие по крайней мере одного ребенка в возрасте 13–21 года
  • Группа экспертов: имеющие опыт или опыт работы в области психологии развития
• Окончательная выборка: 26 участников (включая 5 пилотных интервью), из которых 8 родителей и 13 экспертов

Протокол интервью

Структура интервью

1. Вводные вопросы: Понимание предыстории участников
2. Сеанс громкого мышления: Рецензирование фрагментов диалогов и обмен мыслями в реальном времени
3. Последующее обсуждение: Углубленное изучение факторов оценки рисков, приемлемых границ и предпочтений вмешательства

Анализ данных

Использован метод тематического анализа, при котором четыре исследователя независимо кодировали 20% набора данных для разработки начальных кодов и тем, затем совместно завершили кодирование оставшихся данных.

Экспериментальная установка

Характеристики набора данных

8 фрагментов диалогов, использованных в исследовании, охватывают три основных типа взаимодействия:

1. Романтическое и интимное исследование
2. Поиск социально-эмоциональной поддержки и общения
3. Развлечение и совместное создание повествования

Характеристики участников

• Распределение по полу: 69% женщин, 31% мужчин, 4% небинарных
• Географическое распределение: Все из разных штатов США
• Профессиональный опыт: Участники-эксперты имеют степень или опыт работы в области психологии развития

Этические соображения

• Получено одобрение Комитета по институциональному пересмотру (IRB)
• Все участники предоставили информированное согласие
• Данные обезличены
• Безопасное хранение на зашифрованных серверах учреждения

Результаты экспериментов

Основные выводы

1. Оценка романтического и интимного взаимодействия

Две основные позиции:

• Группа условного принятия (n=12): Рассматривают это как развивающуюся "песочницу" для репетиции социальных сценариев и исследования романтических чувств
• Группа внутреннего риска (n=6): Считают это внутренне рискованным и неприемлемым для несовершеннолетних до 18 лет

Ключевые факторы оценки:

• Возраст и зрелость молодежи
• Возраст персонажа ИИ и возрастная разница с молодежью
• Намерение и инициатива молодежи в сравнении с доминированием ИИ
• Частота и характер взаимодействия
• Поведение и ценности, моделируемые ИИ

2. Оценка социально-эмоциональной поддержки

Воспринимаемые преимущества:

• Предоставление беспристрастного выхода для выслушивания
• Содействие самовыражению и эмоциональной регуляции
• Предоставление пространства для практики социально застенчивой молодежи

Границы риска:

• ИИ как терапевтический, но не как терапия
• Граница между рекомендацией и эмоциональной привязанностью
• Баланс между подтверждением и чрезмерным подтверждением
• Проблемы с неспособностью ИИ распознавать эмоциональные сигналы

3. Оценка развлечения и совместного создания повествования

Основные проблемы:

• Определение надлежащести на основе личности персонажа и исходного источника медиа
• Скрытые риски в кажущихся дружелюбными персонажах
• Неоднозначный и неразвитый язык
• Влияние травматического опыта молодежи и психического здоровья

Различия в логике оценки

Методы оценки рисков родителей в сравнении с экспертами

• Родители: Используют основанный на событиях подход, отмечая высокий риск при появлении отдельного тревожного элемента
• Эксперты: Подчеркивают основанную на закономерностях логику, оценивая, повторяются ли, усугубляются ли или сохраняются ли тревожные элементы

Различия в пороге участия родителей

• Эксперты: Склоняются к высокому порогу, сохраняя оповещения только при острых кризисах
• Родители: Склоняются к низкому порогу, желая получать уведомления даже в чувствительных ситуациях

Рекомендации по вмешательству

Уровень системы и персонажей

1. Система рейтинга: Внедрение системы рейтинга в стиле фильмов или видеоигр
2. Улучшение прозрачности: Предоставление прозрачной информации о возможностях и поведении персонажей ИИ
3. Образование в области грамотности ИИ: Предоставление вводного образования о природе и ограничениях ИИ
4. Механизм персонажей в холле: Нейтральные персонажи ИИ как механизм размышления и безопасности

Уровень взаимодействия

1. Контекстно-зависимый мониторинг: Мониторинг, адаптированный к семейным ценностям
2. Мягкая остановка: Элегантная обработка чувствительных границ, избегание жестких отказов
3. Рефлексивные вопросы: Поощрение размышлений посредством вопросов
4. Сохранение эмоциональной дистанции: Проявление заботы при избежании чрезмерной привязанности

Социальный уровень

1. Подход экспертов: Эскалация только в кризисных ситуациях с более сильной связью с профессиональными ресурсами
2. Подход родителей: Более широкие системы ограничений и уведомлений

Связанные работы

Развитие ИИ-компаньонов

Эволюция от чат-бота ELIZA 1966 года к современным генеративным ИИ-компаньонам, при этом рынок, как ожидается, достигнет 381,41 млрд долларов к 2032 году.

Безопасность молодежи в Интернете

Традиционные стратегии родительского посредничества (ограничение, мониторинг, активное посредничество) имеют ограниченную эффективность в цифровой среде, требуя более совместного подхода.

Исследование восприятия заинтересованными сторонами

Существующие исследования показывают фундаментальное напряжение между родителями и молодежью в отношении границ цифровой конфиденциальности, при этом технология ИИ вносит новые опасения.

Заключение и обсуждение

Основные выводы

1. Контекстуализированная оценка рисков: Родители и эксперты оценивают риски с различных, но дополняющих друг друга точек зрения, причем родители подчеркивают согласованность ценностей и надлежащесть тем, а эксперты сосредоточены на приобретении навыков развития и пороге ситуационного вреда
2. Потребность в многоуровневых защитных мерах: Безопасность не может быть достигнута посредством всеобъемлющих запретов или фильтрации ключевых слов; требуются многоуровневые защитные меры, учитывающие возраст, зрелость, тип взаимодействия и семейный контекст
3. Балансирование автономии и защиты: Необходимо найти баланс между поддержкой исследований молодежи и защитой посредством проектирования, ориентированного на устойчивость, поддерживающего обучение навыкам

Дизайн-инсайты

Оценка и обнаружение рисков

• Необходимы контекстуализированные и ориентированные на развитие методы оценки рисков
• Модели обнаружения, интегрирующие перспективы нескольких заинтересованных сторон
• Рассмотрение динамики взаимодействия, а не только тем или формулировок

Прозрачность и подотчетность

• Предоставление "карточек персонажей ИИ" или "рейтингов диалогов"
• Встраивание шаблонов, чувствительных к молодежи, в процесс создания персонажей
• Предоставление образования в области грамотности ИИ молодежи

Персонализированные защитные меры

• Избежание универсального подхода
• Предоставление регулируемых профилей безопасности семьи
• Поддержка совместного регулирования, а не просто контроля

Углубленная оценка

Преимущества

1. Методологические инновации: Первое использование реальных данных диалогов для исследования нескольких заинтересованных сторон, обеспечивающее более богатые инсайты, чем гипотетические сценарии
2. Практическая ценность руководства: Предоставление конкретных рекомендаций по проектированию и стратегий вмешательства, имеющих прямое значение для разработки платформ ИИ-компаньонов
3. Теоретический вклад: Выявление различных логик оценки рисков у родителей и экспертов (событие в сравнении с закономерностью), обеспечивающее теоретическую основу для понимания различий заинтересованных сторон
4. Исследовательская строгость: Применение строгих методов качественного исследования, включая кодирование несколькими исследователями, тематический анализ и т. д.

Недостатки

1. Ограничения выборки:
   • Включены только участники из США, отсутствует культурное разнообразие
   • Относительно небольшой размер выборки (26 человек)
   • Высокая доля участников-женщин (69%)
2. Отсутствие голоса молодежи: Исследование сосредоточено на перспективе взрослых заинтересованных сторон, отсутствуют взгляды и опыт самой молодежи
3. Неизвестные долгосрочные последствия: Краткосрочная оценка на основе фрагментов диалогов, невозможность понимания влияния долгосрочного использования
4. Осуществимость реализации: Некоторые предложенные меры вмешательства (такие как персонализированный мониторинг, контекстно-зависимые системы) могут столкнуться с проблемами при технической реализации

Влияние

Академическое влияние

• Установление важной эмпирической основы для исследования безопасности ИИ-компаньонов
• Предоставление новой исследовательской парадигмы для исследований безопасности молодежи в области взаимодействия человека и компьютера
• Вероятное стимулирование дополнительных междисциплинарных совместных исследований

Практическое влияние

• Предоставление конкретных принципов безопасности для проектирования платформ ИИ-компаньонов
• Возможное влияние на разработку соответствующей нормативно-правовой базы
• Предоставление справочного материала для педагогов и родителей по образованию в области грамотности ИИ

Социальное влияние

• Повышение осведомленности общественности о рисках использования молодежью ИИ-компаньонов
• Содействие участию нескольких заинтересованных сторон в управлении ИИ
• Предоставление научной основы для защиты цифрового благополучия молодежи

Применимые сценарии

1. Разработка платформ ИИ-компаньонов: Предоставление руководства для проектирования функций безопасности молодежи для платформ, таких как Character.ai
2. Проектирование образовательных технологий: Предоставление справочного материала для безопасного проектирования образовательных помощников ИИ
3. Разработка политики: Предоставление эмпирической поддержки для нормативно-правовой базы, связанной с использованием молодежью ИИ
4. Семейное образование: Предоставление руководства для родителей по пониманию и управлению использованием молодежью ИИ
5. Услуги психического здоровья: Предоставление справочного материала для специалистов в области психического здоровья по пониманию влияния ИИ на молодежь

Направления будущих исследований

1. Включение перспективы молодежи: Будущие исследования должны напрямую включать голос и опыт молодежи
2. Кросс-культурные исследования: Расширение на различные культурные контексты для понимания влияния культурных различий на восприятие рисков
3. Продольные исследования: Проведение долгосрочных исследований отслеживания для понимания долгосрочного влияния использования ИИ-компаньонов
4. Оценка эффективности вмешательства: Практическое тестирование эффективности предложенных мер вмешательства
5. Исследование технической реализации: Изучение способов технической реализации предложенных мер безопасности

Общая оценка: Это высококачественное исследование в области взаимодействия человека и компьютера, предоставляющее ценные эмпирические инсайты в новой и важной области. Несмотря на некоторые ограничения, его вклад в проектирование безопасности ИИ-компаньонов является значительным, закладывая важную основу для ответственного развития этой быстро развивающейся области.