2025-11-24T01:01:17.555628

Principles of Safe AI Companions for Youth: Parent and Expert Perspectives

Yu, Mohi, Debroy et al.
AI companions are increasingly popular among teenagers, yet current platforms lack safeguards to address developmental risks and harmful normalization. Despite growing concerns, little is known about how parents and developmental psychology experts assess these interactions or what protections they consider necessary. We conducted 26 semi structured interviews with parents and experts, who reviewed real world youth GenAI companion conversation snippets. We found that stakeholders assessed risks contextually, attending to factors such as youth maturity, AI character age, and how AI characters modeled values and norms. We also identified distinct logics of assessment: parents flagged single events, such as a mention of suicide or flirtation, as high risk, whereas experts looked for patterns over time, such as repeated references to self harm or sustained dependence. Both groups proposed interventions, with parents favoring broader oversight and experts preferring cautious, crisis-only escalation paired with youth facing safeguards. These findings provide directions for embedding safety into AI companion design.
academic

青少年向けAIコンパニオンの安全性原則：保護者と専門家の視点

基本情報

  • 論文ID: 2510.11185
  • タイトル: Principles of Safe AI Companions for Youth: Parent and Expert Perspectives
  • 著者: Yaman Yu, Mohi, Aishi Debroy, Xin Cao, Karen Rudolph, Yang Wang
  • 分類: cs.HC（ヒューマンコンピュータインタラクション）
  • 発表時期/会議: CHI '26, 2026年4月13日～18日、スペイン・バルセロナ
  • 論文リンク: https://arxiv.org/abs/2510.11185

概要

AIコンパニオンは青少年の間で急速に普及しているが、現在のプラットフォームは発達上のリスクと有害な規範化に対する保護措置が不足している。懸念が増加しているにもかかわらず、保護者と発達心理学の専門家がこれらのインタラクションをどのように評価し、どのような保護措置が必要と考えているかについては、ほとんど知られていない。本研究では26名の保護者と専門家を対象に半構造化インタビューを実施し、青少年とAIコンパニオンの実際の対話片段をレビューさせた。研究の結果、利害関係者は状況に応じてリスクを評価し、青少年の成熟度、AIキャラクターの年齢、AIキャラクターがどのように価値観と規範をモデル化しているかなどの要因に注目することが明らかになった。さらに、異なる評価ロジックが特定された。保護者は単一の事象（自殺への言及や浮気など）を高リスクとしてマークするのに対し、専門家は時間的パターン（自傷行為の繰り返しや継続的な依存など）に焦点を当てている。両グループは介入措置を提案したが、保護者はより広範な監視を好む傾向があり、専門家は慎重で危機時のみにエスカレーションする方法を好む傾向があり、青少年向けの保護措置と組み合わせている。

研究背景と動機

問題の定義

生成型AIの台頭により、AIコンパニオンは従来の情報提供型チャットボットから、感情的愛着を形成し関係をシミュレートできるデジタルキャラクターへと進化した。調査によると、米国の青少年の72%がAIコンパニオンを使用した経験があり、その半数以上が定期的に相互作用し、約3分の1が社会的相互作用または感情的つながりのために使用している。

問題の重要性

青少年は特に脆弱なグループとして、独特の発達上のリスクに直面している：

  1. 発達段階の交差：AIコンパニオンとのインタラクションは青少年の社会的・感情的発達段階と交差し、その発達軌跡を形作る可能性がある
  2. 既存の悲劇的事例：AIコンパニオンとの長期的な対話の後に自殺した青少年の事例が2件報告されている
  3. 利害関係者参加の欠如：保護者と児童発達の専門家は通常、子どもによるAIコンパニオンの使用について知識がなく、システム設計の決定から除外されている

既存アプローチの限界

  1. 保護措置の欠如：Metaの内部ガイドラインは、AIシステムが子どもとロマンチックまたは感覚的な対話を行うことを許可していると報告されている
  2. 研究ギャップ：実際の対話データに基づいた多利害関係者の認識研究が不足している
  3. ガバナンスの欠如：青少年のAIコンパニオンインタラクションに対する根拠に基づくガバナンスフレームワークが不足している

研究の動機

本研究は、青少年の発達に重要な役割を果たす成人の利害関係者を早期段階で青少年AIコンパニオンガバナンスに参加させ、より安全なAIコンパニオンシステムの設計のための実証的基礎を提供することを目的としている。

核心的貢献

  1. 対話データに基づいた初の実証研究：対話データを使用して、青少年とAIコンパニオンのインタラクションの利益とリスクに対する多利害関係者の認識を引き出した初の実証研究を提供する
  2. リスク評価ロジックの特定：保護者と専門家が階層化された状況要因を通じてリスクを評価する方法を特定し、異なる判断ロジックを明らかにする
  3. 設計ガイダンス原則：システムおよびキャラクター設計、インタラクション保護措置、社会的参加にわたる利害関係者の推奨原則と介入措置を提案する

方法の詳細

研究設計

本研究は定性的研究方法を採用し、半構造化インタビューを通じてデータを収集し、参加者に実際の青少年とAIコンパニオンの対話片段をレビューさせ、認識される利益と懸念について議論させた。

データ収集プロセス

対話片段の収集

  • データソース：Character.aiプラットフォーム、広く使用されている生成型AIコンパニオンプラットフォーム
  • 参加者：13～21歳の青少年ユーザー11名
  • データ規模：253個のテキスト対話ログ
  • 片段選択：研究チームは異なるテーマ、キャラクター、インタラクションスタイルを表す8つの対話片段を選択

参加者の募集

  • 募集プラットフォーム：Prolifcプラットフォームを通じて募集
  • 組み入れ基準：
    • 保護者グループ：英語使用者、米国在住、13～21歳の子ども少なくとも1人
    • 専門家グループ：発達心理学の背景または職務経験を有する
  • 最終サンプル：26名の参加者（パイロットインタビュー5名を含む）、保護者8名、専門家13名

インタビュープロトコル

インタビュー構造

  1. ウォームアップ質問：参加者の背景を理解する
  2. 思考発話セッション：対話片段をレビューし、リアルタイムで考えを共有する
  3. フォローアップディスカッション：リスク評価要因、受容可能性の境界、介入の好みについて深く探索する

データ分析

主題分析法を採用し、4名の研究者がデータセットの20%を独立して符号化して初期コードと主題を開発し、その後、残りのデータの符号化を協力して完了した。

実験設定

データセットの特性

研究で使用された8つの対話片段は、3つの主要なインタラクションタイプをカバーしている：

  1. ロマンチックで親密な探索
  2. 社会的・感情的サポートと付き添いの追求
  3. エンターテインメントと物語の共創

参加者の特性

  • 性別分布：女性69%、男性31%、非二元性別4%
  • 地理的分布：米国全域の異なる州から
  • 専門的背景：専門家参加者は発達心理学関連の学位または職務経験を有する

倫理的配慮

  • 機関審査委員会（IRB）の承認を取得
  • すべての参加者から情報に基づく同意を取得
  • データの匿名化処理
  • 暗号化された機関サーバーに安全に保存

実験結果

主要な知見

1. ロマンチックで親密なインタラクションの評価

2つの主要な立場：

  • 条件付き受容グループ（n=12）：これを社会的スクリプトをリハーサルし、ロマンチックな感情を探索するための発達的「サンドボックス」と見なす
  • 固有のリスクグループ（n=6）：18歳未満の未成年者にとって固有のリスクであり受け入れられないと考える

主要な評価要因：

  • 青少年の年齢と成熟度
  • AIキャラクターの年齢と青少年との年齢差
  • 青少年の意図と主体性対AIの主導性
  • インタラクションの頻度とパターン
  • AIがモデル化する行動と価値観

2. 社会的・感情的サポートの評価

認識される利益：

  • 判断のない傾聴の出口を提供する
  • 自己表現と感情調節を促進する
  • 社交的に内気な青少年のための練習スペースを提供する

リスク境界：

  • AIは治療的だが治療そのものではない
  • 提案と感情的愛着の間の境界
  • 肯定と過度な肯定のバランス
  • AIが感情的手がかりを認識できない問題

3. エンターテインメントと物語の共創の評価

主要な懸念事項：

  • キャラクターのアイデンティティとソースメディアに基づいた適切性の判断
  • 一見友好的なキャラクターの隠れたリスク
  • あいまいで発達的に不適切な言語
  • 青少年のトラウマ経験と心理的健康状態の影響

評価ロジックの相違

保護者対専門家のリスク評価方法

  • 保護者：イベントベースのアプローチを採用し、懸念される単一の要素が出現した時点で高リスクとしてマークする
  • 専門家：パターンベースのロジックを強調し、懸念される要素が繰り返される、悪化する、または継続しているかどうかを評価する

保護者参加の閾値の相違

  • 専門家：高い閾値を好む傾向があり、急性危機時のみにアラートを保持する
  • 保護者：低い閾値を好む傾向があり、機密情報でも通知を受け取りたいと望む

介入の提案

システムおよびキャラクターレベル

  1. 評価システム：映画またはゲームスタイルの評価システムを採用する
  2. 透明性の向上：AIキャラクターの能力と行動に関する透明な情報を提供する
  3. AI素養教育：AIの本質と限界に関する入門教育を提供する
  4. ロビーキャラクターメカニズム：反省と安全メカニズムとしての中立的なAIキャラクター

インタラクションレベル

  1. 状況認識監視：家族の価値観に合わせてカスタマイズされた監視
  2. ソフトストップ：機密な境界を優雅に処理し、硬い拒否を避ける
  3. 反省的質問：質問を通じて反省を促す
  4. 感情的距離の維持：ケアを示すが過度な愛着を避ける

社会レベル

  1. 専門家アプローチ：危機時のみエスカレーション、より強力な専門的リソースリンク
  2. 保護者アプローチ：より広範な制限と通知システム

関連研究

AIコンパニオンの発展

1966年のELIZAチャットボットから現代の生成型AIコンパニオンへの進化、市場は2032年までに3814.1億ドルに達すると予測されている。

青少年のオンライン安全性

従来の保護者仲介戦略（制限、監視、積極的仲介）はデジタル環境では効果が限定的であり、より協調的なアプローチが必要である。

利害関係者認識研究

既存の研究は、保護者と青少年がデジタルプライバシーの境界に関して根本的な緊張関係にあることを示しており、AI技術は新しい懸念をもたらしている。

結論と議論

主要な結論

  1. 状況化されたリスク評価：保護者と専門家は異なるが相補的な視点を通じてリスクを評価し、保護者は価値観の一致とトピックの適切性を強調し、専門家は発達スキルの獲得と状況的害の閾値に焦点を当てている
  2. 階層化された保護措置の必要性：安全性は全面的な禁止またはキーワードフィルタリングによって達成することはできず、年齢、成熟度、インタラクションタイプ、家族背景を考慮した階層化された保護措置が必要である
  3. 自律性と保護のバランス：青少年の探索をサポートすることと保護することの間のバランスを見つける必要があり、回復力指向の設計を通じてスキル学習をサポートする

設計への示唆

リスク評価と検出

  • 状況化され発達指向のリスク評価方法が必要
  • 多利害関係者の視点を統合した検出モデル
  • トピックまたは表現のみではなく、インタラクション動態を考慮する

透明性と説明責任

  • 「AIキャラクターカード」または「対話評価」を提供する
  • キャラクター作成プロセスに青少年感度テンプレートを組み込む
  • 青少年にAI素養教育を提供する

パーソナライズされた保護措置

  • 一律のアプローチを避ける
  • 調整可能な家族安全プロファイルを提供する
  • 単なるコントロールではなく協調的調節をサポートする

深い評価

利点

  1. 方法論的革新：実際の対話データを使用した多利害関係者研究を初めて実施し、仮定的なシナリオよりも豊かな洞察を提供する
  2. 実践的ガイダンス値：具体的な設計提案と介入戦略を提供し、AIコンパニオンプラットフォーム開発に直接的なガイダンスを与える
  3. 理論的貢献：保護者と専門家がリスク評価において異なるロジック（イベント対パターン）を持つことを特定し、利害関係者の相違を理解するための理論的フレームワークを提供する
  4. 研究の厳密性：複数研究者による符号化、主題分析などを含む厳密な定性研究方法を採用している

不足

  1. サンプルの限界：
    • 米国の参加者のみを含み、文化的多様性が不足している
    • サンプルサイズが比較的小さい（26人）
    • 女性参加者の比率が高い（69%）
  2. 青少年の声の欠如：研究は成人の利害関係者の視点に焦点を当てており、青少年自身の観点と経験が不足している
  3. 長期的影響が不明：対話片段に基づいた短期的評価であり、長期使用の影響を理解できない
  4. 実装の実行可能性：提案された一部の介入措置（個別監視、状況認識システムなど）は、技術実装において課題に直面する可能性がある

影響力

学術的影響

  • AIコンパニオン安全研究のための重要な実証的基礎を確立する
  • ヒューマンコンピュータインタラクション分野の青少年安全研究に新しい研究パラダイムを提供する
  • より多くの学際的協力研究を刺激する可能性がある

実践的影響

  • AIコンパニオンプラットフォーム設計に具体的な安全ガイダンス原則を提供する
  • 関連する規制政策の策定に影響を与える可能性がある
  • 教育者と保護者にAI素養教育の参考を提供する

社会的影響

  • 青少年のAIコンパニオン使用リスクに対する公衆認識を高める
  • AIガバナンスにおける多利害関係者参加を促進する
  • 青少年のデジタルウェルビーイング保護のための科学的根拠を提供する

適用シナリオ

  1. AIコンパニオンプラットフォーム開発：Character.aiなどのプラットフォームの青少年安全機能設計にガイダンスを提供する
  2. 教育技術設計：教育用AIアシスタントの安全設計に参考を提供する
  3. 政策策定：青少年のAI使用に関連する規制政策に実証的サポートを提供する
  4. 家庭教育：保護者が青少年のAI使用を理解・管理するためのガイダンスを提供する
  5. 心理保健サービス：心理保健専門家がAIが青少年に与える影響を理解するための参考を提供する

今後の研究方向

  1. 青少年の視点を含める：今後の研究は青少年の声と経験を直接組み込むべきである
  2. クロスカルチュラル研究：異なる文化的背景に拡張し、リスク認識に対する文化的相違を理解する
  3. 縦断研究：長期追跡研究を実施し、AIコンパニオン使用の長期的影響を理解する
  4. 介入効果評価：提案された介入措置の有効性を実際にテストする
  5. 技術実装研究：提案された安全措置を技術レベルで実装する方法を探索する

総合評価：これは高品質なヒューマンコンピュータインタラクション研究であり、新興で重要な分野に貴重な実証的洞察を提供している。いくつかの限界があるにもかかわらず、AIコンパニオン安全設計への貢献は顕著であり、この急速に発展する分野の責任ある発展のための重要な基礎を築いている。