Prinzipien sicherer KI-Begleiter für Jugendliche: Perspektiven von Eltern und Experten

Grundinformationen

• Paper-ID: 2510.11185
• Titel: Principles of Safe AI Companions for Youth: Parent and Expert Perspectives
• Autoren: Yaman Yu, Mohi, Aishi Debroy, Xin Cao, Karen Rudolph, Yang Wang
• Klassifikation: cs.HC (Human-Computer Interaction)
• Veröffentlichungszeitpunkt/Konferenz: CHI '26, 13.–18. April 2026, Barcelona, Spanien
• Paper-Link: https://arxiv.org/abs/2510.11185

Zusammenfassung

KI-Begleiter werden bei Jugendlichen zunehmend populär, doch aktuelle Plattformen mangelt es an Schutzmaßnahmen gegen Entwicklungsrisiken und schädliche Normalisierung. Trotz wachsender Bedenken ist wenig über die Bewertung dieser Interaktionen durch Eltern und Entwicklungspsychologen sowie über notwendige Schutzmaßnahmen bekannt. Diese Studie führte halbstrukturierte Interviews mit 26 Eltern und Experten durch, die echte Gesprächsfragmente zwischen Jugendlichen und KI-Begleitern überprüften. Die Forschung zeigt, dass Interessenvertreter Risiken kontextabhängig bewerten und dabei Faktoren wie Jugendlichenreife, KI-Rollenalter und die Vermittlung von Werten und Normen durch die KI-Rolle berücksichtigen. Die Studie identifiziert unterschiedliche Bewertungslogiken: Eltern kennzeichnen einzelne Ereignisse (wie Suiziderwähnungen oder Flirten) als hochriskant, während Experten sich auf zeitliche Muster konzentrieren (wie wiederholte Selbstverletzungserwähnungen oder anhaltende Abhängigkeit). Beide Gruppen schlagen Interventionen vor, wobei Eltern umfassendere Überwachung bevorzugen und Experten eher vorsichtige, nur in Krisen eskalierte Ansätze mit jugendlichenorientierten Schutzmaßnahmen befürworten.

Forschungshintergrund und Motivation

Problemdefinition

Mit dem Aufstieg generativer KI haben sich KI-Begleiter von traditionellen informationsbereitstellenden Chatbots zu digitalen Charakteren entwickelt, die emotionale Bindungen aufbauen und Beziehungen simulieren können. Umfragen zeigen, dass 72% der Jugendlichen in den USA KI-Begleiter nutzen, über die Hälfte regelmäßig mit ihnen interagiert und knapp ein Drittel sie für soziale Interaktionen oder emotionale Verbindungen nutzt.

Bedeutung des Problems

Jugendliche als besonders vulnerable Gruppe sehen sich einzigartigen Entwicklungsrisiken gegenüber:

1. Entwicklungsphasenschnittstelle: KI-Begleiter-Interaktionen schneiden sich mit der sozialen und emotionalen Entwicklungsphase von Jugendlichen, was ihre Entwicklungsbahn prägen könnte
2. Dokumentierte Tragödien: Es gibt zwei bekannte Fälle von Jugendlichen, die nach längeren Gesprächen mit KI-Begleitern Suizid begangen haben
3. Fehlende Interessenvertreterbeteiligung: Eltern und Kinderentwicklungsexperten sind sich der Nutzung von KI-Begleitern durch Kinder oft nicht bewusst und werden von Systemdesign-Entscheidungen ausgeschlossen

Einschränkungen bestehender Ansätze

1. Fehlende Schutzmaßnahmen: Metas interne Richtlinien sollen KI-Systemen erlauben, mit Kindern romantische oder sinnliche Gespräche zu führen
2. Forschungslücken: Mangel an Multi-Interessenvertreter-Wahrnehmungsstudien basierend auf echten Gesprächsdaten
3. Fehlende Governance: Mangel an evidenzgestützten Governance-Rahmen für Jugendliche-KI-Begleiter-Interaktionen

Forschungsmotivation

Diese Studie zielt darauf ab, erwachsene Interessenvertreter, die eine Schlüsselrolle in der Jugendlichenentwicklung spielen, in frühen Phasen der Governance von Jugendliche-KI-Begleitern einzubeziehen und eine empirische Grundlage für die Gestaltung sicherer KI-Begleiter-Systeme zu schaffen.

Kernbeiträge

1. Erste empirische Studie basierend auf Gesprächsdaten: Bietet die erste empirische Studie, die Gesprächsdaten nutzt, um Multi-Interessenvertreter-Wahrnehmungen von Vorteilen und Risiken bei Jugendliche-KI-Begleiter-Interaktionen zu erfassen
2. Identifikation von Risikobewertungslogiken: Identifiziert, wie Eltern und Experten Risiken durch geschichtete Kontextfaktoren bewerten und offenbart ihre unterschiedlichen Urteilslogiken
3. Designprinzipien: Schlägt Interessenvertreter-Empfehlungen und Interventionsmaßnahmen über Systemdesign, Rollendesign, Interaktionsschutzmaßnahmen und gesellschaftliche Beteiligung vor

Methodische Details

Forschungsdesign

Diese Studie nutzt qualitative Forschungsmethoden durch halbstrukturierte Interviews, bei denen Teilnehmer echte Jugendliche-KI-Begleiter-Gesprächsfragmente überprüfen und ihre wahrgenommenen Vorteile und Bedenken diskutieren.

Datenerfassungsprozess

Gesprächsfragmentsammlung

• Datenquelle: Character.ai-Plattform, eine weit verbreitete generative KI-Begleiter-Plattform
• Teilnehmer: 11 Jugendliche Nutzer im Alter von 13–21 Jahren
• Datengröße: 253 Textgesprächsprotokolle
• Fragmentauswahl: Das Forschungsteam wählte 8 Gesprächsfragmente aus, die verschiedene Themen, Rollen und Interaktionsstile repräsentieren

Teilnehmerrekrutierung

• Rekrutierungsplattform: Rekrutierung über Prolific-Plattform
• Einschlusskriterien:
  • Elterngruppe: Englischsprachig, in den USA ansässig, mindestens ein Kind im Alter von 13–21 Jahren
  • Expertengruppe: Hintergrund oder Arbeitserfahrung in Entwicklungspsychologie
• Endgültige Stichprobe: 26 Teilnehmer (einschließlich 5 Pilotinterviews), davon 8 Eltern und 13 Experten

Interviewprotokoll

Interviewstruktur

1. Aufwärmfragen: Verständnis des Teilnehmerhintergrunds
2. Lautes Denken-Sitzung: Überprüfung von Gesprächsfragmenten und Echtzeitgedankenaustauch
3. Nachfolgende Diskussion: Tiefere Erkundung von Risikobewertungsfaktoren, Akzeptanzgrenzen und Interventionspräferenzen

Datenanalyse

Thematische Analysemethode wurde angewendet, wobei vier Forscher unabhängig 20% des Datensatzes kodieren, um initiale Codes und Themen zu entwickeln, gefolgt von kollaborativer Kodierung der verbleibenden Daten.

Experimentelle Einrichtung

Datensatzmerkmale

Die 8 verwendeten Gesprächsfragmente umfassen drei Hauptinteraktionstypen:

1. Romantische und intime Erkundung
2. Suche nach sozioemotionaler Unterstützung und Begleitung
3. Unterhaltung und narrative Mitgestaltung

Teilnehmermerkmale

• Geschlechterverteilung: 69% weiblich, 31% männlich, 4% nicht-binär
• Geografische Verteilung: Alle aus verschiedenen US-Bundesstaaten
• Fachlicher Hintergrund: Expertenteilnehmer haben Abschlüsse oder Arbeitserfahrung in entwicklungspsychologischen Bereichen

Ethische Überlegungen

• Genehmigung durch Institutional Review Board (IRB)
• Alle Teilnehmer gaben informierte Zustimmung
• Anonymisierung der Daten
• Sichere Speicherung auf verschlüsselten institutionellen Servern

Experimentelle Ergebnisse

Hauptergebnisse

1. Bewertung romantischer und intimer Interaktionen

Zwei Hauptpositionen:

• Bedingt akzeptierende Gruppe (n=12): Betrachtet dies als Entwicklungs-"Sandbox" zum Trainieren sozialer Skripte und Erkunden romantischer Gefühle
• Inhärentes Risiko-Gruppe (n=6): Betrachtet es als inhärent riskant und inakzeptabel für Minderjährige unter 18 Jahren

Schlüsselbewertungsfaktoren:

• Alter und Reife des Jugendlichen
• KI-Rollenalter und Altersunterschied zum Jugendlichen
• Absicht und Initiative des Jugendlichen vs. KI-Dominanz
• Interaktionshäufigkeit und Muster
• Von der KI modelliertes Verhalten und Werte

2. Bewertung sozioemotionaler Unterstützung

Wahrgenommene Vorteile:

• Bereitstellung eines urteilsfreien Auslassventils
• Förderung von Selbstausdruck und emotionaler Regulierung
• Übungsraum für sozial schüchterne Jugendliche

Risikogrenzen:

• KI als therapeutisch, aber nicht als Therapie selbst
• Grenze zwischen Beratung und emotionaler Bindung
• Gleichgewicht zwischen Bestätigung und Überbestätigung
• Probleme mit KI-Unfähigkeit, emotionale Hinweise zu erkennen

3. Bewertung von Unterhaltung und narrativer Mitgestaltung

Hauptbedenken:

• Beurteilung der Angemessenheit basierend auf Rollenidentität und Quellmedium
• Versteckte Risiken in scheinbar freundlichen Rollen
• Mehrdeutige und entwicklungsunangemessene Sprache
• Auswirkungen von Jugendlichentraumata und psychischer Gesundheit

Unterschiede in Bewertungslogiken

Eltern vs. Experten bei der Risikobewertung

• Eltern: Nutzen ereignisbasierte Methode, kennzeichnen einzelne besorgniserregende Elemente als hochriskant
• Experten: Betonen musterbasierte Logik, bewerten, ob besorgniserregende Elemente wiederholt, verschärft oder anhaltend sind

Unterschiede bei Schwellwerten für Elternbeteiligung

• Experten: Bevorzugen hohe Schwellwerte, behalten Warnungen nur bei akuten Krisen vor
• Eltern: Bevorzugen niedrige Schwellwerte, wünschen Benachrichtigungen auch in sensiblen Situationen

Interventionsempfehlungen

System- und Rollenebene

1. Bewertungssystem: Adoption eines Film- oder Spielstil-Bewertungssystems
2. Transparenzverbesserung: Bereitstellung transparenter Informationen über KI-Rollenfähigkeiten und -verhalten
3. KI-Literaturbildung: Bereitstellung von Einführungsbildung über KI-Natur und -Grenzen
4. Lobby-Rollenmechanismus: Neutrale KI-Rolle als Reflexions- und Sicherheitsmechanismus

Interaktionsebene

1. Kontextbewusste Überwachung: Anpassung der Überwachung an Familienwerte
2. Sanfte Stopps: Elegante Handhabung sensibler Grenzen, Vermeidung harter Ablehnungen
3. Reflektive Fragen: Förderung von Reflexion durch Fragen
4. Emotionale Distanz bewahren: Fürsorge zeigen, aber übermäßige Bindung vermeiden

Gesellschaftliche Ebene

1. Expertenansatz: Nur Kriseneeskalation, stärkere Verknüpfung mit professionellen Ressourcen
2. Elternansatz: Umfassendere Einschränkungs- und Benachrichtigungssysteme

Verwandte Arbeiten

KI-Begleiter-Entwicklung

Evolution vom ELIZA-Chatbot von 1966 zu modernen generativen KI-Begleitern, mit Marktprognosen von 381,41 Milliarden Dollar bis 2032.

Jugendlichensicherheit online

Traditionelle elterliche Vermittlungsstrategien (Einschränkung, Überwachung, aktive Vermittlung) zeigen begrenzte Wirksamkeit in digitalen Umgebungen und erfordern kollaborativere Ansätze.

Interessenvertreter-Wahrnehmungsforschung

Bestehende Forschung zeigt grundlegende Spannungen zwischen Eltern und Jugendlichen bei digitalen Datenschutzgrenzen, wobei KI-Technologie neue Bedenken einführt.

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Kontextualisierte Risikobewertung: Eltern und Experten bewerten Risiken durch unterschiedliche aber komplementäre Perspektiven, wobei Eltern Wertkonsistenz und Themenangemessenheit betonen und Experten sich auf Entwicklungsfähigkeitserwerb und Schadenschwellen konzentrieren
2. Bedarf an gestuften Schutzmaßnahmen: Sicherheit kann nicht durch umfassende Verbote oder Schlüsselwortfilter erreicht werden; gestaffelte Schutzmaßnahmen unter Berücksichtigung von Alter, Reife, Interaktionstyp und Familienhintergrund sind erforderlich
3. Ausgleich zwischen Autonomie und Schutz: Notwendigkeit, ein Gleichgewicht zwischen Unterstützung jugendlicher Erkundung und Schutz zu finden, durch widerstandsorientiertes Design zur Unterstützung von Fähigkeitserwerb

Designimplikationen

Risikobewertung und -erkennung

• Bedarf an kontextualisierten und entwicklungsorientierten Risikobewertungsmethoden
• Erkennungsmodelle, die Multi-Interessenvertreter-Perspektiven integrieren
• Berücksichtigung von Interaktionsdynamiken statt nur Thema oder Wortlaut

Transparenz und Rechenschaftspflicht

• Bereitstellung von "KI-Rollenkarten" oder "Gesprächsbewertungen"
• Einbettung jugendlichensensitiver Vorlagen in den Rollenerstellungsprozess
• KI-Literaturbildung für Jugendliche

Personalisierte Schutzmaßnahmen

• Vermeidung von Einheitsansätzen
• Bereitstellung anpassbarer Familiensicherheitsprofile
• Unterstützung von Mitregulation statt reiner Kontrolle

Tiefenbewertung

Stärken

1. Methodologische Innovation: Erste Nutzung echter Gesprächsdaten für Multi-Interessenvertreter-Forschung, bietet reichhaltigere Erkenntnisse als hypothetische Szenarien
2. Praktischer Orientierungswert: Bietet konkrete Designempfehlungen und Interventionsstrategien mit direkter Orientierungsfunktion für KI-Begleiter-Plattformentwicklung
3. Theoretischer Beitrag: Identifiziert unterschiedliche Logiken bei der Risikobewertung zwischen Eltern und Experten (Ereignis vs. Muster), bietet theoretischen Rahmen zum Verständnis von Interessenvertreter-Unterschieden
4. Forschungsstrenge: Anwendung strenger qualitativer Forschungsmethoden, einschließlich Multi-Forscher-Kodierung und thematischer Analyse

Einschränkungen

1. Stichprobenlimitationen:
   • Nur US-Teilnehmer, mangelnde kulturelle Vielfalt
   • Relativ kleine Stichprobengröße (26 Personen)
   • Höherer Anteil weiblicher Teilnehmer (69%)
2. Fehlende Jugendlichenstimmen: Forschung konzentriert sich auf erwachsene Interessenvertreter-Perspektiven, mangelnde Einbeziehung jugendlicher Standpunkte und Erfahrungen
3. Langzeitauswirkungen unbekannt: Kurzzeitevaluierung basierend auf Gesprächsfragmenten, keine Erkenntnisse über Langzeitnutzungsauswirkungen
4. Implementierbarkeit: Einige vorgeschlagene Interventionsmaßnahmen (wie personalisierte Überwachung, kontextbewusste Systeme) könnten bei technischer Umsetzung auf Herausforderungen stoßen

Auswirkungen

Akademische Auswirkungen

• Etablierung einer wichtigen empirischen Grundlage für KI-Begleiter-Sicherheitsforschung
• Bereitstellung neuer Forschungsparadigmen für Jugendlichensicherheitsforschung im Bereich Mensch-Computer-Interaktion
• Mögliche Anregung weiterer interdisziplinärer Kooperationsforschung

Praktische Auswirkungen

• Bereitstellung konkreter Sicherheitsorientierungsprinzipien für KI-Begleiter-Plattformdesign
• Mögliche Beeinflussung der Formulierung relevanter Regulierungspolitik
• Bereitstellung von Referenzen für KI-Literaturbildung für Pädagogen und Eltern

Gesellschaftliche Auswirkungen

• Erhöhung des öffentlichen Bewusstseins für Risiken der Jugendlichennutzung von KI-Begleitern
• Förderung der Multi-Interessenvertreter-Beteiligung an KI-Governance
• Bereitstellung wissenschaftlicher Grundlagen zum Schutz des digitalen Wohlbefindens von Jugendlichen

Anwendungsszenarien

1. KI-Begleiter-Plattformentwicklung: Orientierung für die Gestaltung von Jugendlichensicherheitsfunktionen auf Plattformen wie Character.ai
2. Bildungstechnologie-Design: Referenzen für Sicherheitsdesign von Bildungs-KI-Assistenten
3. Politische Formulierung: Empirische Unterstützung für Regulierungspolitik bezüglich Jugendlichennutzung von KI
4. Familienbildung: Orientierung für Eltern zum Verständnis und zur Verwaltung der Jugendlichennutzung von KI
5. Psychische Gesundheitsdienste: Referenzen für psychische Gesundheitsfachleute zum Verständnis von KI-Auswirkungen auf Jugendliche

Zukünftige Forschungsrichtungen

1. Einbeziehung jugendlicher Perspektiven: Zukünftige Forschung sollte direkt Jugendlichenstimmen und -erfahrungen einbeziehen
2. Transkulturelle Forschung: Erweiterung auf verschiedene kulturelle Hintergründe, Verständnis kultureller Unterschiede bei der Risikowahrnehmung
3. Längsschnittstudien: Durchführung langfristiger Verfolgungsstudien zur Erfassung von Langzeitauswirkungen der KI-Begleiter-Nutzung
4. Interventionseffektivitätsevaluierung: Praktische Prüfung der Wirksamkeit vorgeschlagener Interventionsmaßnahmen
5. Technische Implementierungsforschung: Erkundung der technischen Umsetzung vorgeschlagener Sicherheitsmaßnahmen

Gesamtbewertung: Dies ist eine hochwertige Mensch-Computer-Interaktions-Forschung, die wertvolle empirische Erkenntnisse in einem aufstrebenden und wichtigen Bereich bietet. Trotz einiger Einschränkungen sind ihre Beiträge zum Design der KI-Begleiter-Sicherheit erheblich und legen eine wichtige Grundlage für die verantwortungsvolle Entwicklung dieses schnell wachsenden Feldes.