Erforschung der Wahrnehmungen von Lehrkräften zu ChatGPT durch Prompt Engineering

Grundinformationen

• Papier-ID: 2510.08634
• Titel: Exploring Teachers' Perceptions of ChatGPT Through Prompt Engineering
• Autor: Dimitrios Gousopoulos (Panteion University)
• Klassifizierung: physics.ed-ph cs.CY
• Veröffentlichungszeit/Konferenz: Keine spezifische Konferenz angegeben
• Papierlink: https://arxiv.org/abs/2510.08634

Zusammenfassung

Künstliche Intelligenz, insbesondere große Sprachmodelle (LLM) wie ChatGPT, haben die Arbeitsweise von Pädagogen grundlegend verändert. Die Ergebnisse, die wir von LLMs erhalten, hängen davon ab, wie wir sie um Hilfe bitten. Der Prozess und die Techniken hinter effektiven Eingaben werden als Prompt Engineering bezeichnet. Diese Studie zielt darauf ab zu untersuchen, ob Naturwissenschaftslehrkräfte der Sekundarstufe nach angemessenem Prompt-Engineering-Training ihre Einstellung zu ChatGPT als Lernhilfe verbessern. Die in diesem Artikel präsentierten Pilotstudien-Ergebnisse zeigen, dass die Wahrnehmungen der genannten Lehrkräfte tatsächlich verbessert wurden.

Forschungshintergrund und Motivation

Problemdefinition

Die Kernfrage dieser Studie lautet: Wie ist die Einstellung von Naturwissenschaftslehrkräften der Sekundarstufe zu ChatGPT als Bildungshilfe, und kann Prompt-Engineering-Training diese Einstellung verbessern?

Bedeutungsanalyse

1. Kontext des technologischen Wandels: Seit der Einführung des Transformer-Mechanismus 2017 besteht großes Potenzial für die Anwendung großer Sprachmodelle im Bildungsbereich
2. Anforderungen der Bildungspraxis: ChatGPT kann personalisiertes Lernen, Verbesserung von Problemlösungsfähigkeiten und Verständnis physikalischer Konzepte unterstützen
3. Trend der Mensch-Maschine-Zusammenarbeit: Optimale KI-gestützte Lernumgebungen erfordern effektive Mensch-Maschine-Zusammenarbeit, wobei sich die Lehrerrolle vom Informationsvermittler zum Lernbegleiter und Moderator verschiebt

Einschränkungen bestehender Forschung

1. Hindernisse bei der Technologienutzung: Lücken in der Wahrnehmung und Nutzungskompetenz von Lehrkräften bei KI-Tools
2. Qualitätskontrollprobleme: LLMs haben Einschränkungen bei der Verarbeitung komplexer Inhalte und erfordern menschliche Intervention zur Gewährleistung der Genauigkeit
3. Fehlende Schulung: Mangel an systematischer Forschung zu Prompt-Engineering-Schulungen für Lehrkräfte

Forschungsmotivation

Durch Prompt-Engineering-Schulung die Wahrnehmung und Nutzungskompetenz von Lehrkräften bei ChatGPT verbessern, um das Potenzial von KI in der naturwissenschaftlichen Bildung besser zu nutzen.

Kernbeiträge

1. Theoretischer Beitrag: Validierung der Wirksamkeit von Prompt-Engineering-Schulungen zur Verbesserung der KI-Einstellung von Lehrkräften
2. Methodischer Beitrag: Vorschlag der GPEI-Methodik (Goal Prompt Evaluation Iteration) und eines Schulungsrahmens für verschiedene Prompt-Techniken
3. Empirischer Beitrag: Quantitative Evidenz für Einstellungsveränderungen von Naturwissenschaftslehrkräften der Sekundarstufe zu ChatGPT
4. Praktischer Beitrag: Konkrete KI-Tool-Schulungslösungen für die berufliche Entwicklung von Lehrkräften

Methodische Details

Aufgabendefinition

Eingabe: Anfängliche KI-Einstellung von Naturwissenschaftslehrkräften der Sekundarstufe Verarbeitung: 3-wöchiges Prompt-Engineering-Training (Theorie + Praxis) Ausgabe: Einstellungsveränderungen von Lehrkräften zu ChatGPT als Bildungshilfe nach dem Training Einschränkungen: Kleinere Stichprobenstudie basierend auf Gelegenheitsstichprobenziehung (14 Lehrkräfte)

Forschungsdesign-Architektur

1. Teilnehmerauswahl

• Stichprobengröße: 14 Naturwissenschaftslehrkräfte
• Quelle: Jeweils die Hälfte aus öffentlichen und privaten Schulen der Sekundarstufe I und II
• Stichprobenmethode: Gelegenheitsstichprobenziehung

2. Messinstrumente

• Fragebogengrundlage: Basierend auf Forschung von Nazaretsky et al. (2022), übersetzt und an griechisches Umfeld angepasst
• Struktur: 14 Fragen auf fünfstufiger Likert-Skala
• Dimensionen:
  • (a) Wahrnehmung des Nutzens von KI in Bildungsumgebungen
  • (b) Verbesserung des Lehrprozesses durch Zusammenarbeit mit KI

3. Schulungsinhalte

Theoretische Schulung:

• GPEI-Methodik (Goal Prompt Evaluation Iteration)
• Grundlagentheorie des Prompt Engineering

Praktische Schulung:

• The Persona Pattern (Persona-Muster)
• The Interview Pattern (Interview-Muster)
• Chain-of-Thought (Gedankenkette)

Schulungszyklus: 3 Wochen, 2x pro Woche, je 2 Stunden

Technische Innovationen

1. Systematischer Schulungsrahmen: Erstmalige Anwendung der GPEI-Methodik auf KI-Schulung für Lehrkräfte
2. Multi-Modus-Prompt-Techniken: Integration mehrerer Prompt-Modi für umfassende Kompetenzschulung
3. Bildungskontextualisierung: Integration von Prompt-Engineering-Techniken mit naturwissenschaftlicher Unterrichtspraxis
4. Einstellungsmessung: Prä-Post-Vergleichsdesign zur Quantifizierung der Schulungseffekte

Experimentelle Einrichtung

Datenerfassung

• Vortest: Einstellungsfragebogen vor dem Training
• Intervention: 3-wöchiges Prompt-Engineering-Training
• Nachtest: Identischer Fragebogen nach dem Training

Bewertungsindikatoren

• Hauptindikator: Medianveränderung der durchschnittlichen Fragebogenwerte
• Statistische Methode: Wilcoxon-Vorzeichenrangtest (nichtparametrischer Test)
• Ergänzende Analyse: Bootstrap-Methode (10.000 Resampling-Durchläufe)

Vergleichsmethode

Prä-Post-Vergleichsdesign mit Teilnehmern als eigene Kontrollgruppe

Implementierungsdetails

• Statistische Software: R-Sprache
• Signifikanzniveau: p < 0,001
• Konfidenzintervall: 95%-Konfidenzintervall (Bootstrap-Methode)

Experimentelle Ergebnisse

Hauptergebnisse

Signifikanztestung

• Wilcoxon-Testergebnis: Z = -3,296, p < 0,001
• Schlussfolgerung: Statistisch signifikante Unterschiede in der Lehrkräfte-Einstellung vor und nach dem Training
• Richtung: Der Median nach dem Training ist signifikant höher als vor dem Training

Bootstrap-Analyse

• Resampling-Durchläufe: 10.000
• 95%-Konfidenzintervall: 0,682, 0,909
• Interpretation: Das Konfidenzintervall enthält nicht 0, was die statistische Signifikanz bestätigt

Experimentelle Erkenntnisse

1. Deutliche Einstellungsverbesserung: Alle teilnehmenden Lehrkräfte zeigten nach dem Training positivere Einstellungen
2. Stabile Effekte: Bootstrap-Analyse bestätigt die Robustheit der Ergebnisse
3. Praktische Bedeutung: Lehrkräfte zeigen größeres Vertrauen in LLM-Fähigkeiten und höhere Anerkennung von KI-Bildungshilfen

Fallstudienanalyse

Das Training ermöglichte Lehrkräften:

• Verwendung des Persona Pattern zur Gestaltung personalisierter Lernszenarien
• Entwicklung forschungsgestützter Physikunterrichtsaktivitäten
• Identifikation von Schülerlernproblemen
• Generierung von Bewertungsfragen, die dem Klassenniveau und den Anforderungen entsprechen
• Unterstützung differenzierter Lehre und inklusiven Lernens

Verwandte Arbeiten

KI-Anwendungen in der Physikdidaktik

• Personalisiertes Lernen: Mahligawati et al. (2023), Yeadon & Hardy (2024) betonen die Rolle von ChatGPT bei der Verbesserung von Problemlösungsfähigkeiten
• Interaktives Lernen: Von Zhu et al. (2023) vorgeschlagenes Rahmenwerk mit vier Lerninteraktionstypen
• Unterrichtsdesign: Forschung von Mustofa et al. (2024) zu KI-gestütztem Unterrichtsdesign

Forschung zu Lehrkräfte-Einstellungen

• Positive Einstellungen: Beege et al. (2024) fanden positive Einstellungen von Naturwissenschaftslehrkräften zu ChatGPT
• Schulungsbedarf: Bestehende Forschung fehlt es an systematischen KI-Schulungsprogrammen für Lehrkräfte

Prompt-Engineering-Forschung

• Theoretische Grundlagen: Prompt-Engineering-Katalog von Schmidt et al. (2023)
• Bildungsanwendung: Forschung von Leung (2024) zu Prompt-Engineering-Anwendungen in der Bildung

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

1. Hypothesenvalidierung: Die Forschungshypothese wird unterstützt; Prompt-Engineering-Training verbessert tatsächlich die Einstellung von Lehrkräften zu ChatGPT
2. Praktischer Wert: Das Vertrauen und die Anerkennung von KI-Tools durch Lehrkräfte nach dem Training sind signifikant gestiegen
3. Anwendungspotenzial: Lehrkräfte können Prompt-Engineering-Techniken in der praktischen Unterrichtspraxis anwenden

Einschränkungen

1. Stichprobengröße: Nur 14 Teilnehmer, was die Verallgemeinerbarkeit der Ergebnisse einschränkt
2. Messinstrument: Validität und Reliabilität des Fragebogens im griechischen Kontext nicht überprüft
3. Trainingsdauer: 3-wöchiges Training ist relativ kurz
4. Forschungsdesign: Fehlen einer Kontrollgruppe zum Vergleich
5. Langzeiteffekte: Nachhaltigkeit der Trainingseffekte nicht bewertet

Zukünftige Richtungen

1. Stichprobenerweiterung: Durchführung größerer Studien zur Validierung der Ergebnisse
2. Qualitative Forschung: Einsatz qualitativer Methoden zur tieferen Erforschung der Einflussfaktoren auf Einstellungsveränderungen
3. Instrumentenvalidierung: Validierung der psychometrischen Eigenschaften des Messinstruments im griechischen Kontext
4. Langzeit-Nachverfolgung: Bewertung der Nachhaltigkeit und praktischen Anwendung der Trainingseffekte
5. Kontrollierte Experimente: Gestaltung von Kontrollgruppenstudien zur Stärkung der Kausalschlussfolgerung

Tiefenbewertung

Stärken

1. Innovativität: Erste systematische Untersuchung der Auswirkungen von Prompt-Engineering-Schulungen auf die KI-Einstellung von Lehrkräften
2. Praktizität: Bereitstellung konkreter, umsetzbarer Schulungspläne und Techniken
3. Strenge: Verwendung angemessener statistischer Methoden, einschließlich nichtparametrischer Tests und Bootstrap-Analyse
4. Relevanz: Direkte Bezugnahme auf aktuelle Fragen der KI-Bildungsanwendung
5. Zukunftsorientierung: Neue Richtung für die berufliche Entwicklung von Lehrkräften

Mängel

1. Stichprobenrepräsentativität: Gelegenheitsstichprobenziehung und kleine Stichprobe schränken die externe Validität ein
2. Forschungsdesign: Fehlen einer Kontrollgruppe erschwert den Ausschluss anderer Störfaktoren
3. Messentiefen: Nur Einstellungsfragebogen, fehlende Messungen auf Verhaltensebene
4. Kulturelle Anpassung: Unzureichende Validierung der Fragebogenübersetzung und kulturellen Anpassung
5. Mechanismuserklärung: Fehlende tiefgehende Analyse der Mechanismen der Einstellungsveränderung

Auswirkungen

1. Akademischer Beitrag: Neue Perspektive und Evidenz für KI-Bildungsanwendungsforschung
2. Praktische Orientierung: Referenzrahmen für Bildungsinstitutionen zur Durchführung von KI-Schulungen
3. Politische Implikationen: Unterstützung für die Integration von KI-Kompetenzschulung in die berufliche Entwicklung von Lehrkräften
4. Nachfolgeforschung: Grundlage für weitere Forschung in verwandten Bereichen

Anwendungsszenarien

1. Lehrkräfte-Schulungsinstitutionen: Können ähnliche Rahmenwerke für KI-Tool-Schulungen einsetzen
2. Schulmanagement: Referenz für die Formulierung von KI-Bildungspolitiken
3. Forschungsinstitutionen: Grundlage für die Durchführung größerer verwandter Forschungsprojekte
4. Technologieentwicklung: Benutzeranforderungen für die Entwicklung lehrerfreundlicher KI-Tools

Literaturverzeichnis

Diese Studie zitiert umfangreiche relevante Literatur, hauptsächlich einschließlich:

1. KI-Bildungsanwendungen: Umfassende Analyse von Kasneci et al. (2023) zu Chancen und Herausforderungen von ChatGPT in der Bildung
2. Prompt Engineering: Prompt-Pattern-Katalog-Forschung von Schmidt et al. (2023)
3. Messung von Lehrkräfte-Einstellungen: KI-Bildungstechnologie-Vertrauensmessinstrument von Nazaretsky et al. (2022)
4. KI-Anwendungen in der Physikdidaktik: Verwandte Forschung von Mahligawati et al. (2023), Yeadon & Hardy (2024) und anderen

Diese Studie bietet wichtige empirische Unterstützung für die Anwendung von KI in der naturwissenschaftlichen Bildung. Trotz bestimmter Einschränkungen legt sie eine solide Grundlage für zukünftige verwandte Forschung und Praxis.