Artificial Intelligence and especially Large Language Models (LLM), such as ChatGPT has revolutionized the way educators work. The results we get from LLMs depend on how we ask them to help us. The process and the technique behind an effective input is called prompt engineering. The aim of this study is to investigate whether science educators in secondary education improve their attitude toward ChatGPT as a learning assistant after appropriate training in prompt engineering. The results of the pilot study presented in this paper show an improvement in the previously mentioned teachers perceptions.
- ID de l'article : 2510.08634
- Titre : Exploring Teachers' Perceptions of ChatGPT Through Prompt Engineering
- Auteur : Dimitrios Gousopoulos (Université Panteion)
- Classification : physics.ed-ph cs.CY
- Date de publication/Conférence : Non explicitement indiquée
- Lien de l'article : https://arxiv.org/abs/2510.08634
L'intelligence artificielle, en particulier les grands modèles de langage (LLM) comme ChatGPT, a révolutionné la façon dont les éducateurs travaillent. Les résultats que nous obtenons des LLM dépendent de la manière dont nous leur demandons de nous aider. Le processus et les techniques derrière les entrées efficaces sont appelés ingénierie des invites. Cette étude vise à investiguer si les éducateurs en sciences de l'enseignement secondaire, après avoir reçu une formation appropriée en ingénierie des invites, amélioreront leurs attitudes envers ChatGPT en tant qu'assistant d'apprentissage. Les résultats de l'étude pilote présentés dans cet article montrent que les perceptions des enseignants susmentionnés se sont améliorées.
La question centrale que cette recherche aborde est la suivante : quelles sont les attitudes des enseignants de sciences de l'enseignement secondaire envers ChatGPT en tant qu'assistant pédagogique, et la formation en ingénierie des invites peut-elle améliorer ces attitudes ?
- Contexte de transformation technologique : Depuis l'introduction du mécanisme Transformer en 2017, les grands modèles de langage présentent un potentiel considérable dans le domaine de l'éducation
- Besoins de la pratique pédagogique : ChatGPT peut soutenir l'apprentissage personnalisé, l'amélioration des compétences en résolution de problèmes et la compréhension des concepts physiques
- Tendance de la collaboration homme-machine : Les environnements d'apprentissage améliorés par l'IA optimaux nécessitent une collaboration homme-machine efficace, transformant le rôle de l'enseignant de transmetteur d'informations à guide et facilitateur
- Obstacles à l'utilisation technologique : Écarts dans la connaissance et les compétences d'utilisation des outils d'IA par les enseignants
- Problèmes de contrôle de qualité : Limitations des LLM dans le traitement de contenu complexe, nécessitant une intervention humaine pour assurer la précision
- Absence de formation : Manque de recherches systématiques sur la formation en ingénierie des invites destinée aux enseignants
Améliorer la connaissance et les compétences d'utilisation de ChatGPT par les enseignants par le biais d'une formation en ingénierie des invites, afin de mieux exploiter le potentiel de l'IA dans l'enseignement des sciences.
- Contribution théorique : Validation de l'efficacité de la formation en ingénierie des invites pour améliorer les attitudes des enseignants envers l'IA
- Contribution méthodologique : Proposition de la méthodologie GPEI (Goal Prompt Evaluation Iteration) et d'un cadre de formation pour plusieurs techniques d'invites
- Contribution empirique : Fourniture de preuves quantifiées des changements d'attitudes des enseignants de sciences de l'enseignement secondaire envers ChatGPT
- Contribution pratique : Fourniture de plans de formation concrets en outils d'IA pour le développement professionnel des enseignants
Entrée : Attitudes initiales envers l'IA des enseignants de sciences de l'enseignement secondaire
Traitement : Formation en ingénierie des invites de 3 semaines (théorique + pratique)
Sortie : Changements dans les attitudes des enseignants envers ChatGPT en tant qu'assistant pédagogique après la formation
Contraintes : Étude sur petit échantillon basée sur l'échantillonnage de convenance (14 enseignants)
- Taille de l'échantillon : 14 enseignants de sciences naturelles
- Source : Moitié provenant d'écoles publiques et moitié d'écoles privées
- Méthode d'échantillonnage : Échantillonnage de convenance
- Base du questionnaire : Basé sur la recherche de Nazaretsky et al. (2022), traduit et adapté au contexte grec
- Structure : 14 questions sur une échelle de Likert à cinq points
- Dimensions :
- (a) Perception des avantages de l'IA dans les environnements pédagogiques
- (b) Collaboration avec l'IA pour améliorer le processus d'enseignement
Formation théorique :
- Méthodologie GPEI (Goal Prompt Evaluation Iteration)
- Théorie fondamentale de l'ingénierie des invites
Formation pratique :
- The Persona Pattern (Modèle de Persona)
- The Interview Pattern (Modèle d'Entrevue)
- Chain-of-Thought (Chaîne de Pensée)
Cycle de formation : 3 semaines, 2 fois par semaine, 2 heures par session
- Cadre de formation systématique : Application pour la première fois de la méthodologie GPEI à la formation des enseignants en IA
- Techniques d'invites multi-modales : Intégration de plusieurs modes d'invites, offrant une formation complète en compétences
- Contextualisation pédagogique : Combinaison des techniques d'ingénierie des invites avec la pratique de l'enseignement des sciences
- Mesure des attitudes : Conception avant-après pour quantifier les effets de la formation
- Pré-test : Questionnaire d'attitude complété avant la formation
- Intervention : Formation en ingénierie des invites de 3 semaines
- Post-test : Questionnaire identique complété après la formation
- Indicateur principal : Changement de la médiane des scores moyens du questionnaire
- Méthode statistique : Test des rangs signés de Wilcoxon (test non paramétrique)
- Analyse supplémentaire : Méthode Bootstrap (10 000 rééchantillonnages)
Conception avant-après, les participants servant de groupe témoin pour eux-mêmes
- Logiciel statistique : Langage R
- Niveau de signification : p < 0,001
- Intervalle de confiance : Intervalle de confiance à 95 % (méthode Bootstrap)
- Résultat du test de Wilcoxon : Z = -3,296, p < 0,001
- Conclusion : Différence statistiquement significative dans les attitudes des enseignants avant et après la formation
- Direction : La médiane post-formation est significativement plus élevée que celle pré-formation
- Nombre de rééchantillonnages : 10 000
- Intervalle de confiance à 95 % : 0,682, 0,909
- Interprétation : L'intervalle de confiance n'inclut pas 0, confirmant la signification statistique
- Amélioration manifeste des attitudes : Tous les enseignants participants ont montré des attitudes plus positives après la formation
- Effet stable : L'analyse Bootstrap confirme la robustesse des résultats
- Signification pratique : Les enseignants ont montré une plus grande confiance dans les capacités des LLM et une reconnaissance plus élevée des assistants pédagogiques basés sur l'IA
La formation a permis aux enseignants de :
- Utiliser le Persona Pattern pour concevoir des scénarios d'apprentissage personnalisés
- Développer des activités de physique basées sur l'enquête
- Identifier les difficultés d'apprentissage des étudiants
- Générer des questions d'évaluation adaptées au niveau et aux besoins de la classe
- Soutenir l'enseignement différencié et l'apprentissage inclusif
- Apprentissage personnalisé : Mahligawati et al. (2023), Yeadon & Hardy (2024) soulignent le rôle de ChatGPT dans l'amélioration des compétences en résolution de problèmes
- Apprentissage interactif : Cadre de quatre types d'interactions d'apprentissage proposé par Zhu et al. (2023)
- Conception pédagogique : Recherche de Mustofa et al. (2024) sur la conception pédagogique assistée par l'IA
- Attitudes positives : Beege et al. (2024) constatent que les enseignants de sciences ont des attitudes positives envers ChatGPT
- Besoins de formation : Les recherches existantes manquent de plans de formation systématiques en IA pour les enseignants
- Fondement théorique : Catalogue d'ingénierie des invites de Schmidt et al. (2023)
- Application pédagogique : Recherche de Leung (2024) sur l'application de l'ingénierie des invites dans l'éducation
- Validation de l'hypothèse : L'hypothèse de recherche est soutenue ; la formation en ingénierie des invites améliore effectivement les attitudes des enseignants envers ChatGPT
- Valeur pratique : La confiance et la reconnaissance des enseignants envers les outils d'IA augmentent significativement après la formation
- Potentiel d'application : Les enseignants peuvent appliquer les techniques d'ingénierie des invites à la pratique pédagogique réelle
- Taille de l'échantillon : Seulement 14 participants, limitant la généralisation des résultats
- Outils de mesure : La validité et la fiabilité du questionnaire dans le contexte grec n'ont pas été vérifiées
- Durée de la formation : La durée de formation de 3 semaines est relativement courte
- Conception de la recherche : Absence de groupe de comparaison
- Effets à long terme : Pas d'évaluation de la durabilité des effets de la formation
- Élargissement de l'échantillon : Menez des recherches à plus grande échelle pour valider les résultats
- Recherche qualitative : Adoptez des méthodes qualitatives pour explorer en profondeur les facteurs influençant les changements d'attitudes
- Validation des outils : Validez les propriétés psychométriques des outils de mesure dans le contexte grec
- Suivi à long terme : Évaluez la durabilité des effets de la formation et l'application réelle
- Expériences contrôlées : Concevez des études avec groupes de comparaison pour renforcer l'inférence causale
- Innovativité : Première étude systématique de l'impact de la formation en ingénierie des invites sur les attitudes des enseignants envers l'IA
- Praticité : Fourniture de plans de formation concrets et opérationnels et de techniques
- Rigueur : Utilisation de méthodes statistiques appropriées, incluant les tests non paramétriques et l'analyse Bootstrap
- Pertinence : Aborde directement les questions brûlantes de l'application de l'IA dans l'éducation
- Prospective : Ouvre de nouvelles directions pour le développement professionnel des enseignants
- Représentativité de l'échantillon : L'échantillonnage de convenance et le petit échantillon limitent la validité externe des résultats
- Conception de la recherche : Absence de groupe de comparaison, rendant difficile l'exclusion d'autres facteurs confondants
- Profondeur de mesure : Utilisation uniquement de questionnaires d'attitudes, manque de mesures au niveau comportemental
- Adaptation culturelle : Vérification insuffisante de la traduction du questionnaire et de l'adaptation culturelle
- Explication des mécanismes : Manque d'analyse approfondie des mécanismes de changement d'attitudes
- Contribution académique : Fournit une nouvelle perspective et des preuves pour la recherche sur l'application de l'IA dans l'éducation
- Orientation pratique : Fournit un cadre de référence pour les institutions éducatives menant des formations en IA
- Implications politiques : Soutient l'intégration de la formation aux compétences en IA dans le développement professionnel des enseignants
- Recherches ultérieures : Jette les bases pour des recherches connexes supplémentaires
- Institutions de formation des enseignants : Peuvent adopter un cadre similaire pour mener des formations en outils d'IA
- Gestion scolaire : Fournit des références pour l'élaboration de politiques d'éducation en IA
- Institutions de recherche : Fournit une base pour mener des recherches connexes à plus grande échelle
- Développement technologique : Fournit des perspectives sur les besoins des utilisateurs pour développer des outils d'IA conviviaux pour les enseignants
Cette recherche cite une riche littérature connexe, comprenant principalement :
- Applications de l'IA dans l'éducation : Analyse complète de Kasnesi et al. (2023) sur les opportunités et les défis pédagogiques de ChatGPT
- Ingénierie des invites : Recherche de Schmidt et al. (2023) sur le catalogue des modèles d'invites
- Mesure des attitudes des enseignants : Outil de mesure de la confiance en technologie éducative de l'IA de Nazaretsky et al. (2022)
- Applications de l'IA dans l'enseignement de la physique : Recherches connexes de Mahligawati et al. (2023), Yeadon & Hardy (2024) et autres
Cette recherche fournit un soutien empirique important pour l'application de l'IA dans l'enseignement des sciences. Bien qu'elle présente certaines limitations, elle jette les bases solides pour les recherches et pratiques connexes futures.