Generación Automática de Preguntas sobre Programas Scratch

Información Básica

• ID del Artículo: 2510.11658
• Título: Automatically Generating Questions About Scratch Programs
• Autores: Florian Obermüller, Gordon Fraser
• Clasificación: cs.SE (Ingeniería de Software)
• Fecha de Publicación/Conferencia: CompEd 2025 (ACM Global Computing Education Conference 2025)
• Enlace del Artículo: https://arxiv.org/abs/2510.11658

Resumen

En el aprendizaje de programación, los estudiantes suelen ser evaluados en función del código que escriben. Sin embargo, completar tareas de programación no garantiza una comprensión genuina de los conceptos subyacentes. Por lo tanto, investigaciones previas han propuesto evaluar la comprensión de programas mediante preguntas dirigidas a los estudiantes sobre su código. Dado que crear preguntas personalizadas para cada programa de estudiante es tedioso y desafiante, trabajos anteriores han propuesto métodos para generar automáticamente tales preguntas. Este artículo generaliza esta idea al lenguaje de programación basado en bloques Scratch. Proponemos 30 tipos diferentes de preguntas sobre código Scratch, que abarcan modelos establecidos de comprensión de programas, y extendemos la herramienta de análisis estático LitterBox para generar automáticamente preguntas correspondientes para un programa Scratch dado. En un conjunto de datos que contiene 600,913 proyectos, generamos automáticamente 54,118,694 preguntas. Nuestros experimentos preliminares con 34 estudiantes de noveno grado demuestran que este método puede generar preguntas significativas para programas Scratch y revelan que la capacidad de los estudiantes para responder estas preguntas se correlaciona con su desempeño general.

Contexto e Motivación de la Investigación

Problema Central

El problema central que aborda esta investigación es: ¿cómo evaluar efectivamente el grado de comprensión que tienen los estudiantes sobre los programas Scratch que escriben, más allá de simplemente verificar si el programa funciona correctamente?

Importancia del Problema

1. Brecha entre Comprensión e Implementación: Los estudiantes pueden completar tareas de programación mediante prueba y error, copia o asistencia de IA, pero sin comprender realmente los conceptos de programación subyacentes
2. Limitaciones de los Métodos de Evaluación: Los métodos de evaluación tradicionales se enfatizan principalmente en la corrección del código, no en la capacidad de comprensión de programas del estudiante
3. Desafío de Escalabilidad: En escenarios de enseñanza a gran escala, es difícil para los maestros crear manualmente preguntas de evaluación de comprensión personalizadas para cada programa de estudiante

Limitaciones de Métodos Existentes

1. Limitaciones de Lenguajes Textuales: Los métodos existentes de generación de preguntas se enfocan principalmente en lenguajes de programación textuales como Java, no siendo aplicables a lenguajes de programación basados en bloques como Scratch
2. Diferencias en Características del Lenguaje: En Scratch, las variables se crean a través de la interfaz de usuario en lugar de declaraciones, y los bloques no pueden referenciarse mediante números de línea
3. Falta de Sistematicidad: Carencia de un enfoque sistemático de diseño de preguntas basado en marcos teóricos

Motivación de la Investigación

La motivación de este trabajo es extender el concepto existente de "Preguntas sobre el Código del Estudiante" (Questions about Learner's Code, QLCs) al entorno Scratch, proporcionando una herramienta de evaluación automatizada de comprensión de programas para la educación en programación basada en bloques.

Contribuciones Principales

1. Diseño Sistemático de Preguntas: Basado en el modelo Block Model de comprensión de programas, diseñamos sistemáticamente 30 tipos de preguntas dirigidas al código Scratch
2. Extensión de Herramientas: Extendemos la herramienta de análisis estático de código abierto LitterBox para generar automáticamente preguntas de comprensión para programas Scratch
3. Validación a Gran Escala: Validamos la aplicabilidad del método en un conjunto de datos que contiene 600,913 proyectos Scratch públicos
4. Estudio Empírico: Verificamos la efectividad de las preguntas y la correlación entre el desempeño de los estudiantes en las respuestas y su capacidad de programación mediante experimentos en aula con 34 estudiantes de noveno grado

Explicación Detallada del Método

Definición de la Tarea

Entrada: Un proyecto de programa Scratch Salida: Un conjunto de preguntas de comprensión generadas automáticamente sobre el programa, incluyendo texto de pregunta, opciones de respuesta y respuesta correcta Restricciones: Las preguntas deben basarse en construcciones de código que realmente existen en el programa y deben cumplir con el marco teórico del Block Model

Arquitectura del Método

1. Fundamento Teórico: Adaptación del Block Model

El Block Model contiene cuatro niveles de alcance de atención y tres dimensiones de programa:

2. Diseño de Tipos de Preguntas

Basado en el Block Model, diseñamos 30 tipos de preguntas, divididas en 5 formatos de respuesta:

• Tipo Numérico (🔢): La respuesta es un único número
• Tipo Cadena de Caracteres (📝): La respuesta es una o más cadenas de caracteres
• Tipo Verdadero/Falso (✓/✗): La respuesta es sí o no
• Tipo Opción Múltiple (☑️): Seleccionar la respuesta correcta de las opciones
• Tipo Texto Libre (📄): Preguntas abiertas que requieren respuestas explicativas

3. Implementación de Generación Automática

Se implementa mediante la extensión de la herramienta LitterBox:

1. Análisis AST: Convertir el programa Scratch en un árbol de sintaxis abstracta
2. Patrón de Visitante: Implementar un buscador de preguntas para cada tipo de pregunta
3. Recorrido de Código: Recorrer el AST para identificar patrones de código que pueden generar preguntas
4. Generación de Opciones: Generar automáticamente opciones de distracción para preguntas de opción múltiple

Puntos de Innovación Técnica

1. Adaptación a Programación Basada en Bloques: Primera aplicación sistemática del concepto QLCs a lenguajes de programación basados en bloques
2. Diseño Impulsado por Teoría: Diseño de tipos de preguntas basado en marcos teóricos maduros de comprensión de programas
3. Generación Automatizada: Implementación de un proceso completamente automatizado de generación de preguntas
4. Cobertura Multidimensional: Las preguntas abarcan desde elementos básicos del lenguaje hasta el propósito general del programa

Configuración Experimental

Conjunto de Datos

1. Conjunto de Datos a Gran Escala: 600,913 proyectos Scratch públicos, excluyendo proyectos vacíos y mixtos
2. Datos de Experimento en Aula: 34 estudiantes alemanes de noveno grado con experiencia en programación Scratch
3. Proyectos de Andamiaje: Uso del juego Boat Race como proyecto base para el experimento en aula

Métricas de Evaluación

1. Frecuencia de Generación de Preguntas: Número total de generaciones de cada tipo de pregunta y porcentaje de proyectos cubiertos
2. Análisis de Correlación: Coeficiente de correlación de Pearson entre el desempeño de respuestas de estudiantes y el grado de finalización de tareas de programación
3. Análisis de Cobertura: Porcentaje de cobertura de proyectos para cada dimensión del Block Model

Métodos de Comparación

Dado que este es el primer estudio de QLCs para Scratch, la validación se realiza principalmente mediante:

1. Comparación conceptual con QLCs existentes para lenguajes textuales
2. Validación sistemática basada en marcos teóricos
3. Validación de aplicación en escenarios de enseñanza real

Detalles de Implementación

1. Extensión de Herramientas: Basada en la herramienta de análisis estático LitterBox
2. Formato de Salida: Formato JSON, incluyendo fragmentos de código con sintaxis ScratchBlocks
3. Presentación de Preguntas: Resaltado de la parte de código objetivo (como se muestra en la Figura 1a)
4. Mecanismo de Puntuación: 0.2 puntos por cada selección correcta en preguntas de opción múltiple, 1 punto para respuesta correcta en preguntas de selección única

Resultados Experimentales

Resultados Principales

RQ1: Frecuencia de Generación de Preguntas

• Estadísticas Generales: Se generaron 54,118,694 preguntas en 600,913 proyectos
• Preguntas de Mayor Frecuencia:
  • Purpose of Script: 9,748,844 veces (cobertura del 100% de proyectos)
  • Purpose of If Condition: 5,103,322 veces (cobertura del 41.1% de proyectos)
  • Scripts for Actor: 3,524,268 veces (cobertura del 100% de proyectos)
• Preguntas de Menor Frecuencia:
  • My Block Definition: 368,712 veces (cobertura del 11.3% de proyectos)
  • Purpose of Loop Condition: 486,902 veces (cobertura del 15.2% de proyectos)

Análisis de Cobertura del Block Model

RQ2: Correlación entre Desempeño de Respuestas y Capacidad de Programación

• Coeficiente de Correlación: r = 0.467 (p = 0.005)
• Intensidad de Correlación: Correlación positiva de grado moderado
• Significancia Estadística: p < 0.01, estadísticamente significativa
• Significancia Práctica: La capacidad de los estudiantes para responder QLCs se correlaciona significativamente con el grado de finalización de tareas de programación

Hallazgos Experimentales

1. Verificación de Universalidad: Los 30 tipos de preguntas pueden generarse frecuentemente en proyectos reales
2. Características Jerárquicas: Las preguntas de nivel superior (como el propósito del programa) pueden generarse en casi todos los proyectos, mientras que las preguntas de nivel inferior dependen de construcciones de programación específicas
3. Prueba de Efectividad: Los QLCs pueden servir efectivamente como indicadores de capacidad de comprensión de programas
4. Valor Educativo: Pueden utilizarse para detectar deficiencias en el conocimiento previo de los estudiantes

Trabajo Relacionado

Direcciones de Investigación Principales

1. Evaluación de Comprensión de Programas: Los métodos tradicionales se enfatizan principalmente en habilidades de rastreo de código, interpretación y escritura
2. Generación Automática de Preguntas: Existen herramientas de generación automática de preguntas para lenguajes textuales como Java
3. Educación en Programación Basada en Bloques: Aplicación generalizada de Scratch como lenguaje de introducción a la programación

Relación de Este Artículo con Trabajo Relacionado

1. Herencia Teórica: Adopción del Block Model, un marco teórico maduro de comprensión de programas
2. Extensión Técnica: Primera aplicación del concepto QLCs a lenguajes de programación basados en bloques
3. Innovación de Herramientas: Implementación de generación automática de preguntas para Scratch basada en la herramienta LitterBox

Ventajas Comparadas con Trabajo Relacionado

1. Adaptabilidad del Lenguaje: Diseño específicamente dirigido a las características de lenguajes de programación basados en bloques
2. Integridad Sistemática: Diseño sistemático de preguntas basado en marcos teóricos
3. Practicidad: Validación a gran escala de datos y aplicación en aulas reales

Conclusiones y Discusión

Conclusiones Principales

1. Viabilidad Técnica: Es posible generar automáticamente una gran cantidad de preguntas de comprensión significativas para programas Scratch
2. Efectividad Educativa: Las preguntas generadas pueden evaluar efectivamente la capacidad de comprensión de programas de los estudiantes
3. Valor Práctico: Proporciona una herramienta de evaluación automatizada y escalable para la educación Scratch

Limitaciones

1. Evaluación de Texto Libre: Las preguntas abiertas aún requieren participación manual en la evaluación automática
2. Cobertura de Preguntas: Ciertos constructos específicos de Scratch tienen cobertura insuficiente en dimensiones de nivel inferior
3. Escala de Experimento: El tamaño de muestra del experimento en aula es relativamente pequeño (34 estudiantes)
4. Restricción de Tiempo: Las restricciones de tiempo del experimento en aula pueden afectar los resultados

Direcciones Futuras

1. Integración de LLM: Utilizar modelos de lenguaje grandes para evaluar automáticamente respuestas de texto libre
2. Expansión de Preguntas: Agregar más tipos de preguntas dirigidas a constructos específicos de Scratch
3. Interfaz de Usuario: Desarrollar una interfaz adecuada para uso en aula para generación y gestión de preguntas
4. Investigación de Efectos a Largo Plazo: Evaluar el impacto a largo plazo de QLCs en los resultados de aprendizaje

Evaluación Profunda

Fortalezas

1. Innovación Fuerte: Primera aplicación sistemática de QLCs a lenguajes de programación basados en bloques, llenando un vacío de investigación
2. Fundamento Teórico Sólido: El diseño sistemático basado en el Block Model asegura la integridad teórica de las preguntas
3. Experimentación Suficiente: La combinación de análisis de datos a gran escala y experimentos en aula verifica la viabilidad y efectividad del método
4. Alto Valor Práctico: La publicación de herramientas de código abierto permite que los resultados de investigación se apliquen directamente a la práctica educativa
5. Escritura Clara: La estructura del artículo es clara y la descripción de detalles técnicos es precisa

Insuficiencias

1. Limitaciones de Evaluación: La evaluación de preguntas de texto libre aún requiere participación manual, limitando la automatización completa
2. Limitación de Muestra: El tamaño de muestra del experimento en aula es pequeño, requiriendo validación a mayor escala
3. Análisis Insuficiente en Profundidad: Falta análisis de granularidad fina sobre la efectividad de diferentes tipos de preguntas
4. Problemas de Adaptabilidad: Discusión insuficiente sobre cómo adaptarse a estudiantes de diferentes grupos de edad y niveles de habilidad

Impacto

1. Contribución Académica: Proporciona una nueva dirección de investigación y herramientas para el campo de evaluación de educación en programación
2. Valor Práctico: Proporciona a maestros de Scratch una herramienta de evaluación automática práctica
3. Reproducibilidad: El código de código abierto y la configuración experimental detallada aseguran la reproducibilidad de la investigación
4. Potencial de Promoción: El método es extensible a otros lenguajes de programación basados en bloques y plataformas

Escenarios de Aplicación

1. Educación en Programación K-12: Particularmente adecuado para aulas que utilizan Scratch para introducción a la programación
2. Plataformas de Aprendizaje en Línea: Puede integrarse en sistemas de aprendizaje de programación en línea para proporcionar retroalimentación automática
3. Capacitación de Maestros: Ayuda a los maestros a comprender mejor el nivel de comprensión de programas de los estudiantes
4. Herramienta de Investigación: Proporciona una herramienta de evaluación estandarizada para investigación en educación de programación

Referencias

El artículo cita 23 referencias importantes que abarcan teoría de comprensión de programas, evaluación de educación en programación, herramientas de análisis de Scratch y otros campos de investigación relacionados. Particularmente dignos de atención son el artículo original del Block Model, trabajos relacionados con la herramienta LitterBox, e investigación empírica sobre la relación entre comprensión de programas y capacidad de programación.