Надежное создание изоморфных задач по физике с использованием генеративного ИИ с цепочкой подсказок и использованием инструментов

Основная информация

• ID статьи: 2508.14755
• Название: Reliable generation of isomorphic physics problems using Generative AI with prompt-chaining and tool use
• Автор: Чжун Чжоу Чэнь (Университет Центральной Флориды)
• Классификация: physics.ed-ph cs.AI
• Дата публикации: 2024
• Ссылка на статью: https://arxiv.org/abs/2508.14755

Аннотация

В данной работе предлагается метод использования сервисов генеративного ИИ (таких как ChatGPT) посредством цепочки подсказок и использования инструментов для создания большого количества изоморфных задач по физике. Метод позволяет точно контролировать структурные вариации (такие как числовые значения и пространственные отношения), одновременно поддерживая разнообразные контекстные изменения в содержании задач. Благодаря использованию интерпретатора кода Python метод поддерживает автоматическую проверку решений и простое создание диаграмм, решая ключевые ограничения существующих методов на основе LLM. Исследование создало два примера библиотек изоморфных задач и провело сравнение с двумя более простыми методами на основе подсказок. Результаты показывают, что выходные данные, полученные с помощью цепочки подсказок, имеют значительно более высокое качество и большую согласованность.

Исследовательский контекст и мотивация

Исследовательская проблема

Данное исследование направлено на решение проблемы создания изоморфных задач по физике в образовательной сфере. Изоморфные задачи — это задачи, которые оценивают одни и те же фундаментальные концепции и принципы, но отличаются поверхностными характеристиками. Такие задачи имеют важное значение для персонализированного оценивания, повторного тестирования и целенаправленной практики.

Важность проблемы

1. Растущие образовательные потребности: С развитием персонализированного обучения и адаптивного тестирования возникает необходимость в большом количестве высококачественных изоморфных задач
2. Ограничения традиционных методов: Методы на основе шаблонов требуют высоких затрат на разработку и специализированного программирования
3. Контроль качества оценивания: Необходимо точно контролировать сложность и структуру задач, сохраняя при этом их новизну

Ограничения существующих методов

1. Ранние методы AQG/AIG: Главным образом основаны на жестко закодированных шаблонах, требуют много времени на разработку и специализированного программирования
2. Прямое применение LLM: Сложно контролировать сложность и когнитивную сложность, часто сводится к задачам на припоминание фактов
3. Проблемы с численными расчетами: LLM склонны к галлюцинациям при работе с численными задачами, часто дают неправильные ответы
4. Сложность создания диаграмм: Существующие LLM имеют ограниченные возможности в точном контроле визуальных элементов

Основные вклады

1. Предложен метод создания изоморфных задач на основе цепочки подсказок и использования инструментов, обеспечивающий точный контроль структурных вариаций и разнообразие контекста
2. Разработан семиэтапный процесс создания, систематически разделяющий структурно-зависимые и структурно-независимые вариации
3. Реализована автоматическая проверка решений и создание диаграмм посредством интерпретатора кода Python, решая ключевые ограничения LLM
4. Построены две примерные библиотеки задач с систематическим сравнением, доказывающим эффективность метода
5. Продемонстрирована возможность использования сервисов GenAI для проверки качества, установлена полная замкнутая цепь создания-проверки

Подробное описание метода

Определение задачи

Входные данные: Шаблонная задача или тип задачи Выходные данные: Большое количество изоморфных задач по физике, включая содержание задачи, решение и (опционально) диаграммы Ограничения:

• Сохранение одинаковой когнитивной сложности и физических концепций
• Точный контроль структурных вариаций (числовые значения, пространственные отношения и т.д.)
• Поддержка разнообразных контекстных изменений

Архитектура основного метода

Семиэтапный процесс создания

1. Идентификация шаблонной задачи: Определение шаблонной задачи или типа задачи
2. Декомпозиция компонентов: Выявление различных составных частей задачи
3. Определение вариаций: Определение структурных и контекстных вариаций и их ограничений
4. Проектирование цепочки подсказок: Разработка цепочки подсказок для создания вариаций компонентов
5. Оптимизация выполнения: Выполнение цепочки подсказок и итеративное улучшение
6. Комбинирование выходных данных: Объединение компонентов в полные задачи и форматирование
7. Проверка качества: Использование GenAI для проверки корректности созданных результатов

Ключевые концептуальные различия

Структурные вариации (Structural Variations):

• Основные структурные изменения, связанные с конструкцией
• Должны находиться в точно определенных пользователем пределах
• Включают числовые значения, пространственное расположение, количество объектов и т.д.
• Реализуются посредством комбинации создания LLM и инструмента интерпретатора Python

Контекстные вариации (Contextual Variations):

• Изменения поверхностных характеристик задачи
• Менее ограниченные, но требующие творческого подхода LLM
• Учитывают уровень чтения студентов, языковую компетентность, культурный контекст и т.д.
• Реализуются главным образом посредством генеративных возможностей LLM

Технические инновации

1. Технология цепочки подсказок: Разложение сложной задачи на несколько подзадач, выполняемых посредством последовательных подсказок, преодоление ограничений одиночной подсказки
2. Интеграция использования инструментов: Использование интерпретатора кода Python для численных расчетов, проверки ограничений и создания диаграмм
3. Разделение типов вариаций: Систематическое разделение и независимая обработка структурных и контекстных вариаций
4. Передача данных в табличном формате: Использование табличного формата для хранения и передачи информации в цепочке подсказок, повышение надежности

Экспериментальная установка

Проектирование библиотек задач

Библиотека задач 1: Задачи с численными расчетами

• Шаблон: Объект, толкаемый или тянущийся наклонной силой по шероховатой поверхности, движется равномерно
• Структурные вариации: Направление и характер силы, числовые значения переменных, выбор неизвестной переменной
• Ограничения: Угол 10-60 градусов, горизонтальная составляющая силы уравновешивает силу кинетического трения
• Цепочка подсказок: 5 подсказок, создание контекста → числовые значения → содержание задачи → решение → форматирование

Библиотека задач 2: Задачи с выбором ответа (с диаграммами)

• Шаблон: Сравнение траекторий параболического движения, одинаковая начальная точка, разные высоты и дальности
• Структурные вариации: Соотношение ответов, параметры траектории, проектирование отвлекающих вариантов
• Ограничения: Отсутствие визуального перекрытия, определенность соотношений, достаточное визуальное различие
• Цепочка подсказок: 9 подсказок, обработка более сложных структурных вариаций и создание диаграмм

Методы сравнения

1. Метод одиночной подсказки: Объединение цепочки подсказок в одну или две подсказки
2. Метод простой подсказки: Упрощенная подсказка на основе одного примера (только для библиотеки задач 1)

Метрики оценивания

1. Качество выходных данных: Полнота задачи, точность числовых значений, согласованность форматирования
2. Контроль структуры: Степень соблюдения ограничений
3. Разнообразие контекста: Степень изменения сценариев и описаний
4. Корректность ответов: Точность, проверенная посредством GenAI

Результаты экспериментов

Основные результаты

Результаты создания библиотеки задач 1

• Успешное создание: 20 изоморфных задач (10 GPT-4o + 10 Gemini Pro 2.5)
• Контроль качества: Каждая задача имеет уникальный фоновый сюжет, надлежащие случайные числовые значения, правильный ответ
• Примерная задача: Задача о рабочем, толкающем ящик, с полными физическими параметрами и решением

Результаты создания библиотеки задач 2

• Систематическое создание: 26 вариаций (13 возможных соотношений × 2 основных отвлекающих варианта)
• Качество диаграмм: Автоматически созданные диаграммы параболических траекторий с помощью Python, четкие и различимые
• Полнота задачи: Каждая задача включает описание ситуации, диаграмму и четыре варианта ответов

Результаты сравнительных экспериментов

Одиночная подсказка vs Цепочка подсказок

Библиотека задач 1:

• Недостатки одиночной подсказки: Полностью игнорирует инструкции по созданию числовых значений, все 10 версий не содержат числовых значений
• Преимущества цепочки подсказок: Точное соблюдение всех ограничений, создание полных задач

Библиотека задач 2:

• Проблемы одиночной подсказки: Траектории появляются под землей, невидимы и т.д.
• Недостаточное количество создаваемых элементов: Только 7 сценариев и 13 комбинаций вместо ожидаемых 10 сценариев и 26 комбинаций

Простая подсказка vs Цепочка подсказок (библиотека задач 1)

• Точность ответов: Ответы, созданные простой подсказкой, в большинстве случаев неправильны (например, 140 кг вместо правильного ответа 148,6 кг)
• Использование инструментов: Простая подсказка не активирует инструмент Python, напрямую галлюцинирует ответы
• Качество текста: Текст, созданный простой подсказкой, явно короче, качество снижено

Результаты проверки качества

• Библиотека задач 1: GenAI выявил и исправил 6 ошибок в выводе формул (из 20 задач)
• Библиотека задач 2: Выявлены 3 задачи, в которых отвлекающие варианты эквивалентны правильному ответу
• Проверка студентами: Библиотека задач использовалась на промежуточном экзамене, студенты не сообщили об дополнительных ошибках

Связанные работы

Развитие автоматического создания вопросов (AQG)

1. Ранние методы: На основе жестко закодированных шаблонов, высокие затраты на разработку
2. Применение LLM: Dijkstra и др. обучили GPT-3 создавать вопросы с выбором ответа; Chan и др. использовали GPT-3.5/4 для создания задач STEM
3. Изоморфные задачи: Arendasy и Sommer создавали задачи по алгебре с помощью шаблонов; Norberg и др. использовали GPT-4 для переписывания объяснений математических задач

Сравнение технических методов

• Традиционный AIG: Точный контроль, но недостаток творчества
• Прямое применение LLM: Сильная творческая способность, но сложность контроля
• Метод данной работы: Объединение преимуществ обоих подходов, достижение баланса между точным контролем и творчеством

Выводы и обсуждение

Основные выводы

1. Цепочка подсказок значительно превосходит одиночную подсказку: Выделяется качеством согласованности и соблюдением ограничений
2. Использование инструментов критически важно: Интерпретатор Python решает ключевые проблемы численных расчетов и создания диаграмм
3. Проверка качества GenAI эффективна: Способна выявлять и исправлять ошибки в процессе создания
4. Метод обладает масштабируемостью: Может создавать практически неограниченное количество изоморфных задач

Ограничения

1. Однообразная оценка качества: Оценка только автором, отсутствие систематической проверки качества
2. Неизвестные психометрические характеристики: Отсутствие данных тестирования студентов для оценки психометрических характеристик изоморфных задач
3. Ограниченный контроль контекста: Основное внимание уделяется структурным вариациям, меньше контроля над контекстными вариациями
4. Ограничение сложности диаграмм: Поддерживает только создание простых диаграмм

Направления будущих исследований

1. Систематическая оценка качества: Проведение более полной проверки качества и тестирования студентами
2. Тонкий контроль контекста: Исследование контроля различных контекстных вариаций, таких как стиль письма
3. Создание сложных диаграмм: Расширение на более сложные типы диаграмм
4. Автоматизированное проектирование цепочки подсказок: Использование GenAI для помощи в проектировании цепочки подсказок
5. Система создания в реальном времени: Реализация мгновенного создания задач для полностью персонализированного оценивания

Глубокая оценка

Преимущества

1. Высокая инновационность метода: Впервые систематически объединены цепочка подсказок и использование инструментов для создания изоморфных задач
2. Высокая практическая ценность: Предоставляет обычным учителям доступный и эффективный метод создания задач
3. Совершенное проектирование экспериментов: Две библиотеки задач различных типов подтверждают универсальность метода
4. Подробная техническая реализация: Предоставляет полные цепочки подсказок и детали реализации, обеспечивая воспроизводимость
5. Полный контроль качества: Установлена полная замкнутая цепь создания-проверки

Недостатки

1. Ограниченный диапазон оценки: Проверка только на двух типах задач по физике
2. Относительно небольшой масштаб: Количество созданных задач относительно ограничено (20+26)
3. Отсутствие анализа затрат: Отсутствует сравнение затрат и выгод с традиционными методами
4. Недостаточное исследование пользователей: Отсутствует исследование опыта использования учителями и студентами

Влияние

1. Вклад в область: Предоставляет новую парадигму создания задач для области образовательных технологий
2. Практическая ценность: Может быть непосредственно применена к персонализированному обучению и адаптивному тестированию
3. Демонстрация технологии: Демонстрирует возможность точного контроля LLM в образовательных приложениях
4. Расширяемость метода: Технологическая основа может быть расширена на другие дисциплины и типы задач

Применимые сценарии

1. Платформы персонализированного обучения: Предоставление студентам неограниченных практических задач
2. Системы адаптивного тестирования: Создание альтернативных задач эквивалентной сложности
3. Инструмент помощи учителю: Помощь учителям в быстром создании высококачественных банков задач
4. Платформы онлайн-образования: Поддержка крупномасштабного персонализированного создания контента

Библиография

Статья цитирует 14 связанных работ, охватывающих ключевые области автоматического создания задач, создания изоморфных задач, применения LLM и других важных работ, обеспечивая прочную теоретическую основу для исследования.

Общая оценка: Это высококачественная прикладная исследовательская работа, внесшая важный вклад в область пересечения образовательных технологий и приложений ИИ. Метод является новаторским и практичным, проектирование экспериментов разумно, результаты убедительны. Хотя существует пространство для улучшения в масштабе оценки и охвате дисциплин, работа указывает важное направление развития в этой области.