Говорят ли большие языковые модели на языке научных рабочих процессов?

Основная информация

• ID статьи: 2412.10606
• Название: Do Large Language Models Speak Scientific Workflows?
• Авторы: Orcun Yildiz (Argonne National Laboratory), Tom Peterka (Argonne National Laboratory)
• Классификация: cs.HC (Взаимодействие человека и компьютера)
• Конференция: SC-W'25 (Семинары Международной конференции по высокопроизводительным вычислениям, сетям, хранению и анализу)
• Ссылка на статью: https://arxiv.org/abs/2412.10606

Аннотация

С появлением больших языковых моделей (LLMs) растет интерес к применению LLMs в научных задачах. В данном исследовании посредством экспериментов изучается применимость LLMs при конфигурировании, аннотировании и трансляции научных рабочих процессов. Исследование использует три различных специфичных для рабочих процессов эксперимента для оценки производительности нескольких открытых и закрытых языковых моделей на современных системах рабочих процессов. Исследование показало, что LLMs часто испытывают трудности из-за недостатка обучающих данных по научным рабочим процессам, и их производительность варьируется между различными экспериментами и системами рабочих процессов.

Предпосылки и мотивация исследования

Определение проблемы

Научные рабочие процессы играют важную роль в среде высокопроизводительных вычислений (HPC), состоя из серии взаимодействующих задач, которые синхронизируются в планировании и коммуникации. Однако многие ученые считают системы рабочих процессов сложными в использовании и часто предпочитают запускать задачи вручную или разрабатывать собственные решения для рабочих процессов.

Значимость исследования

1. Проблемы удобства использования: Сложность систем научных рабочих процессов препятствует широкому внедрению
2. Кривая обучения: Даже при внедрении универсальных систем рабочих процессов ученые часто не понимают эти системы
3. Потенциал LLM: Большие языковые модели могут помочь решить эти проблемы, но необходимо понимать их возможности в рабочих процессах HPC

Ограничения существующих подходов

• Существующие исследования сосредоточены в основном на конкретных задачах, связанных с HPC, таких как генерация кода, аннотирование и ответы на запросы
• Отсутствуют комплексные исследования широкой применимости LLMs в полных системах рабочих процессов
• Недостаточна систематическая оценка производительности LLMs на задачах, специфичных для научных рабочих процессов

Основные вклады

1. Первая систематическая оценка: Проведена комплексная экспериментальная оценка возможностей нескольких LLMs на задачах научных рабочих процессов
2. Многомерный дизайн экспериментов: Разработаны три различных типа экспериментов, специфичных для рабочих процессов (конфигурирование, аннотирование, трансляция)
3. Оценка на нескольких системах: Проведена оценка на пяти современных системах рабочих процессов
4. Эталоны производительности: Установлены эталоны производительности LLMs на задачах научных рабочих процессов
5. Стратегии улучшения: Исследованы методы, такие как few-shot prompting, для повышения производительности LLM

Подробное описание методологии

Определение задач

Исследование определило три основные задачи:

1. Конфигурирование рабочих процессов: Генерация скриптов конфигурации рабочих процессов на основе входных данных на естественном языке
2. Аннотирование кода задач: Автоматическое аннотирование пользовательского кода задач для адаптации к системам рабочих процессов
3. Трансляция кода задач: Трансляция аннотированного кода задач между различными системами рабочих процессов

Рамки оценки

Выбор LLMs

• o3: Закрытая модель OpenAI с сильными возможностями рассуждения
• Claude-Sonnet-4: Гибридная модель рассуждения, разработанная Anthropic
• Gemini-2.5-Pro: Продвинутая модель Google с сильными возможностями рассуждения и кодирования
• LLaMA-3.3-70B-Instruct: Открытая модель Meta с 70 миллиардами параметров

Системы рабочих процессов

• ADIOS2: Гибкая библиотека ввода-вывода и промежуточное программное обеспечение для научного кода
• Henson: Система многозадачного сотрудничества для обработки на месте
• Parsl: Библиотека параллельного программирования на Python с поддержкой выполнения на основе задач
• PyCOMPSs: Модель программирования на основе задач
• Wilkins: Система рабочих процессов на месте с поддержкой динамической спецификации гетерогенных задач

Метрики оценки

• BLEU: Метрика оценки машинного перевода на основе точности n-грамм
• ChrF: Метрика оценки на основе символов, вычисляющая точность и полноту символьных n-грамм

Дизайн экспериментов

Эксперимент по конфигурированию рабочих процессов

Пользователь предоставляет описание на естественном языке, LLMs генерируют соответствующий файл конфигурации рабочего процесса. Например:

Подсказка пользователя: Я хочу рабочий процесс из 3 узлов с одной задачей производителя 
и двумя задачами потребителя. Производитель генерирует наборы данных сетки и частиц, 
consumer1 читает сетку, consumer2 читает набор данных частиц. Производитель требует 
3 процессов, каждый потребитель работает на одном процессе. Пожалуйста, предоставьте 
файл конфигурации рабочего процесса для системы рабочих процессов Wilkins.

Эксперимент по аннотированию кода задач

Предоставляется простой код производителя на языке C, требуется, чтобы LLMs добавили комментарии с вызовами API соответствующей системы рабочих процессов.

Эксперимент по трансляции кода задач

Предоставляется аннотированный код задачи одной системы рабочих процессов, требуется, чтобы LLMs перевели его в код другой системы рабочих процессов.

Экспериментальная установка

Экспериментальная среда

• Оборудование: Apple M1 Max, 10-ядерный CPU, 24-ядерный GPU, 32 ГБ унифицированной памяти
• Фреймворк: Использована фреймворк Inspect AI для проведения экспериментов
• Количество повторений: Каждый эксперимент повторен 5 раз для снижения вариативности ответов LLM
• Параметры: temperature=0.2, top_p=0.95

Оценка стратегий подсказок

Разработаны пять различных вариантов подсказок:

1. Исходная подсказка
2. Различные стили
3. Перефразирование
4. Переупорядочение
5. Детальная подсказка (включающая технические детали)

Результаты экспериментов

Основные результаты

Эксперимент по конфигурированию рабочих процессов

Эксперимент по аннотированию кода задач

Эксперимент по трансляции кода задач

Ключевые выводы

1. Различия между системами: LLMs показывают лучшие результаты на системах с богатой документацией, таких как ADIOS2 и PyCOMPSs
2. Различия между задачами: Общая производительность задачи аннотирования кода превосходит генерацию конфигурации
3. Различия между моделями: Ни одна модель не показывает стабильно лучшие результаты на всех задачах
4. Проблема галлюцинаций: LLMs часто генерируют несуществующие вызовы API или поля конфигурации

Эффект Few-shot Prompting

Связанные работы

Исследования научных рабочих процессов

• Распределенные рабочие процессы: Выполняются на нескольких независимых системах, обмениваются данными через файлы
• Рабочие процессы на месте: Выполняются в одной системе HPC, задачи выполняются параллельно и обмениваются данными через память

Применение LLMs в HPC

• Duque и др. исследовали использование LLMs для построения и выполнения рабочих процессов
• Sanger и др. изучали применимость GPT-3.5 для понимания, модификации и расширения научных рабочих процессов
• Данное исследование использует более новые модели и обеспечивает более широкий охват систем рабочих процессов и научных задач

Заключение и обсуждение

Основные выводы

1. Недостаток знаний: LLMs часто испытывают трудности из-за недостатка обучающих данных в области научных рабочих процессов
2. Вариативность производительности: Производительность LLMs значительно варьируется между различными экспериментами и системами рабочих процессов
3. Важность контекста: Few-shot prompting значительно повышает производительность LLMs
4. Зависимость от системы: Системы с богатой документацией (такие как ADIOS2, PyCOMPSs) получают лучшую поддержку LLM

Ограничения

1. Ограничения обучающих данных: Документация по научным рабочим процессам относительно редка в обучающих данных LLM
2. Галлюцинации API: LLMs часто генерируют несуществующие вызовы API
3. Понимание конфигурации: LLMs испытывают трудности при различении конфигурации рабочих процессов и кода задач
4. Специфичность системы: Производительность сильно зависит от доступности документации конкретной системы рабочих процессов

Направления будущих исследований

1. Поиск с увеличением контекста (RAG): Объединение внешних баз знаний для повышения производительности LLM
2. Тонкая настройка: Специализированная настройка моделей для научных рабочих процессов
3. Итеративное исправление ошибок: Введение механизмов автоматического обнаружения и исправления ошибок
4. Мультимодальная интеграция: Объединение кода, документации и визуальной информации

Глубокая оценка

Преимущества

1. Систематическая оценка: Первая комплексная оценка LLMs в области научных рабочих процессов
2. Многомерный анализ: Охватывает три ключевые задачи: конфигурирование, аннотирование, трансляция
3. Практическая ценность: Предоставляет ценные эталоны для разработчиков и пользователей рабочих процессов
4. Методологическая строгость: Разумный дизайн экспериментов, надлежащие метрики оценки, воспроизводимые результаты

Недостатки

1. Область оценки: Охватывает только три типа задач рабочих процессов, что может быть недостаточно полным
2. Размер набора данных: Относительно небольшой масштаб экспериментов может влиять на универсальность выводов
3. Глубокий анализ: Анализ причин отказов LLM недостаточно глубок
4. Практическое развертывание: Отсутствует проверка в реальных научных вычислительных средах

Влияние

1. Академический вклад: Предоставляет важные эталоны для применения LLMs в научных вычислениях
2. Практическая ценность: Помогает исследователям понять границы возможностей LLMs в задачах рабочих процессов
3. Будущие исследования: Указывает направления для улучшения применения LLMs в научных рабочих процессах

Применимые сценарии

1. Разработка систем рабочих процессов: Предоставляет справочную информацию для интеграции функций, поддерживаемых LLM
2. Образование в области научных вычислений: Помогает понять ограничения LLM в специализированных областях
3. Разработка инструментов HPC: Обеспечивает основу для разработки интеллектуальных инструментов научных вычислений

Библиография

Данное исследование цитирует 33 связанные работы, охватывающие важные работы в области научных рабочих процессов, больших языковых моделей, HPC и других областей, обеспечивая прочную теоретическую основу для исследования.

Резюме: Это новаторская исследовательская работа, которая впервые систематически оценивает возможности больших языковых моделей в области научных рабочих процессов. Исследование выявило значительные ограничения LLMs, одновременно продемонстрировав возможность улучшения производительности с помощью надлежащих методов (таких как few-shot prompting), закладывая основу для будущих исследований в этой важной области.