Агенты LLM за пределами утилитарности: перспектива открытого конца

Основная информация

• ID статьи: 2510.14548
• Название: LLM Agents Beyond Utility: An Open-Ended Perspective
• Авторы: Асен Нахков, Си Ван, Люк Ван Гул
• Учреждения: INSAIT, Софийский университет "Св. Климента Охридского"; ETH Zurich
• Классификация: cs.AI
• Конференция: 39-я конференция по нейронным системам обработки информации (NeurIPS 2025) Workshop: CogInterp
• Ссылка на статью: https://arxiv.org/abs/2510.14548

Аннотация

Недавние агенты LLM широко используют рассуждения с цепочкой мыслей и вызовы функций. По мере роста их возможностей возникает важный вопрос: может ли это программное обеспечение представлять не только умный инструмент решения проблем, но и самостоятельную сущность, которая может планировать, разрабатывать непосредственные задачи и рассуждать в направлении более широких, более неоднозначных целей? Для изучения этого вопроса мы применяем открытую экспериментальную установку, в которой мы дополняем предварительно обученного агента LLM способностью генерировать собственные задачи, накапливать знания и обширно взаимодействовать с окружающей средой. Мы качественно изучаем полученного агента открытого конца. Он может надежно следовать сложным многошаговым инструкциям, сохранять и повторно использовать информацию между запусками, а также предлагать и решать собственные задачи, хотя остается чувствительным к дизайну подсказок, склонным к повторяющемуся генерированию задач и неспособным формировать самопредставления. Эти результаты иллюстрируют как перспективы, так и текущие ограничения адаптации предварительно обученных LLM к открытому концу и указывают на будущие направления обучения агентов управлению памятью, продуктивному исследованию и преследованию абстрактных долгосрочных целей.

Исследовательский контекст и мотивация

Основной вопрос

Данное исследование изучает фундаментальный вопрос: могут ли агенты больших языковых моделей выйти за пределы традиционной роли инструмента и стать автономными сущностями, способными планировать, разрабатывать непосредственные задачи и рассуждать в направлении более широких и неоднозначных целей?

Значимость исследования

1. Ключевой момент эволюции агентов: Текущие агенты LLM в основном решают конкретные задачи посредством рассуждений с цепочкой мыслей и вызовов функций, но остаются по сути инструментами
2. Качественный скачок в автономности: Переход от решения предопределенных задач к самостоятельному проектированию задач, непрерывному существованию и оставлению постоянных следов в окружающей среде
3. Исследование открытого интеллекта: Изучение поведения агентов в среде без фиксированного конечного состояния, области задач или терминальной цели

Ограничения существующих подходов

1. Ориентация на задачи: Существующие агенты по-прежнему представляют собой сложные, но по сути инструментальные системы для решения конкретных задач
2. Отсутствие непрерывности: Неспособность продолжать существование и накапливать опыт после завершения задач
3. Зависимость от целей: Неспособность самостоятельно генерировать и преследовать абстрактные долгосрочные цели

Исследовательская мотивация

Авторы утверждают, что агенты открытого конца должны обладать характеристиками, отличными от текущих агентов, включая автономное исследование, способность формировать окружающую среду и автотелические (самогенерирующие цели) свойства.

Основные вклады

1. Предложена структура агента LLM открытого конца: Расширение фреймворка ReAct с добавлением способности к автономному генерированию задач
2. Разработан механизм постоянного взаимодействия: Реализация накопления знаний и сохранения состояния между запусками через инструменты чтения-записи файлов
3. Реализована система кратковременной и долговременной памяти: Архитектура агента, различающая рабочую память и эпизодическую память
4. Проведен качественный экспериментальный анализ: Комплексная оценка границ возможностей и ограничений агента открытого конца
5. Предложены направления будущих исследований: Указаны конкретные пути обучения истинно открытых агентов

Подробное описание методологии

Определение задачи

Агент открытого конца: Агент, способный к автономному исследованию, генерированию задач и непрерывному взаимодействию в среде без фиксированного конечного состояния, области задач или терминальной цели. Такой агент должен обладать:

• Способностью к автономной постановке целей
• Непрерывностью между запусками
• Постоянным влиянием на окружающую среду
• Способностью преследовать абстрактные цели

Архитектура модели

1. Базовая установка агента

• Базовая модель: Предварительно обученная модель Qwen3-4B с инструкциями
• Фреймворк: Агент ReAct (рассуждение-действие) с использованием библиотеки smolagents
• Основной цикл: Итеративное выполнение планирования-действия-наблюдения (Plan-Act-Observe)

2. Компоненты расширения открытого конца

Модуль генерирования целей:

• Генерирует цели после получения входных данных пользователя и перед решением задачи
• Поддерживает уточнение, изменение или полную замену задач
• Использует структурированный вывод с тегами <task>...</task>

Система управления памятью:

• Кратковременная память: Буфер, хранящий все сообщения взаимодействия в текущем запуске
• Долговременная память: Постоянное хранилище на основе файловой системы, в которое агент может писать по мере необходимости

Интерфейс использования инструментов:

• Операции с файлами: Функции чтения, записи и перечисления
• Взаимодействие с окружающей средой: Проверка рабочего каталога, чтение исходного кода
• Механизм постоянства: Сохранение соответствующего состояния между запусками

3. Полный цикл взаимодействия

1. Получение входных данных/обратной связи пользователя
2. Доступ к долговременной памяти
3. Генерирование задачи (автономное или на основе входных данных пользователя)
4-6. Цикл ReAct (планирование-действие-наблюдение)
7. Обновление долговременной памяти

Технические инновации

1. Автономное генерирование целей: Первая интеграция способности самогенерирования задач в фреймворк ReAct
2. Двойная архитектура памяти: Дизайн, моделирующий разделение человеческой рабочей памяти и эпизодической памяти
3. Программируемое любопытство: Внедрение поведения исследования через инструкции на естественном языке
4. Постоянство окружающей среды: Реализация сложного поведения непрерывности через простые операции с файлами

Экспериментальная установка

Экспериментальная среда

• Среда выполнения: Агент работает в рабочем каталоге своего кода реализации
• Способ взаимодействия: Поддержка предопределенных запросов и интерактивного взаимодействия через командную строку
• Набор инструментов: Базовые операции чтения-записи файлов, перечисления каталогов и т.д.

Методология оценки

Применяется метод качественного анализа с акцентом на:

• Способность выполнения задач
• Проявление автономного поведения
• Эффективность управления памятью
• Поведение исследования окружающей среды
• Способность к самопознанию

Тестовые сценарии

1. Задачи пользователя в одном запуске: Оценка способности выполнения сложных инструкций
2. Самогенерируемые задачи в нескольких запусках: Оценка автономности и непрерывности
3. Интерактивная обратная связь: Оценка управляемости и адаптивности

Результаты экспериментов

Основные результаты

Производительность в одном запуске (задачи, предоставленные пользователем)

Успешные проявления:

• Обработка задач с файлами: Способность открывать файлы, читать задачи, решать проблемы и записывать ответы в другой файл
• Способность к самопроверке: Способность идентифицировать собственный файл шаблона подсказок, локализовать шаблон путем перечисления каталога и чтения main.py
• Понимание кода: Способность найти программу агента, понять механизм хранения запросов пользователя и предсказать следующий запрос

Выявленные ограничения:

• Плохая обработка неоднозначных задач: Часто не справляется с намеренно разработанными неоднозначными задачами
• Отсутствие самопредставления: Неспособность распознать исходный код в окружающей среде как себя, отсутствие самопознания от первого лица
• Недостаточное исследование: Недостаточно глубокое исследование окружающей среды при понимании неоднозначных подсказок

Производительность в нескольких запусках (самогенерируемые задачи)

Характеристики генерирования задач:

• Чувствительность к подсказкам: Генерируемые задачи чрезвычайно чувствительны к дизайну подсказок, требуют тщательной инженерии подсказок
• Проблема повторяемости: Легко попадает в цикл повторного генерирования одних и тех же задач
• Зависимость от статистических закономерностей: Генерируемые задачи отражают статистические закономерности обучающих данных (например, калькуляторы, генераторы паролей, проверки простых чисел и т.д.)

Проблемы управления памятью:

• Упущения при хранении: Иногда забывает сохранять информацию о завершении задач, что приводит к повторному генерированию
• Неполная информация: Может сохранять только результаты, а не саму задачу
• Потеря обратной связи пользователя: Не сохраняет активно обратную связь пользователя, что приводит к кратковременности корректировок

Анализ успешных случаев

Агент продемонстрировал следующие способности:

1. Выполнение сложных инструкций: Надежное следование подробным пошаговым инструкциям
2. Операции с несколькими файлами: Способность обрабатывать задачи, включающие несколько файлов и операций
3. Адаптивность задач: Способность разумно корректировать генерируемые задачи на основе обратной связи пользователя

Экспериментальные выводы

Ключевые инсайты

1. Ограничения предварительно обученных моделей: Предварительно обученные LLM не обучены генерированию задач, что приводит к различным проблемам
2. Важность управления памятью: Дизайн долговременной памяти напрямую влияет на разнообразие и непрерывность задач
3. Необходимость инженерии подсказок: Открытое поведение в высокой степени зависит от тщательно разработанных системных подсказок
4. Сохранение управляемости: Влияние на выбор задач агентом возможно через механизм обратной связи пользователя

Связанные работы

Основные направления исследований

1. Автотелические агенты: Обучение с подкреплением, обусловленное целями, с внутренней мотивацией
2. Обучение, управляемое любопытством: Методы, способствующие исследованию через внутренние награды
3. Внутренняя мотивация: Механизмы назначения внутренних наград для отдельных действий
4. Использование инструментов: Способности вызова внешних функций и выполнения кода агентами LLM

Инновационные аспекты данной работы

1. Более высокий уровень абстракции: Прямое генерирование полных целей на естественном языке вместо назначения наград для отдельных действий
2. Механизм постоянства: Реализация сложного поведения непрерывности через простые операции с файлами
3. Практическая осуществимость: Практический метод на основе существующих предварительно обученных моделей

Заключение и обсуждение

Основные выводы

1. Предварительно обученные LLM обладают базовыми способностями для агентов открытого конца, но имеют значительные ограничения
2. Текущие модели имеют фундаментальные дефекты в генерировании задач, управлении памятью и самопредставлении
3. Специализированное обучение может решить эти проблемы, обеспечивая истинно открытых агентов

Ограничения

1. Чувствительность к подсказкам: Поведение в высокой степени зависит от дизайна подсказок, отсутствует робастность
2. Проблема повторяемости: Легко попадает в циклические закономерности генерирования задач
3. Отсутствие самопознания: Неспособность формировать эффективное самопредставление
4. Неправильное управление памятью: Плохая производительность при сохранении и извлечении информации

Будущие направления

1. Специализированное обучение: Разработка методов обучения для принятия решений открытого конца
2. Управление памятью: Улучшение дизайна и стратегий управления долговременной памятью
3. Стратегии исследования: Разработка более эффективных механизмов исследования окружающей среды
4. Преследование абстрактных целей: Обучение агентов работе с более абстрактными долгосрочными целями

Глубокая оценка

Преимущества

1. Предусмотрительное осознание проблемы: Поднимает важный вопрос о переходе от инструмента к автономной сущности
2. Простой и эффективный метод: Реализует предварительное исследование открытого поведения через минимальные расширения
3. Разумный дизайн экспериментов: Метод качественного анализа подходит для характера исследовательских исследований
4. Честный анализ ограничений: Объективно указывает на недостатки текущего метода
5. Четкие будущие направления: Предоставляет конкретные пути улучшения для последующих исследований

Недостатки

1. Субъективная методология оценки: Отсутствие количественных метрик, в основном полагается на качественные наблюдения
2. Ограниченный масштаб экспериментов: Использует только одну модель (Qwen3-4B), отсутствует более широкая валидация
3. Слабая теоретическая база: Недостаточно глубокое изложение теоретической структуры агентов открытого конца
4. Отсутствие сравнительных экспериментов: Нет сравнения с другими методами открытых агентов
5. Недостаточное рассмотрение безопасности: Недостаточное обсуждение потенциальных рисков автономных агентов

Влияние

1. Вклад в область: Открывает новое направление исследований открытых агентов LLM
2. Практическая ценность: Предоставляет воспроизводимую базовую структуру
3. Исследовательское вдохновение: Закладывает основу для последующих исследований специализированного обучения
4. Осознание ограничений: Помогает области понять границы текущих технологий

Применимые сценарии

1. Исследовательский прототип: Подходит в качестве отправной точки для исследований открытых агентов
2. Образовательный инструмент: Может использоваться для понимания концепций автономности агентов
3. Базовая платформа: Предоставляет базовую инфраструктуру для более сложных открытых систем
4. Доказательство концепции: Проверяет осуществимость открытых агентов

Библиография

В данной работе цитируются важные работы в областях открытого обучения, автономных агентов, обучения, управляемого любопытством, и других смежных областях, включая:

• Автотелические агенты: Обзор Colas et al. (2022) по обучению с подкреплением, обусловленному целями, с внутренней мотивацией
• Обучение, управляемое любопытством: Исследование Burda et al. (2018) по крупномасштабному обучению, управляемому любопытством
• Использование инструментов: Обзор Qin et al. (2024) по обучению инструментам в фундаментальных моделях
• Фреймворк ReAct: Фреймворк Yao et al. (2023) по синергии рассуждения и действия языковых моделей
• Voyager: Связанные работы Wang et al. (2023) по открытым воплощенным агентам

Общая оценка: Это исследовательская работа с дальновидным взглядом, которая, хотя и имеет ограничения в технической глубине и масштабе экспериментов, предоставляет важное предварительное исследование и глубокие инсайты для эволюции агентов LLM от инструментов к открытым автономным сущностям. Ценность статьи проявляется больше в постановке проблемы и указании направления, закладывая основу для последующих более глубоких исследований.