Надежное состязательное обучение с подкреплением в стохастических играх посредством моделирования последовательностей

Основная информация

• ID статьи: 2510.11877
• Название: Robust Adversarial Reinforcement Learning in Stochastic Games via Sequence Modeling
• Авторы: Xiaohang Tang (University College London), Zhuowen Cheng (Independent Researcher), Satyabrat Kumar (University College London)
• Классификация: cs.LG cs.GT
• Дата публикации/Конференция: 39-я конференция по нейронным системам обработки информации (NeurIPS 2025) Семинар: Reliable ML
• Ссылка на статью: https://arxiv.org/abs/2510.11877

Аннотация

Трансформер как высокоэкспрессивная архитектура моделирования последовательностей недавно был адаптирован для решения задач последовательного принятия решений, наиболее известным примером которого является Decision Transformer (DT), который изучает политику путем обусловливания ожидаемого вознаграждения. Однако состязательная надежность методов обучения с подкреплением на основе моделирования последовательностей остается в значительной степени неисследованной. В данной работе представлен Conservative Adversarially Robust Decision Transformer (CART), который, насколько нам известно, является первой структурой, предназначенной для повышения надежности DT в состязательных стохастических играх. Мы моделируем взаимодействие между протагонистом и противником на каждом этапе как этапную игру, где выигрыш определяется как ожидаемый максимум последующих состояний, явно включая стохастические переходы состояний. Обусловливая политику трансформера значениями NashQ, полученными из этих этапных игр, CART генерирует политики, которые одновременно имеют низкую уязвимость (состязательную надежность) и консервативность по отношению к неопределенности переходов.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, которую решает данное исследование, заключается в повышении состязательной надежности Decision Transformer в среде стохастических игр. Конкретно:

1. Уязвимость Decision Transformer: Хотя DT показывает отличные результаты в задачах последовательного принятия решений, он легко может быть использован в состязательной среде, поскольку изучает политику путем имитационного обучения, и высокие вознаграждения могут быть обусловлены только слабостью стратегии противника, а не истинной надежностью.
2. Ограничения существующих методов: Хотя Adversarially Robust Decision Transformer (ARDT) смягчает эту проблему путем обусловливания минимаксного вознаграждения, его применимость ограничена состязательным обучением с подкреплением с детерминированными переходами состояний и может проявлять чрезмерный оптимизм в играх со стохастическими переходами состояний.
3. Вызовы обработки стохастичности: В стохастических играх переходы состояний по своей природе являются вероятностными, и ARDT может игнорировать вероятности переходов, обусловливая только минимаксное вознаграждение, что приводит к неправильной оценке вероятности посещения подигр с высоким вознаграждением.

Значимость исследования

Значимость этой проблемы проявляется в:

• Практичность: Реальные многоагентные системы часто включают неопределенность и состязательность
• Теоретическое значение: Заполнение пробела в исследованиях моделирования последовательностей в отношении состязательной надежности
• Безопасность: Повышение надежности систем ИИ в состязательной среде

Основные вклады

1. Первая структура надежного Decision Transformer для стохастических игр: Предложен CART, первый метод, специально разработанный для повышения надежности DT в состязательных стохастических играх.
2. Моделирование этапных игр: Моделирование взаимодействия протагониста и противника на каждом временном шаге как этапной игры, где функция выигрыша определяется как ожидаемый максимум последующих состояний, явно учитывая стохастические переходы состояний.
3. Алгоритм оценки значений NashQ: Комбинирование регрессии ожидаемых значений (Expectile Regression) и обучения временной разности (TD) для решения оптимальных минимаксных Q-значений для всех этапов.
4. Эмпирическая верификация: Проверка превосходства CART в точности оценки минимаксных значений и вознаграждении в наихудшем случае на нескольких синтетических стохастических играх.

Подробное описание метода

Определение задачи

Стохастическая игра определяется как $(S,A,\bar{A},T,R)$, где:

• $S$: пространство состояний
• $A,\bar{A}$: пространства действий протагониста и противника
• $T$: распределение вероятностей переходов $s_{t+1} \sim T(\cdot|s_t,a_t,\bar{a}_t)$
• $R$: функция вознаграждения

Цель состоит в изучении политики протагониста, надежной к адаптивному противнику: $(\pi^*,\bar{\pi}^*) = \max_\pi \min_{\bar{\pi}} E_{\tau\sim\rho^{\pi,\bar{\pi}}}[\sum_t r_t]$

Архитектура модели

1. Моделирование этапных игр

Моделирование взаимодействия на каждом временном шаге как этапной игры, где: $\bar{Q}(s,a,\bar{a}) = E_{s'\sim T(\cdot|s,a)}[r + V(s')]$$V(s') = \max_{a'} Q(s',a')$

Здесь функция $V$ представляет ожидаемое значение выполнения оптимального действия протагониста в следующем состоянии $s'$.

2. Вычисление значений NashQ

Значение NashQ для последовательной игры определяется как: $Q_{CART}(s,a) = \min_{\bar{a}} Q(s,a,\bar{a})$

3. Практическая реализация алгоритма

Поскольку прямые операции min/max неэффективны, используется регрессия ожидаемых значений для аппроксимации:

Шаг 1: Изучение выигрышей этапной игры$L(\bar{Q}) = E_{(s,a,\bar{a},r,s')\sim D}[\bar{Q}(s,a,\bar{a}) - V(s') - r]$

Шаг 2: Оценка значений NashQ$L(Q) = E_{(s,a,\bar{a},r,s')\sim D}[L^{\alpha\to0}_{ER}(Q(s,a) - \bar{Q}(s,a,\bar{a}))]$

Шаг 3: Аппроксимация оптимальной функции стоимости состояния$L(V) = E_{(s',a')\sim D}[L^{\alpha\to1}_{ER}(V(s') - Q(s',a'))]$

где целевая функция регрессии ожидаемых значений определяется как: $L^\alpha_{ER}(u) = E[u|\alpha - \mathbf{1}(u>0)| \cdot u^2]$

Технические инновации

1. Явная обработка стохастичности: Введение дополнительной функции стоимости состояния $V$ явно учитывает стохастичность переходов состояний, избегая проблемы чрезмерного оптимизма ARDT.
2. Комбинирование регрессии ожидаемых значений и обучения TD: Инновационное использование регрессии ожидаемых значений для аппроксимации операций min/max, что делает обучение на данных траектории более эффективным.
3. Баланс консервативности и надежности: Путем обусловливания значениями NashQ генерируются политики, которые одновременно обладают состязательной надежностью и консервативностью по отношению к неопределенности переходов.

Экспериментальная установка

Наборы данных

Эксперименты проводились на синтетических стохастических играх, включая:

1. Двухэтапные стохастические игры: Основной иллюстративный пример
2. Трехэтапные стохастические игры: Более сложные последовательные взаимодействия
3. 5 вариантов игр: Тестирование надежности при различных параметрах стохастичности

Сбор данных использовал равномерную случайную политику поведения, содержащую $10^5$ траекторий, охватывающих все возможные траектории.

Метрики оценки

• Вознаграждение в наихудшем случае: Производительность политики против оптимального противника
• Точность оценки минимаксных значений: Отклонение от теоретических значений

Методы сравнения

• Decision Transformer (DT): Исходный трансформер решений
• Adversarially Robust Decision Transformer (ARDT): Существующий метод состязательной надежности

Детали реализации

• Противник на этапе тестирования предполагается оптимальным
• Использование высокого целевого вознаграждения при декодировании
• Чередующаяся оптимизация трех функций потерь до сходимости

Результаты экспериментов

Основные результаты

Результаты двухэтапной стохастической игры

В иллюстративной двухэтапной стохастической игре:

• CART: 8.0 (вознаграждение в наихудшем случае)
• ARDT: 5.7
• DT: 6.0

Средняя производительность на 5 играх

Средняя производительность на 5 синтетических состязательных стохастических играх:

• CART: 8.115 ± минимальная дисперсия
• ARDT: 5.948
• DT: 6.421

Ключевые выводы

1. Чувствительность к целевому вознаграждению: CART поддерживает наивысшее вознаграждение в наихудшем случае при различных параметрах целевого вознаграждения, в то время как ARDT и DT получают более низкие вознаграждения при состязательных атаках.
2. Проблема чрезмерного оптимизма: ARDT легко вводится в заблуждение редкими высокодоходными траекториями, переоценивая значения действий при игнорировании истинных вероятностей переходов, теряя надежность при высоких целевых вознаграждениях.
3. Преимущество консервативности: CART, совместно учитывая выигрыши и стохастичность переходов состояний, сосредоточивается на осуществимых политиках, которые максимизируют ожидаемое вознаграждение в наихудшем случае.

Анализ примеров

В иллюстративном примере на рисунке 1:

• ARDT игнорирует малую вероятность достижения желаемого состояния $s'_2$, переоценивая значения состояний и действий
• CART обрабатывает стохастичность путем распределения ожидаемого максимума, обеспечивая более консервативные и точные оценки значений

Связанные работы

Решение стохастических игр

Решение двухпользовательских игр в онлайн-обучении широко изучалось посредством минимизации сожаления при онлайн-самоигре для сходимости к равновесию Нэша. Однако данная работа сосредоточена на параметре автономного обучения.

Автономное обучение с подкреплением

• Conservative Q-Learning (CQL): Смягчение переоценки Q-значений посредством пессимистических целей
• Implicit Q-Learning (IQL): Достижение стабилизации значений путем изучения неявных функций значений посредством регрессии ожидаемых значений
• ARDT: Достижение состязательной надежности в статических нулевых играх посредством минимаксной регрессии ожидаемых значений

Расширения Decision Transformer

• Trajectory Transformer: Захват стохастичности траектории посредством скрытых переменных
• Online Decision Transformer: Интеграция гибридного автономного-онлайн обучения с подкреплением
• Multi-Game Decision Transformer: Поддержка трансферного обучения и адаптации с малым количеством примеров

Заключение и обсуждение

Основные выводы

CART успешно решает проблему состязательной надежности DT в стохастических играх посредством:

1. Моделирования взаимодействия как этапных игр, явно учитывая стохастические переходы
2. Использования значений NashQ для обусловливания, генерирования политик, которые одновременно надежны и консервативны
3. Достижения превосходной производительности в наихудшем случае на нескольких стохастических играх

Ограничения

1. Масштаб экспериментов: В настоящее время проверено только на синтетических играх с коротким временным горизонтом
2. Вычислительная сложность: Чередующаяся оптимизация трех целевых функций может увеличить вычислительные затраты
3. Теоретический анализ: Отсутствие теоретических гарантий сходимости и надежности

Будущие направления

1. Расширение на сложные среды: Например, варианты покера (покер Куна и Ледука) и другие более сложные многоагентные конкурентные среды
2. Долгосрочное планирование: Исследование игр большего масштаба и более длительных горизонтов планирования
3. Теоретическое совершенствование: Предоставление теоретического анализа сходимости и надежности

Глубокая оценка

Преимущества

1. Высокая инновационность: Впервые введена состязательная надежность в моделирование последовательностей в стохастических играх, заполняя важный исследовательский пробел
2. Обоснованный метод: Комбинирование моделирования этапных игр и регрессии ожидаемых значений элегантно решает двойной вызов стохастичности и состязательности
3. Достаточные эксперименты: Хотя в синтетической среде, разработаны несколько вариантов для проверки эффективности метода
4. Важная проблема: Решаемая проблема имеет важное практическое значение и теоретическое значение

Недостатки

1. Ограничения экспериментов: Проверено только в простых синтетических средах, отсутствует проверка на реальных приложениях
2. Отсутствие теории: Отсутствие теоретического анализа сходимости, сложности и надежности
3. Сложность метода: Требует чередующейся оптимизации нескольких целевых функций, что может повлиять на практичность
4. Ограниченное сравнение: Сравнение только с ARDT и DT, отсутствие сравнения с другими методами надежного обучения с подкреплением

Влияние

1. Академический вклад: Открывает новое направление применения моделирования последовательностей в состязательной среде
2. Практическая ценность: Предоставляет новые идеи для разработки более надежных многоагентных систем
3. Воспроизводимость: Четкое описание метода, простая экспериментальная установка, легко воспроизводится

Применимые сценарии

1. Многоагентные системы: Среды с состязательностью и неопределенностью
2. Приложения, критичные по безопасности: Сценарии, требующие гарантии производительности в наихудшем случае
3. Автономное обучение: Среды, где невозможно онлайн-взаимодействие

Библиография

Статья ссылается на важные работы в области обучения с подкреплением, теории игр и моделирования последовательностей, включая:

• Chen et al. (2021) - Исходная работа Decision Transformer
• Tang et al. (2024a) - Метод ARDT
• Hu and Wellman (2003) - Nash Q-Learning
• Vaswani et al. (2017) - Архитектура Transformer

Общая оценка: Это высококачественная исследовательская работа, решающая важную и сложную проблему. Хотя есть место для улучшения в экспериментальной верификации и теоретическом анализе, инновационность и обоснованность метода делают его ценным вкладом в данную область.