Обучение моделей для обнаружения последовательных ошибок роботов по реакциям людей

Основная информация

• ID статьи: 2510.09080
• Заголовок: Training Models to Detect Successive Robot Errors from Human Reactions
• Авторы: Shannon Liu (Cornell University), Maria Teresa Parreira (Cornell Tech), Wendy Ju (Cornell Tech)
• Классификация: cs.RO (Робототехника), cs.AI (Искусственный интеллект), cs.HC (Человеко-компьютерное взаимодействие)
• Дата публикации: 10 октября 2024 года, представлено в arXiv
• Ссылка на статью: https://arxiv.org/abs/2510.09080

Аннотация

По мере интеграции роботов в общество обнаружение ошибок роботов становится критически важным для эффективного взаимодействия человека и робота (HRI). Как робот узнает, когда изменить поведение при повторных неудачах? Люди естественным образом реагируют на ошибки роботов с помощью вербальных и невербальных сигналов, которые усиливаются при последовательных неудачах — от недоумения и тонких изменений в голосе до явного разочарования и нетерпения. Хотя предыдущие работы показали, что реакции людей могут указывать на неудачи роботов, мало исследований изучали, как эти эволюционирующие реакции указывают на последовательные неудачи. В этом исследовании используется машинное обучение для идентификации стадий неудач роботов по реакциям людей. В исследовании с участием 26 участников, взаимодействующих с роботом, совершающим повторные диалоговые ошибки, из видеоданных извлекаются поведенческие признаки для обучения моделей для индивидуальных пользователей. Лучшая модель достигает точности 93,5% в обнаружении ошибок и точности 84,1% в классификации последовательных неудач.

Обоснование и мотивация исследования

Определение проблемы

Основная проблема, которую решает это исследование: как использовать реакции людей на последовательные ошибки роботов для автоматического обнаружения и классификации стадий неудач роботов? В частности:

1. Обнаружение ошибки робота
2. Идентификация различных стадий последовательных неудач робота
3. Понимание моделей эволюции реакций людей в процессе последовательных неудач

Важность проблемы

1. Практическая потребность: с широким применением роботов в обществе необходимы эффективные механизмы обнаружения ошибок для улучшения качества HRI
2. Понимание поведения: реакции людей на ошибки роботов имеют прогрессивный характер, от начального недоумения и языковой корректировки до явного разочарования
3. Улучшение системы: понимание моделей последовательных неудач помогает системам роботов своевременно корректировать стратегии поведения

Ограничения существующих методов

1. Существующие исследования в основном сосредоточены на обнаружении единичных ошибок роботов
2. Недостаточно глубоких исследований моделей эволюции реакций людей в процессе последовательных неудач
3. Ограниченные исследования о том, как использовать эту эволюцию для идентификации стадий неудач

Основные вклады

1. Первое систематическое исследование: впервые систематически исследованы модели эволюции реакций людей на последовательные неудачи роботов
2. Мультимодальное слияние признаков: предложен мультимодальный метод машинного обучения, объединяющий признаки мимики, позы тела, аудио и текста
3. Различные стратегии классификации: разработаны четыре различные стратегии разделения данных и классификации для обработки различных типов задач обнаружения ошибок
4. Высокопроизводительные модели: достигнута точность обнаружения ошибок 93,5% и точность классификации последовательных ошибок 84,1% на моделях индивидуальных пользователей
5. Глубокий анализ: предоставлены глубокие прозрения в динамику повторных прерываний взаимодействия в HRI

Подробности метода

Определение задачи

В этом исследовании определены две основные задачи классификации:

1. Обнаружение ошибок (бинарная классификация): различение состояния без ошибок (NoError=0) и любого состояния с ошибкой (AnyError=1)
2. Обнаружение последовательных ошибок (многоклассовая классификация): различение без ошибок (NoError=0), первой ошибки (Error1=1), второй ошибки (Error2=2) и третьей ошибки (Error3=3)

Сбор данных и извлечение признаков

Исследование основано на предыдущем исследовании пользователей, включающем данные взаимодействия 26 участников с роботом. Извлечение признаков включает:

1. Признаки лица: использование OpenFace для извлечения единиц действия лица (AU) и информации о взгляде
2. Поза тела: использование OpenPose для извлечения ключевых точек верхней части тела
3. Аудиопризнаки: использование openSMILE для извлечения аудиопризнаков
4. Текстовые признаки: использование CLIP и BERT для извлечения текстовых признаков

Стратегии разделения данных

Разработаны четыре метода разделения данных для оценки различных возможностей классификации:

1. Обнаружение ошибок: включает обучение и тестирование со всеми бинарными метками
2. Обнаружение множественных ошибок: включает обучение и тестирование со всеми многоклассовыми метками
3. Обобщение от первой ошибки к последовательным ошибкам: обучение только на данных без ошибок и первой ошибки, тестирование на данных последующих ошибок
4. Разделение последовательных ошибок: обучение и тестирование только с метками реакций на ошибки

Архитектура модели

Исследованы две архитектуры нейронных сетей:

1. Сеть LSTM: для захвата долгосрочных зависимостей в последовательных данных
2. Сеть GRU: как более легкая альтернатива

Методы представления признаков

Протестированы три метода представления признаков:

1. Исходные признаки: использование нестандартизированных исходных признаков
2. Стандартизация: обеспечение согласованности масштабов признаков
3. PCA-редукция: уменьшение размерности признаков

Стратегии слияния

Исследованы три метода слияния:

1. Раннее слияние: объединение признаков до входа в модель
2. Промежуточное слияние: обработка модальностей отдельно, затем объединение
3. Позднее слияние: обучение модальностей отдельно, затем комбинирование результатов предсказаний

Экспериментальная установка

Характеристики набора данных

• Количество участников: 26 участников
• Сценарий взаимодействия: взаимодействие участников с роботом, совершающим последовательные диалоговые неудачи
• Метод аннотации: кадры видео аннотированы в соответствии с возникновением ошибок робота
• Перекрестная проверка: использована 26-кратная перекрестная проверка, каждый участник как одна складка

Оценочные показатели

• Точность (Accuracy)
• Прецизионность (Precision)
• Полнота (Recall)
• F1-мера (F1-Score)

Настройки обучения

• Количество эпох: 50 эпох обучения на каждую складку
• Разделение данных: 80/20 обучающая-тестовая разбивка, 10% обучающего набора используется для проверки
• Обработка данных: случайное перемешивание данных перед обучением

Результаты экспериментов

Основные результаты

Согласно результатам таблицы I, лучшая производительность для каждой задачи следующая:

Ключевые находки

1. Лучшая производительность обнаружения ошибок: задача бинарного обнаружения ошибок достигла наивысшей точности 93,5%, обеспечивая сильную базовую линию для обнаружения ошибок роботов
2. Разделение последовательных ошибок лучше, чем обнаружение множественных ошибок: разделение последовательных ошибок (точность 90%) немного выше, чем обнаружение множественных ошибок (точность 84,1%)
3. Ограниченная способность обобщения: производительность обобщения от первой ошибки к последовательным ошибкам низкая (точность 74%), указывая на тонкие изменения в реакциях после последовательных ошибок
4. Эффективность индивидуального обучения: модели одного участника могут изучать уникальные способы выражения сигналов ошибок каждого индивида

Анализ модальностей и признаков

Анализ лучшей конфигурации:

• Признаки лица выделяются в большинстве задач, особенно в задачах обнаружения ошибок
• PCA-редукция показывает значительный эффект при обработке признаков лица
• Мультимодальная комбинация (поза+аудио+лицо) лучше работает в сложных задачах классификации
• Позднее слияние и раннее слияние имеют свои преимущества в разных задачах

Связанные работы

Область обнаружения ошибок роботов

Существующие исследования в основном сосредоточены на:

1. Использовании реакций людей для обнаружения единичных неудач роботов
2. Распознавании ошибок в мультимодальном HRI
3. Применении признаков мимики и голоса в HRI

Инновации данной работы

По сравнению с существующими работами, это исследование:

1. Впервые сосредоточено на обнаружении и классификации последовательных неудач
2. Систематически исследует модели эволюции реакций людей
3. Предоставляет решения для индивидуального обнаружения ошибок

Заключение и обсуждение

Основные выводы

1. Возможность машинного обучения: модели машинного обучения могут точно обнаруживать ошибки роботов на основе реакций людей
2. Преимущества индивидуального моделирования: обучение моделей для отдельных участников может изучать уникальные модели поведения каждого человека
3. Влияние сложности задачи: бинарные стратегии надежно работают при обнаружении ошибок, многоклассовые и смешанные стратегии могут захватывать прогресс последовательных ошибок
4. Ценность мультимодальных признаков: комбинация различных модальных признаков повышает производительность сложных задач классификации

Ограничения

1. Недостаточная способность обобщения: модели не оценивались на полностью невиданных участниках, способность обобщения между участниками неизвестна
2. Ограничения сценария: эксперименты проводились только в конкретном сценарии диалоговых неудач, другие типы ошибок роботов не рассматривались
3. Размер выборки: размер выборки из 26 участников относительно ограничен
4. Рассмотрение реального времени: производительность моделей в реальном взаимодействии не оценивалась

Будущие направления

1. Обобщение между участниками: оценка способности моделей к обобщению на полностью невиданных участниках
2. Разработка систем реального времени: разработка систем HRI, способных обнаруживать и реагировать в реальном времени
3. Разнообразные типы ошибок: расширение на другие типы ошибок роботов и сценарии неудач
4. Адаптивное обучение: разработка моделей, способных адаптироваться к новым моделям поведения пользователей онлайн

Глубокая оценка

Преимущества

1. Инновационность проблемы: впервые систематически исследовано обнаружение последовательных ошибок роботов, заполнена важная исследовательская лакуна
2. Методологическая всесторонность: систематически исследованы различные стратегии разделения данных, представления признаков, архитектуры моделей и стратегии слияния
3. Строгость экспериментов: использованы подходящие стратегии перекрестной проверки, предоставлены подробные показатели производительности
4. Практическая ценность: результаты исследования имеют прямое применение для улучшения систем HRI
5. Мультимодальное слияние: эффективная интеграция различных модальных данных, таких как мимика, поза, аудио и текст

Недостатки

1. Ограничения обобщаемости: отсутствие оценки обобщаемости между участниками, сомнительная надежность при реальном развертывании
2. Единичность сценария: проверено только в сценарии диалоговых неудач, применимость к другим задачам роботов неизвестна
3. Отсутствие реального времени: не рассмотрены проблемы задержки и вычислительной сложности при обнаружении в реальном времени
4. Недостаточный теоретический анализ: отсутствует глубокий теоретический анализ, почему некоторые комбинации признаков работают лучше
5. Ограничения размера данных: относительно небольшой набор данных может влиять на способность модели к обобщению

Влияние

1. Академический вклад: открыто новое направление для исследований обнаружения ошибок в области HRI
2. Практическая ценность: предоставлена техническая основа для разработки более интеллектуальных систем взаимодействия с роботами
3. Методологический вклад: предоставлен систематический фреймворк для мультимодального слияния признаков и оценки
4. Междисциплинарная ценность: объединены методы исследования из машинного обучения, HRI и робототехники

Подходящие сценарии

1. Сервисные роботы: обнаружение ошибок роботов в сервисных сценариях, таких как рестораны и отели
2. Образовательные роботы: мониторинг и корректировка поведения роботов в классных условиях
3. Медицинские вспомогательные роботы: мониторинг качества взаимодействия человека и робота в медицинских условиях
4. Домашние роботы: оптимизация персонализированного взаимодействия в домашних условиях

Список литературы

В статье цитируются несколько важных технических инструментов и связанных исследований:

1. Технические инструменты: OpenFace (извлечение признаков лица), OpenPose (оценка позы), openSMILE (аудиопризнаки), CLIP и BERT (текстовые признаки)
2. Связанные исследования: включая предыдущие работы по обнаружению ошибок HRI и исследования мультимодального взаимодействия
3. Фундаментальные исследования: предыдущие работы авторской группы по последовательным неудачам роботов

Резюме: Эта статья предлагает новую и важную исследовательскую проблему в области HRI, предоставляя эффективное решение для обнаружения последовательных ошибок роботов через систематический экспериментальный дизайн и мультимодальные методы машинного обучения. Несмотря на такие ограничения, как обобщаемость и ограничения сценария, результаты исследования предоставляют ценную техническую основу и исследовательские направления для улучшения систем взаимодействия с роботами.