Фильтр безопасности поведенческого здоровья на основе ИИ и набор данных для выявления кризисов психического здоровья в текстовых беседах

Основная информация

• ID статьи: 2510.12083
• Название: An AI-Based Behavioral Health Safety Filter and Dataset for Identifying Mental Health Crises in Text-Based Conversations
• Авторы: Benjamin W. Nelson, Celeste Wong, Matthew T. Silvestrini, Sooyoon Shin, Alanna Robinson, Jessica Lee, Eric Yang, John Torous, Andrew Trister
• Классификация: cs.CL cs.AI
• Время публикации: Препринт, журнал или конференция не указаны
• Ссылка на статью: https://arxiv.org/abs/2510.12083

Аннотация

Большие языковые модели часто допускают ошибки при работе с кризисами психического здоровья, предоставляя вредные или неадекватные советы и даже способствуя деструктивному поведению. В данном исследовании оценивается фильтр безопасности поведенческого здоровья Verily (VBHSF) на двух наборах данных: наборе данных о кризисах психического здоровья Verily, содержащем 1800 смоделированных сообщений, и подмножестве набора данных безопасности контента AI Aegis NVIDIA, содержащем 794 сообщения, связанные с психическим здоровьем. Оба набора данных аннотированы клиническими врачами. Исследование также включает сравнительный анализ производительности с двумя открытыми системами модерации контента: OpenAI Omni Moderation Latest и NVIDIA NeMo Guardrails. VBHSF демонстрирует отличные результаты на наборе данных о кризисах психического здоровья Verily v1.0, достигая высокой чувствительности (0,990) и специфичности (0,992) при обнаружении любого кризиса психического здоровья. При выявлении конкретных категорий кризисов показатель F1 составляет 0,939, чувствительность варьируется от 0,917 до 0,992, специфичность ≥ 0,978. При оценке на наборе данных безопасности контента AI Aegis 2.0 VBHSF сохраняет высокую чувствительность (0,982) и точность (0,921), но специфичность снижается (0,859). По сравнению с существующими системами защиты VBHSF демонстрирует значительно более высокую чувствительность во всех случаях (все p < 0,001), более высокую специфичность по сравнению с NVIDIA NeMo (p < 0,001), но без значительных различий с OpenAI Omni Moderation Latest (p = 0,094).

Исследовательский контекст и мотивация

Определение проблемы

Выявление и управление кризисами психического здоровья является растущей социальной проблемой. Исследовательский контекст указывает на следующее:

1. Распространённость и рост кризисов психического здоровья: Психиатрические неотложные состояния становятся всё более распространёнными и растут
2. Сложность выявления: Даже клинические врачи лишь немного лучше, чем случайное угадывание, при выявлении кризисов
3. Косвенность выражения: Люди часто выражают страдание косвенным образом

Ограничения существующих технологий

Современные большие языковые модели имеют серьёзные недостатки при работе с кризисами психического здоровья:

• Высокий риск ошибок: Включая пропуск признаков суицида, предоставление небезопасных советов и даже содействие причинению вреда
• Недостаточность универсальных систем защиты: Существующие фильтры безопасности в основном ориентированы на общие риски (например, сексуальный контент, общее насилие) и не подходят для выявления кризисов психического здоровья
• Отсутствие клинической валидации: Существующие эталонные наборы данных не содержат сообщений о психическом здоровье и клинических аннотаций

Мотивация исследования

Данное исследование направлено на заполнение следующих критических пробелов:

1. Разработка специализированного фильтра безопасности для кризисов психического здоровья
2. Создание клинически валидированного набора данных для выявления кризисов психического здоровья
3. Установление стандартизированной системы оценки

Основные вклады

1. Определены восемь измерений кризисов психического здоровья: В сотрудничестве с клиническими экспертами выявлены наиболее срочные и высокорисковые проявления, включая жестокое обращение, пренебрежение, поведение, связанное с расстройствами пищевого поведения, психоз, самоповреждение, суицид, злоупотребление психоактивными веществами, насилие в отношении других лиц и смешанные проявления
2. Разработана система VBHSF: Специализированный фильтр безопасности психического здоровья на основе Transformer, способный выявлять и классифицировать сигналы кризиса в сообщениях пользователей
3. Создан набор данных о кризисах психического здоровья Verily v1.0: Содержит 1800 смоделированных сообщений, отражающих реальные модели цифровой коммуникации, аннотированных двумя практикующими клиническими врачами
4. Установлены эталоны оценки: Оценена производительность на внутренних и внешних наборах данных и проведено сравнение с передовыми универсальными системами защиты

Подробное описание методологии

Определение задачи

Входные данные: Текстовые сообщения (моделирующие реальную цифровую коммуникацию) Выходные данные:

• Этап 1: Бинарная классификация (кризис/не кризис)
• Этап 2: Многометочная классификация (8 конкретных категорий кризисов)

Архитектура модели

Фильтр безопасности поведенческого здоровья Verily (VBHSF)

• Базовая архитектура: LLM на основе Transformer (архитектура GPT)
• Основная технология: Использование продвинутого инжиниринга подсказок и клинического рассуждения
• Двухэтапный дизайн:
  • Этап 1: Классификатор общего выявления кризисов
  • Этап 2: Многометочная классификация для сообщений, отмеченных как "кризис"

Система категорий кризисов

Определены 8 клинически релевантных категорий кризисов:

1. Жестокое обращение (Abuse)
2. Пренебрежение (Neglect)
3. Поведение, связанное с расстройствами пищевого поведения (Eating-disorder behaviors)
4. Психоз (Psychosis)
5. Самоповреждение (Self-harm)
6. Суицид (Suicide)
7. Злоупотребление психоактивными веществами (Substance misuse)
8. Насилие в отношении других лиц (Violence towards others)

Технологические инновации

1. Клинически ориентированный дизайн: В отличие от универсальных фильтров безопасности, специально оптимизирован для тонких различий кризисов психического здоровья
2. Иерархическая архитектура классификации: Двухэтапный дизайн обеспечивает эффективное выявление кризисов и точную классификацию категорий
3. Моделирование реальных моделей коммуникации: Набор данных включает реальные характеристики цифровой коммуникации, такие как грамматические ошибки, интернет-сленг, эмодзи и символы
4. Оптимизация высокой чувствительности: Приоритет отдаётся чувствительности для минимизации пропусков, что критически важно для приложений здравоохранения

Экспериментальная установка

Наборы данных

Набор данных о кризисах психического здоровья Verily v1.0

• Размер: 1800 сообщений (900 сообщений о кризисах + 900 сообщений без кризисов)
• Метод построения: Синтезированы с использованием предварительно обученной языковой модели, моделирующей реальные модели цифровой коммуникации
• Аннотация: Независимо аннотированы двумя практикующими клиническими врачами, Cohen's κ = 0,99
• Языковые характеристики:
  • Грамматические ошибки: 55,90%
  • Интернет-сленг: 45,80%
  • Эмодзи и символьные маркеры: 13,50%

Набор данных безопасности контента AI Aegis NVIDIA 2.0

• Размер: 794 сообщения (397 о кризисах, 397 без кризисов)
• Источник: Подмножество человеческих данных, сосредоточенное на "суициде и самоповреждении"
• Переаннотация: Два клинических врача переклассифицировали 6,927% данных для обеспечения точности меток

Метрики оценки

• Основные метрики: Чувствительность (Sensitivity), специфичность (Specificity), точность (Accuracy)
• Комплексные метрики: Показатель F1, положительная прогностическая ценность (PPV), отрицательная прогностическая ценность (NPV)
• Статистические тесты: Тест Cochran's Q и тест McNemar (с коррекцией Bonferroni)

Методы сравнения

1. OpenAI Omni Moderation Latest: На основе GPT-4o, охватывает 13 предопределённых категорий
2. NVIDIA NeMo Guardrails: Открытая модель, охватывает 23 категории риска

Результаты экспериментов

Основные результаты

Производительность на наборе данных Verily

Производительность на наборе данных NVIDIA

Анализ производительности по категориям

Производительность VBHSF по различным категориям кризисов:

• Диапазон чувствительности: 0,917–0,992
• Специфичность: Все категории ≥ 0,978
• Макро-средний показатель F1: 0,939

Статистическая значимость

• Чувствительность VBHSF значительно выше, чем у обеих сравниваемых моделей (оба p < 0,001)
• Специфичность VBHSF значительно выше, чем у NVIDIA NeMo (p < 0,001)
• Без значительных различий с OpenAI в специфичности (p = 0,094)

Анализ практической ценности применения

Прогнозируемая положительная прогностическая ценность (PPV) в условиях низкой распространённости показывает:

• При распространённости 2% PPV VBHSF составляет 0,716
• Хотя PPV OpenAI немного выше (0,895), низкая чувствительность приводит к большому количеству пропусков
• Результаты показывают необходимость человеческого надзора для обработки ложных срабатываний

Связанные работы

Исследования в области безопасности ИИ для психического здоровья

Основные направления исследований в этой области включают:

1. Алгоритмы выявления кризисов: Методы традиционного машинного обучения и глубокого обучения
2. Системы модерации контента: Развитие универсальных систем защиты
3. Поддержка клинических решений: Применение ИИ в оценке психического здоровья

Уникальные вклады данной работы

Преимущества данного исследования по сравнению с существующими работами:

1. Специализированный дизайн: Специально для кризисов психического здоровья, а не для универсальной модерации контента
2. Клиническая валидация: Аннотация практикующими клиническими врачами обеспечивает медицинскую точность
3. Комплексная оценка: Проверка как на внутренних, так и на внешних наборах данных для оценки способности к обобщению

Заключение и обсуждение

Основные выводы

1. Отличная производительность VBHSF: Значительно превосходит существующие универсальные системы защиты при выявлении кризисов
2. Сбалансированная производительность: Сохраняет высокую чувствительность при поддержании низкого уровня ложных срабатываний
3. Сильная способность к обобщению: Сохраняет хорошую производительность на внешних наборах данных
4. Высокая практическая ценность: Подходит в качестве инструмента скрининга, требует человеческого надзора для обработки ложных срабатываний

Ограничения

1. Языковые ограничения: Поддерживает только английский язык, способность к обобщению на другие языки неизвестна
2. Однооборотные диалоги: Обрабатывает только отдельные сообщения, производительность в многооборотных диалогах может снизиться
3. Смоделированные данные: Использует синтезированные данные вместо реальных сообщений пользователей
4. Риск загрязнения данных: Набор данных NVIDIA может содержать сообщения, использованные при обучении их системы защиты

Направления будущих исследований

1. Поддержка нескольких языков: Расширение выявления кризисов на другие языки
2. Обработка многооборотных диалогов: Разработка фильтров безопасности, применимых к контексту диалога
3. Валидация на реальных данных: Проверка производительности на реальных данных пользователей
4. Стандартизированная система: Установление отраслевых стандартов протоколов оценки безопасности
5. Состязательное тестирование: Разработка методов красной команды и состязательной оценки

Глубокая оценка

Достоинства

1. Высокая клиническая релевантность:
   • Сотрудничество с клиническими экспертами при определении категорий кризисов
   • Использование практикующих клинических врачей для аннотации данных
   • Внимание к реальным потребностям приложений здравоохранения
2. Методологическая строгость:
   • Логичный двухэтапный дизайн оценки
   • Комплексный статистический анализ, включающий тесты значимости
   • Внутренняя и внешняя валидация обеспечивают способность к обобщению
3. Выдающаяся практическая ценность:
   • Дизайн с высокой чувствительностью соответствует требованиям медицинской безопасности
   • Прогнозирование производительности для реальных сценариев применения
   • Ясное определение необходимости человеческого надзора
4. Вклад набора данных:
   • Заполняет пробел в клинически аннотированных наборах данных о психическом здоровье
   • Моделирует реальные характеристики цифровой коммуникации
   • Предоставляет важный ресурс для развития области

Недостатки

1. Проблемы с реальностью данных:
   • Полная зависимость от синтезированных данных, которые могут отличаться от реальных сообщений пользователей
   • Отсутствие валидации при развёртывании в реальном мире
2. Недостаточность технических деталей:
   • Описание архитектуры модели слишком кратко
   • Отсутствие подробного описания процесса обучения и гиперпараметров
   • Конкретная реализация инжиниринга подсказок не раскрыта
3. Ограничения оценки:
   • Ограничено обработкой однооборотных сообщений
   • Отсутствие состязательного тестирования и анализа граничных случаев
   • Не учитываются различия между разными группами населения и культурными контекстами
4. Проблемы воспроизводимости:
   • Недостаточно подробное описание деталей реализации модели
   • Неполное описание процесса построения набора данных

Влияние

1. Академический вклад:
   • Установление эталонов для применения безопасности ИИ в области психического здоровья
   • Продвижение исследований специализированных фильтров безопасности
   • Предоставление важного набора данных оценки и методологии
2. Практическая ценность:
   • Прямое применение в системах поддержки клинических решений
   • Интеграция в платформы цифрового здравоохранения
   • Техническая поддержка крупномасштабных вмешательств в области психического здоровья
3. Социальное значение:
   • Помощь в снижении рисков систем ИИ при работе с кризисами психического здоровья
   • Продвижение ответственного ИИ в области медицинского здравоохранения
   • Предоставление технических доказательств для разработки политики

Применимые сценарии

1. Системы клинической сортировки: Использование в качестве инструмента первичного скрининга для выявления пациентов высокого риска
2. Платформы цифрового здравоохранения: Интеграция в приложения психического здоровья для обеспечения безопасности
3. Линии кризисной помощи: Помощь операторам в выявлении срочных ситуаций
4. Образование и обучение: Использование для обучения клинических врачей выявлению кризисов
5. Исследовательские приложения: Использование в качестве эталонного инструмента для исследований безопасности ИИ в области психического здоровья

Библиография

Статья ссылается на обширную соответствующую литературу, включая в основном:

1. Эпидемиологические исследования кризисов психического здоровья
2. Технологии безопасности ИИ и модерации контента
3. Системы поддержки клинических решений
4. Исследования цифровых вмешательств в области психического здоровья
5. Применение обработки естественного языка в медицинском здравоохранении

Общая оценка: Это исследование имеет важную ценность на пересечении безопасности ИИ и цифрового психического здоровья. Статья решает реальную и срочную проблему, методология строга, результаты убедительны. Несмотря на некоторые ограничения в отношении реальности данных и технических деталей, её клиническая релевантность и практическая ценность делают её важным вкладом в эту область. Данная работа закладывает важную основу для будущих исследований безопасности ИИ в области психического здоровья.