2025-11-20T19:34:14.388746

Hybrid Explanation-Guided Learning for Transformer-Based Chest X-Ray Diagnosis

Shu, Luo, Poellinger et al.
Transformer-based deep learning models have demonstrated exceptional performance in medical imaging by leveraging attention mechanisms for feature representation and interpretability. However, these models are prone to learning spurious correlations, leading to biases and limited generalization. While human-AI attention alignment can mitigate these issues, it often depends on costly manual supervision. In this work, we propose a Hybrid Explanation-Guided Learning (H-EGL) framework that combines self-supervised and human-guided constraints to enhance attention alignment and improve generalization. The self-supervised component of H-EGL leverages class-distinctive attention without relying on restrictive priors, promoting robustness and flexibility. We validate our approach on chest X-ray classification using the Vision Transformer (ViT), where H-EGL outperforms two state-of-the-art Explanation-Guided Learning (EGL) methods, demonstrating superior classification accuracy and generalization capability. Additionally, it produces attention maps that are better aligned with human expertise.
academic

Гибридное объяснение-ориентированное обучение для диагностики рентгенограмм грудной клетки на основе Transformer

Основная информация

  • ID статьи: 2510.12704
  • Название: Hybrid Explanation-Guided Learning for Transformer-Based Chest X-Ray Diagnosis
  • Авторы: Shelley Zixin Shu, Haozhe Luo, Alexander Poellinger, Mauricio Reyes
  • Классификация: cs.CV cs.AI
  • Дата публикации: 14 октября 2025 г.
  • Ссылка на статью: https://arxiv.org/abs/2510.12704v1

Аннотация

Модели глубокого обучения на основе Transformer демонстрируют превосходные возможности представления признаков и интерпретируемости в медицинской визуализации благодаря механизмам внимания. Однако эти модели склонны к обучению ложным корреляциям, что приводит к смещениям и ограниченной способности к обобщению. Хотя выравнивание внимания человека и машины может смягчить эти проблемы, оно часто зависит от дорогостоящего ручного контроля. В данной работе предлагается фреймворк гибридного объяснение-ориентированного обучения (H-EGL), объединяющий самоконтролируемые и человеческие ограничения для улучшения выравнивания внимания и повышения способности к обобщению. Компонент самоконтроля H-EGL использует дискриминативное внимание класса без зависимости от ограничивающих априорных предположений, способствуя робастности и гибкости. Метод был проверен на задаче классификации рентгенограмм грудной клетки с использованием Vision Transformer (ViT). H-EGL превосходит два современных метода объяснение-ориентированного обучения, демонстрируя превосходную точность классификации и способность к обобщению, одновременно создавая карты внимания, лучше согласованные с экспертами-людьми.

Исследовательский контекст и мотивация

Определение проблемы

Основная проблема, которую решает данное исследование, — это обучение ложным корреляциям и выравнивание внимания в моделях медицинской визуализации на основе Transformer. Конкретно:

  1. Проблема ложных корреляций: Глубокие нейронные сети склонны к обучению ложным корреляциям в данных, что приводит к ярлыковому обучению, смещениям и проблемам справедливости
  2. Вызовы выравнивания внимания: Хотя выравнивание внимания человека и машины может улучшить робастность модели, оно требует дорогостоящей ручной аннотации
  3. Ограничения существующих методов: Чистые самоконтролируемые методы могут усилить ошибочные интерпретации, а методы контрастного обучения не имеют стандартизированных способов генерации положительных и отрицательных примеров

Значимость исследования

В диагностике медицинской визуализации интерпретируемость и надежность модели имеют критическое значение. Ошибочные паттерны внимания могут привести к:

  • Ошибкам в клинических решениях
  • Пропуску критических патологических признаков
  • Отказу модели при обобщении на различные распределения данных

Ограничения существующих методов

  1. Чистые контролируемые методы: Зависят от дорогостоящих экспертных аннотаций, высокие затраты
  2. Чистые самоконтролируемые методы: Могут усилить ложные или неправильно выровненные интерпретации
  3. Традиционные методы ограничений: Зависят от жестких априорных предположений (разреженность, гладкость), которые могут подавлять обучение сложным признакам

Основные вклады

  1. Предложение фреймворка H-EGL: Первое применение гибридного объяснение-ориентированного метода к архитектуре Transformer с оценкой и улучшением выравнивания внимания человека и машины
  2. Разработка компонента DAL: Предложено дискриминативное обучение внимания (Discriminative Attention Learning), использующее дискриминативные карты внимания класса для самоконтролируемого обучения
  3. Повышение производительности: Превосходство существующих современных методов на задаче классификации рентгенограмм грудной клетки с AUC 89,3%
  4. Улучшение интерпретируемости: Создание карт внимания, лучше согласованных с экспертными знаниями, при сохранении производительности классификации

Подробное описание методов

Определение задачи

Входные данные: Рентгенограммы грудной клетки и текстовые метки заболеваний Выходные данные: Прогнозы многоклассовой классификации заболеваний и карты внимания, специфичные для класса Цель: Повышение точности классификации при одновременном создании карт внимания, согласованных с аннотированными областями экспертов-людей

Архитектура модели

Общий фреймворк

H-EGL построен на основе архитектуры DWARF с использованием структуры кодировщик-декодировщик ViT:

  1. Текстовый кодировщик: Замороженный Med-KEBERT для обработки меток заболеваний
  2. Визуальный кодировщик: Обучаемый ViT-B для обработки входных изображений 224×224
  3. Кросс-внимательный декодировщик: Объединение визуальных и текстовых признаков

Основные компоненты

1. Модуль выравнивания человека и машины Использует штрафную функцию потерь Dice для выравнивания карт внимания с экспертными масками:

L_HA = 1 - (2×|A_i ⊙ M_i|)/(|A_i| + |M_i| + w_FP×N_FP)

где A_i — карта внимания, созданная моделью, M_i — экспертная маска.

2. Дискриминативное обучение внимания (DAL) Улучшение дискриминативности класса путем минимизации сходства карт внимания различных классов:

L_DAL = (2)/(C(C-1)) × ∑∑|S(A_i, A_j)|

где S(A_i, A_j) — косинусное сходство между картами внимания A_i и A_j.

Объединенная функция потерь

L_H-EGL = L_CE + α×L_HA + β×L_DAL

Технические инновации

  1. Отсутствие необходимости в генерации отрицательных примеров: DAL избегает сложной конструкции отрицательных примеров в традиционном контрастном обучении
  2. Гибкие индуктивные смещения: Не зависит от жестких ограничений типа разреженности, сохраняя способность модели обучаться сложным признакам
  3. Прямое использование внимания ViT: Полное использование встроенного механизма внимания Transformer вместо апостериорных инструментов интерпретации
  4. Гибридная стратегия контроля: Баланс между человеческим руководством и автономным обучением для оптимального соотношения затрат и производительности

Экспериментальная установка

Наборы данных

  • Набор данных ChestXDet: Подмножество NIH ChestX-ray14
  • Масштаб: 3 578 пациентов, 3 025 образцов в обучающем наборе, 553 образца в тестовом наборе
  • Аннотации: Включают граничные рамки и полигональные аннотации для 4 типов патологий грудной клетки (ателектаз, кардиомегалия, консолидация, выпот)
  • Валидация: Три радиолога проверили качество аннотаций
  • Разделение: Разделение 80-20 для обучения и валидации

Метрики оценки

  • Метрики классификации: AUC, F1-оценка, MCC (коэффициент корреляции Мэтьюса)
  • Способность к обобщению: Разница в производительности между наборами валидации и тестирования
  • Робастность: Производительность при различных уровнях шума

Методы сравнения

  1. KAD: Фреймворк обнаружения с учетом знаний, использующий графы знаний для улучшения визуального рассуждения
  2. GAIN: Сеть внимания на основе градиентов, повышающая интерпретируемость через уточненные механизмы внимания
  3. DWARF(β=0): Объяснение-ориентированное обучение с использованием только человеческого руководства
  4. DAL(α=0): Чистое самоконтролируемое объяснение-ориентированное обучение

Детали реализации

  • Оптимизатор: AdamW, скорость обучения 1e-5
  • Стратегия обучения: 1000 эпох обучения, ранняя остановка с терпением 50, разминка 20 эпох
  • Размер пакета: 32
  • Оборудование: GPU RTX 4090, CUDA v12.2
  • Гиперпараметры: α=1.0, β=1.0, w_FP=1

Результаты экспериментов

Основные результаты

МетодAUC_test(%)AUC_gap(%)F1_test(%)F1_gap(%)MCC_test(%)MCC_gap(%)
KAD88.1±0.32.568.2±2.51.857.5±2.34.8
GAIN88.0±0.42.767.8±2.22.457.2±2.05.6
H-EGL89.3±0.71.569.4±1.90.558.3±2.53.8

Ключевые находки:

  • H-EGL достигает лучшей производительности по всем метрикам
  • Значительно снижает разрыв обобщения, указывая на лучшую робастность
  • Низкая дисперсия (0,7%), демонстрирующая стабильную производительность

Абляционные эксперименты

  • H-EGL(α=0): AUC 89.3±1.0%, подтверждает эффективность DAL
  • H-EGL(β=0): AUC 88.4±0.2%, показывает вклад человеческого выравнивания
  • Гибридный метод превосходит любой отдельный компонент

Анализ робастности

Тестирование при различных уровнях шума (σ=0, 0.03, 0.05, 0.1) показывает:

  • Производительность всех методов снижается с увеличением шума
  • H-EGL сохраняет оптимальную производительность при всех уровнях шума
  • Демонстрирует превосходную робастность

Качественный анализ

Визуализация карт внимания показывает:

  • Базовый KAD: Хотя охватывает аннотированные области, ошибочно выделяет нижние доли обоих легких
  • DWARF: Снижает ложноположительные результаты в нижней части, но ошибочно фокусируется на левом легком
  • H-EGL и DAL: Более точно определяют патологические области, значительно снижают ложноположительные результаты

Связанные работы

Основные направления исследований

  1. Объяснение-ориентированное обучение (EGL): Использование информации об объяснениях для руководства обучением модели
  2. Выравнивание внимания человека и машины: Интеграция человеческих знаний для улучшения интерпретируемости модели
  3. Применение Transformer в медицинской визуализации: Использование механизмов внимания для диагностики заболеваний

Преимущества данной работы

  • Первое применение гибридного объяснение-ориентированного метода к Transformer в медицинской визуализации
  • Предложение стратегии самоконтролируемого обучения внимания без отрицательных примеров
  • Достижение двойного повышения производительности и интерпретируемости

Заключение и обсуждение

Основные выводы

  1. H-EGL эффективно объединяет самоконтролируемое и человеческое контролируемое обучение, достигая превосходной производительности классификации и выравнивания внимания
  2. Компонент DAL обеспечивает гибкие индуктивные смещения, избегая чрезмерной регуляризации
  3. Гибридная стратегия достигает хорошего баланса между соотношением затрат и производительности

Ограничения

  1. Размер набора данных: Валидация только на относительно небольшом наборе данных ChestXDet
  2. Категории заболеваний: Оценка только 4 типов патологий грудной клетки
  3. Зависимость архитектуры: Разработана в основном для архитектуры ViT
  4. Чувствительность гиперпараметров: Оптимальные настройки параметров α и β могут варьироваться в зависимости от задачи

Будущие направления

  1. Динамические механизмы выравнивания: Исследование адаптивной регулировки степени самоконтроля и человеческого выравнивания во время обучения
  2. Валидация в большом масштабе: Проверка на больших наборах данных и большем количестве категорий заболеваний
  3. Расширение на кросс-модальность: Расширение на другие модальности медицинской визуализации
  4. Клиническое развертывание: Исследование эффектов применения в реальных клинических условиях

Углубленная оценка

Преимущества

  1. Инновационность метода: Первое применение гибридного объяснение-ориентированного обучения к Transformer в медицинской визуализации
  2. Техническая обоснованность: Умный дизайн DAL, избегающий сложности традиционного контрастного обучения
  3. Полнота экспериментов: Включает комплексные сравнительные эксперименты, абляционные исследования и анализ робастности
  4. Практическая ценность: Значительное улучшение интерпретируемости при сохранении производительности

Недостатки

  1. Недостаточный теоретический анализ: Отсутствует глубокое теоретическое объяснение того, почему гибридный метод эффективен
  2. Вычислительная сложность: Недостаточно подробный анализ влияния дополнительных членов потерь на эффективность обучения
  3. Чувствительность гиперпараметров: Недостаточное руководство по выбору параметров α и β
  4. Отсутствие клинической валидации: Не включает оценку экспертами в реальных клинических условиях

Влияние

  1. Академический вклад: Предоставляет новые идеи для исследований интерпретируемости в медицинской визуализации
  2. Практическая ценность: Может быть непосредственно применен к существующим системам диагностики медицинской визуализации
  3. Воспроизводимость: Предоставляет подробные детали реализации для облегчения воспроизведения

Применимые сценарии

  1. Диагностика медицинской визуализации: Особенно подходит для клинических приложений, требующих высокой интерпретируемости
  2. Задачи многоклассовой классификации: Может быть расширен на другие задачи классификации, требующие выравнивания внимания
  3. Среды с ограниченными ресурсами: Гибридная стратегия контроля подходит для сценариев с ограниченными ресурсами аннотирования

Список литературы

Статья ссылается на множество важных связанных работ, включая:

  • Исходную статью Vision Transformer (ViT)3
  • Исследования ложных корреляций в медицинской визуализации2,5,6
  • Обзоры объяснение-ориентированного обучения4
  • Методы DWARF11 и KAD19

Общая оценка: Это высококачественная исследовательская статья, которая вносит значимый вклад в область интерпретируемости медицинской визуализации. Фреймворк гибридного объяснение-ориентированного обучения хорошо разработан, экспериментальная валидация полна, результаты убедительны. Несмотря на некоторые ограничения, работа обеспечивает хорошую основу и направления для будущих исследований.