2025-11-20T19:34:14.388746

Hybrid Explanation-Guided Learning for Transformer-Based Chest X-Ray Diagnosis

Shu, Luo, Poellinger et al.
Transformer-based deep learning models have demonstrated exceptional performance in medical imaging by leveraging attention mechanisms for feature representation and interpretability. However, these models are prone to learning spurious correlations, leading to biases and limited generalization. While human-AI attention alignment can mitigate these issues, it often depends on costly manual supervision. In this work, we propose a Hybrid Explanation-Guided Learning (H-EGL) framework that combines self-supervised and human-guided constraints to enhance attention alignment and improve generalization. The self-supervised component of H-EGL leverages class-distinctive attention without relying on restrictive priors, promoting robustness and flexibility. We validate our approach on chest X-ray classification using the Vision Transformer (ViT), where H-EGL outperforms two state-of-the-art Explanation-Guided Learning (EGL) methods, demonstrating superior classification accuracy and generalization capability. Additionally, it produces attention maps that are better aligned with human expertise.
academic

Hybrid Explanation-Guided Learning for Transformer-Based Chest X-Ray Diagnosis

基本信息

  • 论文ID: 2510.12704
  • 标题: Hybrid Explanation-Guided Learning for Transformer-Based Chest X-Ray Diagnosis
  • 作者: Shelley Zixin Shu, Haozhe Luo, Alexander Poellinger, Mauricio Reyes
  • 分类: cs.CV cs.AI
  • 发表时间: 2025年10月14日
  • 论文链接: https://arxiv.org/abs/2510.12704v1

摘要

基于Transformer的深度学习模型通过注意力机制在医学影像中展现了卓越的特征表示和可解释性能力。然而，这些模型容易学习虚假相关性，导致偏见和有限的泛化能力。虽然人机注意力对齐可以缓解这些问题，但往往依赖于昂贵的手动监督。本工作提出了混合解释引导学习(H-EGL)框架，结合自监督和人工引导约束来增强注意力对齐并改善泛化能力。H-EGL的自监督组件利用类别区分性注意力，无需依赖限制性先验，促进了鲁棒性和灵活性。在胸部X光分类任务上验证了该方法，使用Vision Transformer(ViT)，H-EGL超越了两种最先进的解释引导学习方法，展现了优越的分类精度和泛化能力，同时产生与人类专家更好对齐的注意力图。

研究背景与动机

问题定义

该研究要解决的核心问题是基于Transformer的医学影像模型中的虚假相关性学习和注意力对齐问题。具体包括：

  1. 虚假相关性问题：深度神经网络容易学习到数据中的虚假相关性，导致捷径学习、偏见和公平性问题
  2. 注意力对齐挑战：虽然人机注意力对齐可以改善模型鲁棒性，但需要昂贵的人工标注
  3. 现有方法局限性：纯自监督方法可能强化错误的解释，而对比学习方法缺乏标准化的正负样本生成方法

研究重要性

在医学影像诊断中，模型的可解释性和可靠性至关重要。错误的注意力模式可能导致：

  • 临床决策错误
  • 对关键病理特征的遗漏
  • 模型在不同数据分布上的泛化失败

现有方法局限性

  1. 纯监督方法：依赖昂贵的专家标注，成本高昂
  2. 纯自监督方法：可能强化虚假或错误对齐的解释
  3. 传统约束方法：依赖稀疏性、平滑性等刚性先验，可能抑制复杂特征学习

核心贡献

  1. 提出H-EGL框架：首次将混合解释引导方法应用于Transformer架构，评估和增强人机注意力对齐
  2. 设计DAL组件：提出判别性注意力学习(Discriminative Attention Learning)，利用类别区分性注意力图进行自监督学习
  3. 实现性能提升：在胸部X光分类任务上超越现有最先进方法，AUC达到89.3%
  4. 增强可解释性：生成与专家知识更好对齐的注意力图，同时保持分类性能

方法详解

任务定义

输入：胸部X光图像和疾病标签文本 输出：多标签疾病分类预测和类别特定注意力图 目标：在提高分类准确性的同时，生成与人类专家标注区域对齐的注意力图

模型架构

整体框架

H-EGL基于DWARF架构构建，采用ViT编码器-解码器结构：

  1. 文本编码器：冻结的Med-KEBERT，处理疾病标签
  2. 视觉编码器：可训练的ViT-B，处理224×224输入图像
  3. 跨注意力解码器：融合视觉和文本特征

核心组件

1. 人机对齐模块 使用惩罚Dice损失实现注意力图与专家标注的对齐：

L_HA = 1 - (2×|A_i ⊙ M_i|)/(|A_i| + |M_i| + w_FP×N_FP)

其中A_i是模型生成的注意力图，M_i是专家掩码。

2. 判别性注意力学习(DAL) 通过最小化不同类别注意力图的相似性来增强类别区分性：

L_DAL = (2)/(C(C-1)) × ∑∑|S(A_i, A_j)|

其中S(A_i, A_j)是注意力图A_i和A_j之间的余弦相似度。

统一损失函数

L_H-EGL = L_CE + α×L_HA + β×L_DAL

技术创新点

  1. 无需负样本生成：DAL避免了传统对比学习中复杂的负样本构造问题
  2. 灵活的归纳偏置：不依赖稀疏性等刚性约束，保持模型学习复杂特征的能力
  3. 直接利用ViT注意力：充分利用Transformer固有的注意力机制，而非后验解释工具
  4. 混合监督策略：平衡人工指导和自主学习，实现成本效益和性能的最优平衡

实验设置

数据集

  • ChestXDet数据集：NIH ChestX-ray14的子集
  • 规模：3,578名患者，训练集3,025样本，测试集553样本
  • 标注：包含4种胸部病理（肺不张、心脏扩大、实变、积液）的边界框和多边形标注
  • 验证：三位放射科医生验证标注质量
  • 划分：80-20训练验证分割

评价指标

  • 分类指标：AUC、F1分数、MCC(Matthews相关系数)
  • 泛化能力：验证集和测试集性能差距
  • 鲁棒性：不同噪声水平下的性能表现

对比方法

  1. KAD：知识感知检测框架，利用知识图谱增强视觉推理
  2. GAIN：基于梯度的注意力网络，通过精细化注意力机制提升可解释性
  3. DWARF(β=0)：仅使用人工标注引导的解释学习
  4. DAL(α=0)：纯自监督解释引导学习

实现细节

  • 优化器：AdamW，学习率1e-5
  • 训练策略：1000轮训练，早停耐心值50，20轮预热
  • 批次大小：32
  • 硬件：RTX 4090 GPU，CUDA v12.2
  • 超参数：α=1.0，β=1.0，w_FP=1

实验结果

主要结果

方法AUC_test(%)AUC_gap(%)F1_test(%)F1_gap(%)MCC_test(%)MCC_gap(%)
KAD88.1±0.32.568.2±2.51.857.5±2.34.8
GAIN88.0±0.42.767.8±2.22.457.2±2.05.6
H-EGL89.3±0.71.569.4±1.90.558.3±2.53.8

关键发现：

  • H-EGL在所有指标上均达到最佳性能
  • 显著降低了泛化差距，表明更好的鲁棒性
  • 方差较低(0.7%)，显示稳定的性能表现

消融实验

  • H-EGL(α=0)：AUC 89.3±1.0%，验证了DAL的有效性
  • H-EGL(β=0)：AUC 88.4±0.2%，显示人工对齐的贡献
  • 混合方法优于任一单独组件

鲁棒性分析

在不同噪声水平(σ=0, 0.03, 0.05, 0.1)下的测试表明：

  • 所有方法在噪声增加时性能下降
  • H-EGL在各噪声水平下均保持最优性能
  • 展现出优越的鲁棒性

定性分析

注意力图可视化显示：

  • 基线KAD：虽然覆盖了人工标注区域，但错误高亮了双肺下叶
  • DWARF：减少了下部假阳性，但错误关注左肺
  • H-EGL和DAL：更准确识别病理区域，显著减少假阳性

相关工作

主要研究方向

  1. 解释引导学习(EGL)：利用解释信息指导模型学习
  2. 人机注意力对齐：整合人类知识改善模型可解释性
  3. 医学影像中的Transformer应用：利用注意力机制进行疾病诊断

本文优势

  • 首次在医学影像Transformer中应用混合解释引导方法
  • 提出无需负样本的自监督注意力学习策略
  • 实现了性能和可解释性的双重提升

结论与讨论

主要结论

  1. H-EGL有效结合了自监督和人工监督，实现了优越的分类性能和注意力对齐
  2. DAL组件提供了灵活的归纳偏置，避免了过度正则化
  3. 混合策略在成本效益和性能之间达到了良好平衡

局限性

  1. 数据集规模：仅在相对较小的ChestXDet数据集上验证
  2. 疾病类别：只评估了4种胸部疾病
  3. 架构依赖：主要针对ViT架构设计
  4. 超参数敏感性：α和β参数的最优设置可能因任务而异

未来方向

  1. 动态对齐机制：探索训练过程中自适应调整自监督和人工对齐程度
  2. 大规模验证：在更大数据集和更多疾病类别上验证
  3. 跨模态扩展：扩展到其他医学影像模态
  4. 临床部署：研究实际临床环境中的应用效果

深度评价

优点

  1. 方法创新性：首次将混合解释引导学习应用于医学影像Transformer
  2. 技术合理性：DAL设计巧妙，避免了传统对比学习的复杂性
  3. 实验充分性：包含全面的对比实验、消融实验和鲁棒性分析
  4. 实用价值：在保持性能的同时显著改善了可解释性

不足

  1. 理论分析不足：缺乏对为什么混合方法有效的深入理论解释
  2. 计算复杂度：未详细分析额外损失项对训练效率的影响
  3. 超参数敏感性：对α和β参数选择的指导不够充分
  4. 临床验证缺失：未包含真实临床环境下的专家评估

影响力

  1. 学术贡献：为医学影像可解释性研究提供了新的思路
  2. 实用价值：可直接应用于现有的医学影像诊断系统
  3. 可复现性：提供了详细的实现细节，便于复现

适用场景

  1. 医学影像诊断：特别适用于需要高可解释性的临床应用
  2. 多标签分类任务：可扩展到其他需要注意力对齐的分类问题
  3. 资源受限环境：混合监督策略适合标注资源有限的场景

参考文献

论文引用了多个重要的相关工作，包括：

  • Vision Transformer(ViT)原始论文3
  • 医学影像中的虚假相关性研究2,5,6
  • 解释引导学习综述4
  • DWARF方法11和KAD方法19

总体评价：这是一篇高质量的研究论文，在医学影像可解释性领域做出了有意义的贡献。混合解释引导学习框架设计合理，实验验证充分，结果令人信服。尽管存在一些局限性，但为未来研究提供了良好的基础和方向。