2025-11-15T20:58:11.863584

MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach

Zarik, Kiryati, Green et al.
PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.
academic

MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach

基本信息

  • 论文ID: 2510.09326
  • 标题: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
  • 作者: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
  • 分类: eess.IV (Electrical Engineering and Systems Science - Image and Video Processing)
  • 发表时间: 2025年10月10日
  • 论文链接: https://arxiv.org/abs/2510.09326v1

摘要

本文提出了一种基于多角度最大强度投影(Multi-Angle Maximum Intensity Projections, MIPs)的肿瘤分割方法，该方法直接在MIPs上训练分割模型，而非传统的3D体积分割后投影的方式。研究使用autoPET 2022数据集，在保持与3D方法相当性能的同时(Dice差异≤1%，Hausdorff距离提升26.7%)，显著提升了计算效率：训练时间减少55.8-75.8%，每轮能耗降低71.7-76%，计算量减少两个数量级。对于分类任务，仅使用16个MIPs就超越了3D性能，训练时间减少10倍以上。

研究背景与动机

问题定义

PET/CT成像是肿瘤检测的金标准，在临床实践中，放射科医生通常首先查看旋转的多角度最大强度投影(MIPs)来评估病例，然后通过体积切片确认发现。这种工作流程在转移性病例中尤其耗时。

研究动机

  1. 临床实践与算法不匹配：尽管MIPs在临床中广泛使用，但自动化肿瘤分割仍主要依赖3D体积数据
  2. 计算效率需求：传统3D分割方法计算复杂度高，训练时间长，不利于临床部署
  3. 资源限制：标准硬件上难以处理大规模3D数据
  4. 领域对齐：直接在MIPs上训练更符合放射科医生的诊断思维

现有方法的局限性

  • 3D体积分割后投影到MIPs的传统流程计算开销大
  • 现有MIP应用主要局限于检测和分类，分割应用较少
  • 缺乏针对MIP遮挡问题的有效解决方案
  • 未充分利用MIP的计算效率优势

核心贡献

  1. 直接MIP分割方法：提出直接在MIPs上训练分割模型的方法，避免3D分割后投影的复杂流程
  2. 遮挡校正技术：引入新颖的MIP标注遮挡校正方法，解决高强度结构遮挡问题
  3. 效率大幅提升：在保持相当性能的同时，实现训练时间、能耗和计算量的显著降低
  4. 最优MIP数量分析：系统分析MIP数量对分割性能的影响，确定48个视角为最优配置

方法详解

任务定义

输入：3D PET扫描数据 输出：肿瘤分割结果 目标：在多角度MIPs上直接进行语义分割，避免3D体积处理

MIP生成方法

MIP图像通过以下公式生成：

Fk(i,j)=max⁡dfk(i,j,d)F_k(i,j) = \max_d f_k(i,j,d)

其中：

  • Fk(i,j)F_k(i,j)：第k个MIP图像在像素(i,j)处的值
  • fk(i,j,d)f_k(i,j,d)：绕垂直轴旋转kΔΘk\Delta\Theta角度后的3D数据
  • 角度步长：ΔΘ(N)=180°N\Delta\Theta(N) = \frac{180°}{N}，N为MIP数量

遮挡校正算法

针对高强度器官(如大脑、心脏、肾脏)遮挡肿瘤标注的问题，设计了三步处理流程：

  1. 遮挡检测：验证每个标记肿瘤中至少75%的像素确实来源于体积PET数据中的肿瘤
  2. 标注分割：对于肿瘤像素占比<75%的标记，仅保留确认来自肿瘤的像素
  3. 低对比度过滤：移除对比度极低、肉眼不可检测的肿瘤残留

模型架构

  • 分割模型：Attention U-Net，在多种CNN架构中表现最佳
  • 3D基线：Swin-UNETR架构，基于autoPET 2022挑战赛第5名方案
  • 分类模型：CNN编码器 + 注意力池化 + 全连接头

技术创新点

  1. 领域对齐设计：直接在放射科医生常用的MIP视图上训练，提高临床相关性
  2. 计算效率优化：16个MIP仅占体积信息的约4%，大幅降低内存和计算需求
  3. 遮挡问题解决：首次系统性解决MIP标注中的遮挡问题
  4. 端到端优化：避免3D分割后投影的两阶段流程

实验设置

数据集

  • 数据来源：autoPET 2022开源数据集
  • 规模：1,014个PET/CT扫描，来自900名患者
  • 疾病类型：肺癌、淋巴瘤、黑色素瘤、健康对照
  • 数据分布：健康(513)、淋巴瘤(145)、黑色素瘤(188)、肺癌(168)

数据划分

  • 独立测试集：15%
  • 5折交叉验证：85%
  • 保持各类别分布一致

评价指标

分割任务：

  • Dice Score：重叠度量
  • IoU：交并比
  • Hausdorff Distance：边界准确性

分类任务：

  • Accuracy、Precision、Recall、F1-score

效率指标：

  • 收敛时间(CT)：达到峰值验证性能的时间
  • 每轮训练时间(TPE)和能耗(EPE)
  • 计算复杂度(TFLOPs)

对比方法

  • 3D Swin-UNETR分割后MIP投影
  • 相同CNN架构的3D分类模型

实验结果

主要结果

分割性能对比

方法Dice ScoreIoUHausdorff Distance
3D投影0.597±0.050.471±0.04139.614±8.42
OR-MIPs0.578±0.010.452±0.01102.813±9.61
OC-MIPs0.591±0.010.466±0.01102.26±9.53

效率提升

指标3D方法OC-MIPs提升倍数
训练时间(小时)54.64±19.2213.18±4.14.1×
每轮能耗(Wh)142.2±79.134.194±4.74.2×
TFLOPs317.42±144.050.97±0.29327×

分类结果

指标3D数据16 MIPs提升
准确率(%)72.8±3.280.5±1.7+7.7%
F1分数(%)82.3±1.286.4±0.8+4.1%
训练时间44.7±1.5小时4.2±0.2小时10.6×

MIP数量影响分析

通过系统分析16、32、48、64、80个MIP的影响：

  • 最优配置：48个MIP提供最高且最稳定的Dice分数
  • 统计显著性：16和32 MIP训练集显示统计显著差异
  • 效率平衡：48 MIP在性能和计算效率间达到最佳平衡

重要发现

  1. 性能等价性：Wilcoxon符号秩检验显示MIP方法与3D方法无统计显著差异(p=0.22)
  2. 边界准确性：MIP方法在Hausdorff距离上表现更优，提升26.7%
  3. 遮挡校正效果：仅0.57%的肿瘤被完全排除，保持了标注完整性
  4. 可扩展性：计算量减少两个数量级，显著提升临床应用可行性

相关工作

MIP在医学影像中的应用

  • 检测任务：Kawakami等使用YOLOv2在多方向MIP上检测生理性摄取
  • 分类应用：Takahashi等采用Xception模型改善乳腺癌分类
  • 特征提取：Toosi等从72个MIP提取特征用于生存预测

2D投影方法发展

  • 增强3D分割：Constantino等证明MIP可增强3D PET/CT分割
  • 体积重建：Toosi等从2D MIP重建体积分割
  • 2.75D方法：Wang等结合多2D视图丰富3D学习

本文相对优势

  • 首次系统性直接MIP分割方法
  • 解决MIP遮挡问题的创新技术
  • 全面的效率和性能评估
  • 临床工作流程对齐设计

结论与讨论

主要结论

  1. 性能等价：MIP直接分割在保持与3D方法相当性能的同时，显著提升计算效率
  2. 最优配置：48个MIP视角为性能和效率的最佳平衡点
  3. 临床适用性：大幅降低的计算需求使方法更适合资源受限的临床环境
  4. 方法普适性：在分割和分类任务上均显示优势

局限性

  1. 单一数据集：仅在autoPET 2022数据集上验证，需要更广泛验证
  2. PET专用：当前方法主要针对PET数据，CT整合有待探索
  3. 3D信息损失：投影过程不可避免地丢失部分3D空间信息
  4. 遮挡处理：虽有改进，但复杂遮挡情况仍可能影响性能

未来方向

  1. 多模态整合：将CT信息映射到MIP中，实现PET/CT联合分析
  2. 3D重建：探索从MIP分割结果重建3D标注的方法
  3. 扩展验证：在更多数据集和疾病类型上验证方法有效性
  4. 实时应用：开发实时MIP分割系统支持临床决策

深度评价

优点

  1. 创新性强：首次提出直接MIP分割的系统性方法，与临床实践高度对齐
  2. 实用价值高：显著的效率提升使方法具有强大的临床应用潜力
  3. 技术全面：从遮挡校正到最优参数分析，技术方案完整
  4. 验证充分：在分割和分类任务上均进行了全面评估
  5. 可复现性好：代码和工具公开可用

不足

  1. 理论分析不足：缺乏对为什么MIP方法能达到相当性能的深入理论分析
  2. 数据集限制：单一数据集可能限制结论的普适性
  3. 临床验证缺失：未进行实际临床环境的验证研究
  4. 对比方法有限：主要与基础3D方法对比，缺乏与最新SOTA方法的比较

影响力

  1. 学术贡献：为医学影像分割提供了新的高效范式
  2. 临床价值：有望显著改善PET扫描的自动化分析效率
  3. 技术推广：方法可扩展到其他医学影像投影分析任务
  4. 资源优化：为资源受限环境提供了可行的解决方案

适用场景

  1. 临床筛查：大规模肿瘤筛查中的快速初步分析
  2. 资源受限环境：计算资源有限的医疗机构
  3. 实时应用：需要快速响应的临床决策支持系统
  4. 移动医疗：便携设备上的医学影像分析

参考文献

本文引用了34篇相关文献，主要包括：

  • 医学影像处理框架(MONAI, PyTorch)
  • PET/CT成像技术基础
  • 深度学习分割和分类方法
  • MIP在医学影像中的应用
  • 相关评估指标和数据集

总体评价：这是一篇高质量的医学影像处理论文，提出了创新且实用的MIP直接分割方法。论文在保持学术严谨性的同时，强调了临床实用性，为医学影像AI应用提供了新的高效解决方案。虽然存在一些局限性，但其显著的效率提升和良好的性能表现使其具有重要的学术和应用价值。