PET/CT imaging is the gold standard for tumor detection, offering high accuracy in identifying local and metastatic lesions. Radiologists often begin assessment with rotational Multi-Angle Maximum Intensity Projections (MIPs) from PET, confirming findings with volumetric slices. This workflow is time-consuming, especially in metastatic cases. Despite their clinical utility, MIPs are underutilized in automated tumor segmentation, where 3D volumetric data remains the norm. We propose an alternative approach that trains segmentation models directly on MIPs, bypassing the need to segment 3D volumes and then project. This better aligns the model with its target domain and yields substantial gains in computational efficiency and training time. We also introduce a novel occlusion correction method that restores MIP annotations occluded by high-intensity structures, improving segmentation. Using the autoPET 2022 Grand Challenge dataset, we evaluate our method against standard 3D pipelines in terms of performance and training/computation efficiency for segmentation and classification, and analyze how MIP count affects segmentation. Our MIP-based approach achieves segmentation performance on par with 3D (<=1% Dice difference, 26.7% better Hausdorff Distance), while reducing training time (convergence time) by 55.8-75.8%, energy per epoch by 71.7-76%, and TFLOPs by two orders of magnitude, highlighting its scalability for clinical use. For classification, using 16 MIPs only as input, we surpass 3D performance while reducing training time by over 10x and energy consumption per epoch by 93.35%. Our analysis of the impact of MIP count on segmentation identified 48 views as optimal, offering the best trade-off between performance and efficiency.
- 논문 ID: 2510.09326
- 제목: MIP-Based Tumor Segmentation: A Radiologist-Inspired Approach
- 저자: Romario Zarik, Nahum Kiryati, Michael Green, Liran Domachevsky, Arnaldo Mayer
- 분류: eess.IV (전기공학 및 시스템 과학 - 영상 및 비디오 처리)
- 발표 시간: 2025년 10월 10일
- 논문 링크: https://arxiv.org/abs/2510.09326v1
본 논문은 다각도 최대 강도 투영(Multi-Angle Maximum Intensity Projections, MIPs)을 기반으로 한 종양 분할 방법을 제안한다. 이 방법은 기존의 3D 체적 분할 후 투영 방식 대신 MIPs에서 직접 분할 모델을 훈련한다. autoPET 2022 데이터셋을 사용한 연구에서 3D 방법과 동등한 성능(Dice 차이 ≤1%, Hausdorff 거리 26.7% 개선)을 유지하면서 계산 효율을 대폭 향상시켰다: 훈련 시간 55.8-75.8% 감소, 에폭당 에너지 소비 71.7-76% 감소, 계산량 2자리 수 감소. 분류 작업의 경우 단 16개의 MIP만으로도 3D 성능을 초과하며 훈련 시간이 10배 이상 단축된다.
PET/CT 영상은 종양 검출의 금표준이다. 임상 실무에서 방사선과 의사는 일반적으로 먼저 회전하는 다각도 최대 강도 투영(MIPs)을 보고 사례를 평가한 후 체적 슬라이스를 통해 발견을 확인한다. 이러한 워크플로우는 전이성 사례에서 특히 시간이 많이 소요된다.
- 임상 실무와 알고리즘의 불일치: MIPs가 임상에서 광범위하게 사용되지만 자동화된 종양 분할은 여전히 3D 체적 데이터에 주로 의존한다
- 계산 효율성 요구: 기존 3D 분할 방법은 계산 복잡도가 높고 훈련 시간이 길어 임상 배포에 불리하다
- 자원 제약: 표준 하드웨어에서 대규모 3D 데이터를 처리하기 어렵다
- 영역 정렬: MIPs에서 직접 훈련하는 것이 방사선과 의사의 진단 사고방식과 더 잘 맞는다
- 3D 체적 분할 후 MIPs로 투영하는 기존 워크플로우의 계산 오버헤드가 크다
- 기존 MIP 응용은 주로 검출 및 분류에 한정되며 분할 응용은 적다
- MIP 폐색 문제에 대한 효과적인 해결책이 부족하다
- MIP의 계산 효율성 이점을 충분히 활용하지 못했다
- 직접 MIP 분할 방법: MIPs에서 직접 분할 모델을 훈련하는 방법을 제안하여 3D 분할 후 투영의 복잡한 워크플로우를 회피한다
- 폐색 교정 기술: MIP 주석 폐색 교정을 위한 새로운 방법을 도입하여 고강도 구조의 폐색 문제를 해결한다
- 효율성 대폭 향상: 동등한 성능을 유지하면서 훈련 시간, 에너지 소비 및 계산량을 현저히 감소시킨다
- 최적 MIP 수량 분석: MIP 수량이 분할 성능에 미치는 영향을 체계적으로 분석하여 48개 시각을 최적 구성으로 결정한다
입력: 3D PET 스캔 데이터
출력: 종양 분할 결과
목표: 다각도 MIPs에서 직접 의미론적 분할을 수행하여 3D 체적 처리를 회피한다
MIP 이미지는 다음 공식으로 생성된다:
Fk(i,j)=maxdfk(i,j,d)
여기서:
- Fk(i,j): 제k번 MIP 이미지의 픽셀(i,j)에서의 값
- fk(i,j,d): 수직축 주위로 kΔΘ 각도만큼 회전한 후의 3D 데이터
- 각도 스텝: ΔΘ(N)=N180°, N은 MIP 수량
고강도 기관(뇌, 심장, 신장 등)이 종양 주석을 폐색하는 문제를 해결하기 위해 3단계 처리 프로세스를 설계했다:
- 폐색 검출: 각 표시된 종양의 최소 75% 픽셀이 실제로 체적 PET 데이터의 종양에서 나온 것인지 확인한다
- 주석 분할: 종양 픽셀 비율이 75% 미만인 표시에 대해 종양에서 나온 것으로 확인된 픽셀만 보존한다
- 저대비 필터링: 대비가 극히 낮아 육안으로 감지할 수 없는 종양 잔여물을 제거한다
- 분할 모델: Attention U-Net, 다양한 CNN 아키텍처 중 최고 성능
- 3D 기준선: Swin-UNETR 아키텍처, autoPET 2022 챌린지 5위 방안 기반
- 분류 모델: CNN 인코더 + 주의 풀링 + 완전 연결 헤드
- 영역 정렬 설계: 방사선과 의사가 자주 사용하는 MIP 뷰에서 직접 훈련하여 임상 관련성을 높인다
- 계산 효율성 최적화: 16개 MIP은 체적 정보의 약 4%만 차지하여 메모리 및 계산 요구를 대폭 감소시킨다
- 폐색 문제 해결: MIP 주석의 폐색 문제를 처음으로 체계적으로 해결한다
- 엔드-투-엔드 최적화: 3D 분할 후 투영의 2단계 프로세스를 회피한다
- 데이터 출처: autoPET 2022 공개 데이터셋
- 규모: 900명 환자의 1,014개 PET/CT 스캔
- 질병 유형: 폐암, 림프종, 흑색종, 건강한 대조군
- 데이터 분포: 건강(513), 림프종(145), 흑색종(188), 폐암(168)
- 독립 테스트 세트: 15%
- 5-폴드 교차 검증: 85%
- 각 클래스 분포 유지
분할 작업:
- Dice Score: 중복도 측정
- IoU: 교집합 대 합집합 비율
- Hausdorff Distance: 경계 정확성
분류 작업:
- Accuracy, Precision, Recall, F1-score
효율성 지표:
- 수렴 시간(CT): 최고 검증 성능에 도달하는 시간
- 에폭당 훈련 시간(TPE) 및 에너지 소비(EPE)
- 계산 복잡도(TFLOPs)
- 3D Swin-UNETR 분할 후 MIP 투영
- 동일 CNN 아키텍처의 3D 분류 모델
| 방법 | Dice Score | IoU | Hausdorff Distance |
|---|
| 3D 투영 | 0.597±0.05 | 0.471±0.04 | 139.614±8.42 |
| OR-MIPs | 0.578±0.01 | 0.452±0.01 | 102.813±9.61 |
| OC-MIPs | 0.591±0.01 | 0.466±0.01 | 102.26±9.53 |
| 지표 | 3D 방법 | OC-MIPs | 향상 배수 |
|---|
| 훈련 시간(시간) | 54.64±19.22 | 13.18±4.1 | 4.1× |
| 에폭당 에너지 소비(Wh) | 142.2±79.1 | 34.194±4.7 | 4.2× |
| TFLOPs | 317.42±144.05 | 0.97±0.29 | 327× |
| 지표 | 3D 데이터 | 16 MIPs | 향상 |
|---|
| 정확도(%) | 72.8±3.2 | 80.5±1.7 | +7.7% |
| F1 점수(%) | 82.3±1.2 | 86.4±0.8 | +4.1% |
| 훈련 시간 | 44.7±1.5시간 | 4.2±0.2시간 | 10.6× |
16, 32, 48, 64, 80개 MIP의 영향을 체계적으로 분석:
- 최적 구성: 48개 MIP이 가장 높고 가장 안정적인 Dice 점수 제공
- 통계적 유의성: 16 및 32 MIP 훈련 세트는 통계적으로 유의한 차이 표시
- 효율성 균형: 48 MIP이 성능과 계산 효율 간 최적 균형 달성
- 성능 동등성: Wilcoxon 부호 순위 검정은 MIP 방법과 3D 방법 간 통계적으로 유의한 차이가 없음을 보여줌(p=0.22)
- 경계 정확성: MIP 방법은 Hausdorff 거리에서 더 우수한 성능 표시, 26.7% 향상
- 폐색 교정 효과: 단 0.57%의 종양만 완전히 제외되어 주석 완전성 유지
- 확장성: 계산량 2자리 수 감소로 임상 응용 가능성 현저히 향상
- 검출 작업: Kawakami 등이 YOLOv2를 사용하여 다방향 MIP에서 생리적 섭취 검출
- 분류 응용: Takahashi 등이 Xception 모델을 채택하여 유방암 분류 개선
- 특징 추출: Toosi 등이 72개 MIP에서 특징을 추출하여 생존 예측에 사용
- 3D 분할 강화: Constantino 등이 MIP이 3D PET/CT 분할을 강화할 수 있음을 증명
- 체적 재구성: Toosi 등이 2D MIP에서 체적 분할 재구성
- 2.75D 방법: Wang 등이 다중 2D 뷰를 결합하여 3D 학습 풍부화
- 직접 MIP 분할 방법의 첫 체계적 접근
- MIP 폐색 문제 해결을 위한 혁신 기술
- 효율성 및 성능에 대한 포괄적 평가
- 임상 워크플로우 정렬 설계
- 성능 동등성: MIP 직접 분할은 3D 방법과 동등한 성능을 유지하면서 계산 효율을 현저히 향상시킨다
- 최적 구성: 48개 MIP 시각이 성능과 효율의 최적 균형점이다
- 임상 적용성: 대폭 감소된 계산 요구로 인해 자원이 제한된 임상 환경에 더 적합하다
- 방법 보편성: 분할 및 분류 작업 모두에서 우위를 보인다
- 단일 데이터셋: autoPET 2022 데이터셋에서만 검증되어 더 광범위한 검증 필요
- PET 전용: 현재 방법은 주로 PET 데이터를 대상으로 하며 CT 통합은 미탐색
- 3D 정보 손실: 투영 과정에서 일부 3D 공간 정보가 불가피하게 손실된다
- 폐색 처리: 개선되었지만 복잡한 폐색 상황은 여전히 성능에 영향을 미칠 수 있다
- 다중 모달리티 통합: CT 정보를 MIP에 매핑하여 PET/CT 결합 분석 실현
- 3D 재구성: MIP 분할 결과에서 3D 주석 재구성 방법 탐색
- 확장 검증: 더 많은 데이터셋 및 질병 유형에서 방법 유효성 검증
- 실시간 응용: 임상 의사결정을 지원하는 실시간 MIP 분할 시스템 개발
- 높은 혁신성: 직접 MIP 분할의 첫 체계적 방법으로 임상 실무와 높은 정렬도
- 높은 실용 가치: 현저한 효율성 향상으로 강력한 임상 응용 잠재력
- 기술 완전성: 폐색 교정에서 최적 매개변수 분석까지 기술 방안 완전
- 충분한 검증: 분할 및 분류 작업 모두에서 포괄적 평가 수행
- 우수한 재현성: 코드 및 도구 공개 가능
- 이론 분석 부족: MIP 방법이 동등한 성능을 달성하는 이유에 대한 심층 이론 분석 부족
- 데이터셋 제한: 단일 데이터셋이 결론의 보편성을 제한할 수 있다
- 임상 검증 부재: 실제 임상 환경에서의 검증 연구 미실시
- 비교 방법 제한: 주로 기본 3D 방법과 비교하며 최신 SOTA 방법과의 비교 부족
- 학술 기여: 의료 영상 분할을 위한 새로운 고효율 패러다임 제공
- 임상 가치: PET 스캔의 자동화 분석 효율을 현저히 개선할 가능성
- 기술 확산: 방법을 다른 의료 영상 투영 분석 작업으로 확장 가능
- 자원 최적화: 자원이 제한된 환경을 위한 실행 가능한 솔루션 제공
- 임상 선별: 대규모 종양 선별에서의 빠른 초기 분석
- 자원 제약 환경: 계산 자원이 제한된 의료 기관
- 실시간 응용: 빠른 응답이 필요한 임상 의사결정 지원 시스템
- 모바일 의료: 휴대용 기기에서의 의료 영상 분석
본 논문은 34편의 관련 문헌을 인용하며, 주요 내용은 다음을 포함한다:
- 의료 영상 처리 프레임워크(MONAI, PyTorch)
- PET/CT 영상 기술 기초
- 심층 학습 분할 및 분류 방법
- 의료 영상에서의 MIP 응용
- 관련 평가 지표 및 데이터셋
종합 평가: 이는 높은 품질의 의료 영상 처리 논문으로, 혁신적이고 실용적인 MIP 직접 분할 방법을 제안한다. 논문은 학술적 엄밀성을 유지하면서 임상 실용성을 강조하여 의료 영상 AI 응용을 위한 새로운 고효율 솔루션을 제공한다. 일부 한계가 있지만 현저한 효율성 향상과 우수한 성능 표현으로 인해 중요한 학술 및 응용 가치를 지닌다.