DeepSparse 희소뷰 CBCT 재구성을 위한 기반 모델

초록

DeepSparse는 희소한 X‑ray 투영을 이용해 방사선량을 크게 낮추면서도 고품질 3차원 CT 영상을 복원하는 최초의 기반 모델이다. 핵심 네트워크 DiCE는 2D 다중뷰 특징과 3D 다중스케일 특징을 교차 임베딩하여 연산 효율성을 높이고, HyViP 사전학습 프레임워크는 희소·밀집 투영을 혼합해 일반화 능력을 강화한다. 두 단계의 파인튜닝 전략을 통해 새로운 장기 데이터셋에 빠르게 적응한다. 광범위한 실험에서 기존 최첨단 방법들을 크게 능가하는 재구성 품질을 입증한다.

상세 분석

본 논문은 희소뷰 CBCT 재구성 분야에서 ‘기반 모델’이라는 새로운 패러다임을 제시한다는 점에서 학술적·실용적 의의가 크다. 첫 번째 핵심 기여는 DiCE(Dual‑Dimensional Cross‑Scale Embedding) 네트워크 설계이다. 기존 C2RV 구조에서 2D 디코더를 제거하고, 다중 스케일 투영 인코딩과 3D 볼륨 백프로젝션을 결합함으로써 입력 뷰 수가 증가해도 연산 복잡도가 급격히 상승하지 않도록 설계했다. 2D 인코더는 각 뷰별로 다중 스케일 특징을 추출하고, 이를 voxel‑aligned 코드북에 백프로젝트해 저해상도 3D 특징 맵을 만든 뒤, 크로스‑스케일 3D 임베딩 모듈에서 다중 스케일 정보를 통합한다. 이렇게 얻어진 3D 특징은 포인트 디코더에 전달되어 연속적인 attenuation field를 예측한다.

두 번째 기여는 HyViP(Hybrid View Sampling Pretraining) 사전학습 프레임워크이다. 기존 데이터‑기반 재구성 모델은 희소뷰만을 사용해 학습하면 일반화가 제한적이었지만, HyViP는 대규모 공개 CT 데이터셋에서 희소(view ≤ 10)와 밀집(view ≥ 200) 투영을 모두 샘플링해 2D 인코더와 3D 디코더를 동시에 학습한다. 이는 2D 이미지 특징의 풍부한 표현을 확보하고, 3D 볼륨 특징을 노이즈 억제 레이어로 정제하는 두 단계 파인튜닝 전략과 맞물려, 새로운 장기(예: 복부, 무릎, 척추) 데이터에 빠르게 적응할 수 있게 한다.

실험에서는 8K 규모의 복부, 무릎, 골반, 척추, 뇌 데이터셋을 대상으로 PSNR, SSIM, RMSE 등 정량적 지표와 시각적 품질을 평가하였다. 희소 6‑10 view 상황에서 DeepSparse는 기존 SOTA인 C2RV, DIF‑Net, R2‑Gaussian 등을 평균 1.8 dB 이상의 PSNR 향상과 3‑5 % 이상의 SSIM 개선을 달성했다. 특히, 밀집 뷰(≥ 100)에서도 연산량이 기존 3D CNN 기반 모델 대비 30 % 이하로 감소하면서도 품질 저하가 거의 없었다. Ablation study에서는 DiCE의 다중 스케일 백프로젝션, 크로스‑스케일 임베딩, 그리고 HyViP 사전학습 각각이 성능에 미치는 영향을 정량화했으며, 모든 구성 요소가 결합될 때 최적의 결과를 보였다.

한계점으로는 현재 구현이 GPU 메모리 제한 하에 128³ voxel 해상도까지 지원한다는 점과, 사전학습에 사용된 데이터가 주로 성인 해부학에 국한돼 있어 소아·노인 특수 해부학에 대한 추가 검증이 필요하다는 점을 언급한다. 향후 연구에서는 메모리 효율적인 토큰화 기법과 멀티모달(예: MRI‑CT 연계) 사전학습을 도입해 범용성을 더욱 확대할 계획이다.