테스트 시간 최적화 기반 범용 3D 비강직성 의료 영상 정합 AI 프레임워크

초록

본 논문은 다중 모달·다중 해부 부위에 적용 가능한 3D 비강직성(Non‑Rigid) 의료 영상 정합 방법을 제안한다. 3단계 파이프라인(대규모 사전학습 → 지식 증류 → 테스트‑타임 최적화)을 통해 합성 데이터로 학습된 일반화 가능한 모델을 구축하고, 추론 단계에서 짧은 시간 동안 자체 지도식 미세조정을 수행한다. 지식 증류로 모델 크기를 3배 가량 축소하면서도 정확도는 유지하고, 다양한 실험(DCE‑MRI, MRI‑CT, 전·후 조영 CT, 뇌 MRI)에서 ANTs와 비교해 정량·정성 지표가 우수함을 보였다.

상세 분석

이 연구는 기존 비강직성 정합 기법이 갖는 두 가지 근본적인 한계—(1) 파라미터 튜닝 및 연산량이 크게 요구돼 실시간 임상 적용이 어려움, (2) 특정 모달·해부 부위에 특화된 모델이 도메인 전이 시 성능 저하를 일으킨다—를 동시에 해결하고자 한다. 이를 위해 저자들은 크게 세 단계로 구성된 프레임워크를 설계하였다.

첫 번째 단계는 3D U‑Net 기반의 대규모 사전학습이다. 입력으로 고정(Fixed) 이미지와 이동(Moving) 이미지를 받아, 3차원 변위장(Dense Displacement Field, DDF)을 직접 예측한다. 변위장은 ϕ(x)=x+u(x) 형태로 정의되며, 트리플 축을 모두 고려한 Multi‑Axis Mutual Information(MultiAxisMI) 손실과 ∥∇u∥² 형태의 스무딩 정규화 항을 가중합한 복합 손실 L_total=λ_sim·L_MultiAxisMI+λ_smooth·R(u) 로 학습한다. MultiAxisMI는 깊이·높이·폭 방향 각각의 MI를 평균함으로써 다중 모달·다중 대비 상황에서도 강인한 유사도 측정을 가능하게 한다.

두 번째 단계는 Knowledge Distillation(KD)이다. 사전학습된 ‘교사’ 모델(파라미터 0.6 M)을 그대로 사용하면서, 채널 수를 0.23 M으로 축소한 ‘학생’ 모델을 훈련한다. 여기서는 교사의 변위장 u_T와 학생의 변위장 u_S 사이의 L2 차이뿐 아니라, 교사와 학생이 만든 변형 이미지(I_m∘ϕ_T, I_m∘ϕ_S) 간의 MultiAxisMI를 추가 손실로 사용한다. 이렇게 하면 변형 패턴 자체가 전이되어, 모델 경량화에도 불구하고 정밀한 변위 예측 능력을 유지한다.

세 번째 단계는 Test‑Time Optimization(TTO)이다. 추론 시점에 학생 모델 파라미터 θ를 제한된 에폭(최대 100 epoch 또는 1 분) 동안 자체 지도식으로 미세조정한다. 손실 함수는 (1) MultiAxisMI + 3D Normalized Cross‑Correlation(NCC) 기반 이미지 유사도, (2) ∥∇u∥² 스무딩, (3) 변위장의 발산(divergence) 정규화 α_div·∥∇·u∥² 로 구성된다. 발산 정규화는 비물리적 찢어짐을 방지하고, 거의 비압축성(incompressibility) 특성을 부여한다.

실험 설계는 네 가지 임상 시나리오를 포괄한다. (①) DCE‑MRI에서 호흡에 의한 4D 움직임 보정, (②) 골반 MRI‑CT 다중 모달 정합, (③) 전·후 조영 CT의 대규모 변형 정합, (④) 뇌 MRI의 교차 대비·교차 피험자 정합. 모든 실험에서 동일한 사전학습·KD·TTO 파이프라인을 적용했으며, 평가 지표로는 Patch‑wise Mutual Information Map(PMM), Dice, IoU, 그리고 시각적 정합 품질을 사용했다. 결과는 다음과 같다.

• DCE‑MRI에서는 정합 전후의 대비 변화가 큰데도 불구하고, DL Reg(교사)와 DL KD Reg(학생) 모두 PMM 평균값을 0.38→0.43 수준으로 상승시켜, ANTs 대비 5~7% 정도 개선하였다.
• MRI‑CT 실험에서는 다중 모달 특성에도 불구하고, 변형 후 구조적 경계가 명확히 맞아떨어졌으며, PMM 역시 교사·학생 모델 모두 ANTs보다 높은 값을 기록했다.
• 전·후 조영 CT에서는 TotalSegmentator를 이용한 장기 분할 후 Dice/Iou가 평균 0.92/0.88 수준으로, 기존 ANTs(≈0.85/0.80)보다 유의미하게 향상되었다.
• 뇌 MRI 교차 대비 실험에서는 동일 피험자·다른 대비, 서로 다른 피험자·다른 대비 모두에서 평균 PMM이 0.71 이상으로, 기존 방법 대비 0.05~0.08 포인트 상승했다.

특히, KD 모델이 교사 모델과 거의 동등한 정합 정확도를 보였음에도 불구하고 파라미터와 메모리 사용량이 3배 감소했으며, TTO 단계는 1 분 이내에 완료돼 실시간 임상 워크플로우에 적용 가능함을 입증했다.

이 논문의 핵심 기여는 (1) 합성 데이터 기반의 범용 사전학습으로 모달·해부 전이 문제를 근본적으로 완화, (2) 지식 증류를 통한 경량화와 성능 유지, (3) 테스트 시점에 짧은 자체 지도식 최적화를 적용해 도메인 특이성을 보정함으로써 “zero‑shot” 수준의 일반화 능력을 확보한 점이다. 또한, MultiAxisMI와 발산 정규화를 결합한 손실 설계는 다중 대비·다중 모달 상황에서도 안정적인 변형을 유도한다는 점에서 의미가 크다. 향후 연구에서는 더 큰 규모의 실제 임상 데이터와 온라인 학습 전략을 결합해, 완전 자동화된 실시간 정합 파이프라인을 구축할 수 있을 것으로 기대한다.