의학 영상 등록을 위한 파운데이션 모델 기반 FMIR 프레임워크

초록

FMIR는 사전 학습된 2D 파운데이션 모델(DINO)을 활용해 의료 영상의 구조적 특징을 추출하고, 다중 스케일 피라미드 등록 헤드를 통해 변형장을 예측한다. 채널 정규화 전략을 적용해 단일 데이터셋만으로 학습하면서도 인도메인·아웃오브도메인 모두에서 SOTA 수준의 정확도와 빠른 추론 속도를 달성한다.

상세 분석

본 논문은 의료 영상 등록에서 흔히 발생하는 도메인 편향 문제를 파운데이션 모델을 이용해 해결하고자 한다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째는 자연 이미지에 대규모 사전 학습된 2D 파운데이션 모델(DINO 혹은 SAM)을 슬라이스 기반으로 3D 의료 영상에 적용해 도메인 불변적인 고차원 특징을 추출하는 것이다. 슬라이스당 특징 맵을 재조합하고 3‑layer 3D 컨볼루션 블록을 추가해 volumetric context를 복원함으로써 2D 모델의 제한을 보완한다. 두 번째는 이러한 특징을 입력으로 하는 다중 스케일 피라미드형 등록 헤드이다. 피라미드 각 레벨에서 residual 변형장을 예측하고, coarse‑to‑fine 방식으로 변형장을 순차적으로 합성한다. 이는 큰 변형을 작은 단계로 나누어 안정적인 최적화를 가능하게 한다.

특히 채널 정규화(Channel Regularization, CR) 전략이 주목할 만하다. 학습 시 무작위로 채널 서브셋을 선택해 ‘채널 드롭아웃’ 효과를 주어 특정 채널에 과도히 의존하는 것을 방지하고, 테스트 시에는 PCA 기반의 결정적 차원 축소를 적용한다. 이 과정은 모델이 데이터셋 특유의 잡음이 아닌, 움직임과 구조적 상관관계에 집중하도록 만든다. 실험 결과, CR을 제거한 경우(in‑domain 성능은 비슷하지만) 아웃‑오브‑도메인에서 Dice와 HD95가 크게 악화되는 것을 확인했다.

성능 평가에서는 ACDC(심장 MR)와 Learn2Reg의 Abdomen CT 두 데이터셋을 사용했다. 단일 데이터셋(예: ACDC)만으로 학습했음에도 불구하고, 다른 도메인(Abdomen)에서 Dice 73% 이상, HD95 8‑9mm 수준을 유지한다. 이는 기존 딥러닝 기반 등록 방법(VoxelMorph, TransMorph 등)이 도메인 변화에 취약한 것과 대조된다. 또한, uniGradICON과 같은 파운데이션 모델 기반 방법보다 추론 시간이 0.6초 수준으로 현저히 빠르다.

구조적 관점에서 FMIR는 (1) 파운데이션 모델 백본 교체가 자유롭고, (2) 채널 차원 통일을 위한 간단한 PCA 혹은 랜덤 선택으로 다양한 백본을 손쉽게 연결할 수 있다. 이는 향후 3D 전용 파운데이션 모델이 등장했을 때도 최소 수정으로 적용 가능함을 의미한다. 전체적으로, 제한된 데이터와 연산 자원 하에서도 강건한 의료 영상 등록을 구현할 수 있는 실용적인 설계라고 평가한다.