다중레벨 외부지식 증류와 점진적 클래스균형 CutMix을 활용한 의료 영상 반감독 분할

초록

본 논문은 의료 영상 분할에서 클래스 불균형과 확인 편향을 극복하기 위해 두 가지 ‘외부 지향’ 전략을 제안한다. 첫 번째는 대규모 자연 이미지에 사전학습된 DINOv3 비전 트랜스포머를 고정된 교사 모델로 사용해 학생 네트워크에 특징 수준에서 지식을 증류(FKD)하는 방법이다. 두 번째는 라벨·비라벨 데이터에 대해 소수 클래스에 초점을 맞춘 CutMix을 점진적으로 완화하는 Progressive Imbalance‑aware CutMix(PIC)이다. 두 기법을 결합한 DINO‑Mix은 Synapse와 AMOS 데이터셋에서 기존 반감독 방법들을 크게 앞서며, 특히 희소 클래스의 IoU를 크게 향상시킨다.

상세 분석

DINO‑Mix은 의료 영상 반감독 학습의 근본적인 약점을 ‘내향적’ 접근 방식에서 찾아낸다. 기존 방법들은 대부분 동일 데이터셋 내에서 pseudo‑label 혹은 consistency loss를 생성하므로, 초기 모델이 다수 클래스에 편향될 경우 그 편향이 증폭되는 확인 편향(vicious cycle of confirmation bias)이 발생한다. 특히 의료 영상은 장기·기관 등 큰 구조가 대부분을 차지하고, 작은 병변이나 희귀 장기는 픽셀 비중이 극히 낮아 이 문제에 취약하다. 논문은 이를 해결하기 위해 ‘외부 지향(outward‑looking)’이라는 두 단계 전략을 설계한다.

첫 번째 단계, Foundational Knowledge Distillation(FKD)은 DINOv3라는 대규모 자기지도 학습 기반 비전 트랜스포머를 교사 모델로 활용한다. DINOv3는 수백만 개의 자연 이미지에서 텍스처·형태·구조와 같은 시각적 고유성을 학습했으며, 특정 클래스 분포에 얽매이지 않는다. 저자들은 3D 의료 볼륨을 슬라이스 단위로 2D 교사에 입력하고, 슬라이스별 특징을 다시 3D 형태로 재구성한다. 학생 네트워크의 최종 특징 맵과 교사의 특징을 L2 정규화 후 MSE 손실(L_distill)로 정렬한다. 여기서 stop‑gradient를 적용해 교사 파라미터는 전혀 업데이트되지 않으며, 학생은 교사의 ‘시각적 독특성’에 대한 강력한 그라디언트를 받는다. 이는 특히 학생이 낮은 confidence를 보이는 희소 클래스에 대해, 교사가 제공하는 풍부한 시멘틱 신호가 지속적으로 학습을 유도함으로써 확인 편향을 근본적으로 차단한다.

두 번째 단계, Progressive Imbalance‑aware CutMix(PIC)는 데이터 수준에서 소수 클래스를 인위적으로 증폭한다. 라벨 데이터에서 각 클래스의 픽셀 수 N_c를 기반으로 불균형 비율 I_c = min_j N_j / N_c를 계산하고, 이를 γ 파라미터로 조절한 클래스‑균형 확률 P_bal을 만든다. 학습 초기에는 P_bal에 가중치를 크게 두어 소수 클래스 패치를 많이 샘플링·붙여넣어 모델이 즉시 희소 구조에 노출되게 한다. 학습이 진행됨에 따라 α_t = min(1, E/(η·E_max)) 로 정의된 진행 계수를 통해 P_bal을 균등 분포 P_uni와 선형 보간한다. 즉, 초기에는 ‘클래스‑중심’ 학습 커리큘럼을, 후기에는 일반화‑중심 학습으로 전환한다. 이 동적 커리큘럼은 과적합을 방지하면서도 소수 클래스에 대한 충분한 표현 학습을 보장한다.

전체 프레임워크는 EMA 기반 교사‑학생 일관성 손실, 보조 클래스 분류기, FKD, PIC 네 가지 요소를 동시에 최적화한다. 실험에서는 Synapse(복수 장기 CT)와 AMOS(다기관 MRI) 두 대규모 의료 분할 벤치마크에서 1%~5% 라벨 비율 하에 기존 최첨단 방법들(Mean Teacher, U‑A‑MT, CPS, CReST 등)을 크게 앞선 Dice와 mIoU를 기록한다. 특히 희소 클래스(예: 작은 혈관, 병변)의 IoU 향상이 두드러져, 외부 지식 증류가 실제 의료 현장에서 중요한 작은 병변 검출에 실질적 기여를 함을 입증한다.

강점으로는 (1) 완전 고정된 비전 기반 교사를 도입해 데이터셋 편향에 전혀 영향을 받지 않는 외부 신호를 제공한다는 점, (2) PIC의 진행형 커리큘럼이 학습 초기에 소수 클래스에 집중하면서도 후기에는 일반화 성능을 유지한다는 점, (3) 2D 교사를 3D 의료 영상에 자연스럽게 적용한 구현적 효율성이 있다. 한계는 DINOv3가 자연 이미지에 사전학습돼 있기 때문에 의료 특유의 텍스처(예: 조직 밀도 차)와 완전 일치하지 않을 수 있다는 점이며, 교사 특징과 학생 특징 차원 수를 맞추기 위한 프로젝터가 추가 파라미터를 도입한다는 점이다. 또한 현재는 3D 볼륨을 슬라이스별로 처리하므로 연속적인 3D 구조 정보를 완전히 활용하지 못한다는 점이 개선 여지로 남는다. 향후 연구에서는 의료 전용 대규모 자기지도 모델을 교사로 사용하거나, 3D 토큰 기반 교사를 설계해 공간적 연속성을 보존하는 방향이 기대된다.