비전 기반 모델 전자현미경 이미지 분할의 기반성

초록

본 연구는 DINOv2, DINOv3, OpenCLIP 등 최신 비전 기반 파운데이션 모델(VFM)을 전자현미경(EM) 이미지의 미토콘드리아 분할에 적용해, 단일 데이터셋에서는 경량 어댑테이션만으로도 경쟁력 있는 성능을 보이나, 서로 다른 EM 데이터셋을 동시에 학습할 경우 도메인 불일치가 심해 성능이 급격히 저하됨을 확인한다. LoRA 기반 파라미터 효율적 미세조정은 인‑도메인에서는 향상을 주지만, 이질적 데이터셋 간 일반화에는 한계가 있다.

상세 분석

이 논문은 비전 파운데이션 모델(VFM)이 전자현미경(EM) 이미지 분석에 얼마나 ‘기초적’인 역할을 할 수 있는지를 체계적으로 검증한다. 먼저 DINOv2, DINOv3, OpenCLIP이라는 세 가지 최신 VFM을 선택했는데, 이들은 각각 자기지도 학습, 최신 자기지도 학습, 그리고 비전‑언어 사전학습이라는 서로 다른 사전학습 목표를 가지고 있다. 논문은 두 개의 널리 사용되는 EM 데이터셋, Lucchi++와 VNC를 대상으로 미토콘드리아 분할 작업을 수행한다.

두 가지 어댑테이션 전략을 비교한다. 첫 번째는 백본을 고정하고 가벼운 컨볼루션 디코더만 학습하는 ‘프리즌 백본(헤드‑온리)’ 방식이며, 두 번째는 Low‑Rank Adaptation(LoRA)를 이용해 백본의 일부 파라미터만 효율적으로 미세조정하는 PEFT 방식을 적용한다. 실험 설정은 동일한 손실 함수(Dice), 옵티마이저(AdamW), 학습 스케줄, 배치 크기 등을 유지해 모델 자체의 차이만을 평가하도록 설계되었다.

핵심 결과는 다음과 같다. (1) 단일 데이터셋(Lucchi++ 혹은 VNC)에서 훈련한 경우, 모든 VFM이 프리즌 백본만으로도 높은 foreground IoU를 달성했으며, LoRA를 추가하면 인‑도메인 성능이 일관되게 향상되었다. 이는 사전학습된 표현이 EM 이미지의 저수준 구조(텍스처, 경계) 정보를 충분히 포착하고 있음을 의미한다. (2) 두 데이터셋을 합쳐서 동시에 학습할 경우, 모든 모델에서 성능이 급격히 떨어졌다. 특히 LoRA가 도메인 간 차이를 완전히 메우지 못하고, 오히려 과적합 위험이 커지는 경향을 보였다. (3) PCA 시각화, Fréchet‑DINOv2 거리, 선형 프로브 실험을 통해 두 데이터셋의 임베딩 분포가 명확히 구분됨을 확인했다. 이는 겉보기에는 유사해 보이지만, 샘플링 방식, 대비, 해상도, 라벨링 정책 등 미세한 차이가 고차원 특징 공간에 큰 영향을 미친다는 것을 보여준다.

이러한 분석은 현재의 VFM이 ‘범용’이라기보다 ‘도메인‑특화’된 특성을 유지하고 있음을 시사한다. 특히 EM이라는 고해상도, 저대비, 복잡한 구조를 가진 분야에서는 사전학습이 자연 이미지에 최적화된 경우, 도메인 간 전이 성능을 보장하기 위해 별도의 도메인 정렬 기법(예: 스타일 변환, 적대적 정규화, 메타‑학습 기반 어댑터)이나 데이터셋‑특화 사전학습이 필요할 가능성을 제시한다. 또한, LoRA와 같은 경량 파라미터 효율적 미세조정이 인‑도메인에서는 유용하지만, 다중 도메인 상황에서는 충분히 강력한 정규화와 도메인 인식 메커니즘이 결합돼야 한다는 교훈을 얻을 수 있다.

전반적으로, 이 연구는 VFM을 EM 이미지 분할에 적용할 때 ‘단일 도메인에서는 충분히 강력하지만, 이질적인 도메인 간 일반화는 아직 해결되지 않은 과제’라는 중요한 메시지를 제공한다. 향후 연구는 도메인 불일치를 완화하는 정교한 어댑터 설계, 멀티‑도메인 사전학습, 혹은 메타‑학습 기반 적응 전략을 탐구함으로써 VFM의 진정한 범용성을 확보하는 방향으로 나아가야 할 것이다.