작은 객체를 위한 마스크 전략과 효율적 세그멘테이션

초록

본 연구는 혈액 이미지에서 픽셀 수준의 작은 혈구(특히 혈소판)를 정확히 구분하기 위해 마스크 자동인코더(MAE)와 ViT 기반 UNETR을 결합한 프레임워크를 제안한다. 작은 패치 크기와 낮은 마스크 비율이 재구성 품질을 높이며, 사전학습된 인코더 가중치를 활용하면 작은 객체의 세그멘테이션 성능이 크게 향상된다.

상세 분석

이 논문은 두 가지 핵심 문제에 초점을 맞춘다. 첫째, 기존 ImageNet 사전학습 모델이 혈액 현미경 이미지와 같은 도메인 외 데이터에 적용될 때 전역 컨텍스트를 충분히 포착하지 못한다는 점이다. 둘째, MAE와 같은 자기지도 학습 방식은 이미지 전체를 마스킹하고 복원하도록 학습함으로써 강력한 전역 표현을 얻지만, 마스크 패치 크기가 객체보다 클 경우 작은 객체의 세부 정보가 손실된다. 이를 해결하기 위해 저자들은 (1) 패치 크기를 2, 4, 8 픽셀로 다양하게 설정하고, (2) 마스크 비율을 0.5, 0.75, 0.9로 조절한 ‘소규모’ MAE를 설계하였다. 실험 결과, 패치 크기가 작고 마스크 비율이 낮을수록 재구성 MAE 손실(MAE)값이 감소하고, 특히 혈소판과 같은 1~2픽셀 크기의 객체가 더 잘 복원되었다.

두 번째 단계에서는 사전학습된 ViT 인코더 가중치를 UNETR 디코더와 결합해 픽셀 수준의 다중 클래스 세그멘테이션을 수행한다. UNETR은 ViT 인코더와 전통적인 U‑Net 디코더를 스킵 연결로 연결함으로써 전역 종속성과 지역 공간 정보를 동시에 활용한다. 저자들은 16채널(다중 스펙트럼) 64×64 크기의 패치로 데이터를 나누어 메모리 요구량을 크게 낮추었으며, 인코더 레이어별 특징을 선택적으로 디코더에 전달해 다양한 패치 크기에 맞는 최적 구조를 탐색했다.

성능 평가에서는 9개 클래스(배경, WBC, 혈소판, RBC 내부·외부, 비드, 아티팩트, 파편, 기포) 전체에 대해 정확도와 클래스별 F1‑score를 보고한다. 사전학습된 인코더를 사용한 경우, 특히 혈소판 클래스에서 F1‑score가 0.94 이상으로 크게 향상되었으며, 무작위 초기화 모델에 비해 전반적인 정확도가 2~3%p 상승했다. 또한, 패치 크기 2와 4가 가장 높은 성능을 보였고, 패치 8에서는 작은 객체 손실이 두드러졌다.

이 연구는 (1) 작은 객체를 다루는 의료 영상에서 마스크 비율과 패치 크기의 조절이 핵심이라는 실증적 근거를 제공하고, (2) 도메인 특화 MAE 사전학습이 전통적인 랜덤 초기화보다 효율적이며, (3) 메모리와 연산 효율을 고려한 ‘divide‑and‑conquer’ 방식이 현장 장비(예: 포터블 현미경)에도 적용 가능함을 보여준다. 향후 연구에서는 마스크 전략을 동적으로 조정하거나, 멀티스케일 피라미드 구조와 결합해 더욱 미세한 혈소판 집합체를 구분하는 방안을 탐색할 수 있다.