형광 현미경 이미지 핵 분할을 위한 딥러닝 아키텍처 비교

초록

본 연구는 다양한 조직과 시료 준비 방식에 적용 가능한 형광 현미경 핵 이미지의 인스턴스‑aware 분할을 위해 최신 딥러닝 모델 네 가지를 평가한다. 후처리 없이 직접 픽셀‑레벨 확률맵을 객체 마스크로 변환할 수 있는 U‑Net, ResNet34‑백본을 결합한 U‑Net, 그리고 객체 검출 후 로컬 세그멘테이션을 수행하는 Mask R‑CNN을 비교하였다. 인공 이미지 생성 기법을 활용해 학습 데이터를 확대하고, 라벨 품질·이미지 스케일·핵 크기 변동이 성능에 미치는 영향을 분석하였다. 결과적으로 Mask R‑CNN이 가장 높은 정밀도·재현율을 보였으며, 동일한 평균 핵 크기와 일관된 라벨링, 인공 데이터 활용이 전반적인 성능 향상에 기여함을 확인했다.

상세 분석

이 논문은 형광 현미경 이미지에서 핵을 개별적으로 식별하고 라벨링하는 인스턴스‑aware 세그멘테이션 문제에 초점을 맞추었다. 기존 연구에서는 딥러닝 기반 픽셀‑레벨 확률맵을 생성한 뒤, 임계값 처리, 워터셰드, 크기 필터링 등 복잡한 후처리 파이프라인을 적용해 객체를 분리하는 경우가 많았다. 그러나 후처리 단계는 파라미터 튜닝에 민감하고, 조직 종류·시료 전처리 차이에 따라 성능이 급격히 저하될 위험이 있다. 따라서 저자는 후처리 없이도 직접 객체 마스크를 출력할 수 있는 모델을 선정하고, 그 성능을 체계적으로 비교하였다.

첫 번째 그룹은 전통적인 픽셀‑투‑픽셀 변환 구조인 U‑Net과, 그 변형인 ResNet34 백본을 도입한 U‑Net을 포함한다. U‑Net은 인코더‑디코더 구조와 스킵 연결을 통해 저해상도 특징을 고해상도 위치 정보와 결합한다. ResNet34 백본을 사용하면 보다 깊은 잔차 학습이 가능해 복잡한 조직 배경에서도 핵 경계 정보를 효과적으로 추출한다. 그러나 이들 모델은 기본적으로 클래스별 확률맵만을 출력하므로, 인스턴스 구분을 위해서는 별도의 클러스터링이나 임계값 기반 분할이 필요하다.

두 번째 그룹은 Mask R‑CNN이다. Mask R‑CNN은 Faster R‑CNN 기반의 객체 검출 단계와, 검출된 바운딩 박스마다 작은 FCN을 적용해 마스크를 예측하는 구조를 갖는다. 이 방식은 처음부터 인스턴스 레벨 마스크를 생성하므로 후처리 없이도 정확한 핵 구분이 가능하다. 특히, ROI Align을 통해 바운딩 박스 내부의 픽셀 정렬 오류를 최소화하고, 다중 스케일 피처 피라미드를 활용해 다양한 크기의 핵을 동시에 처리한다.

데이터 측면에서 저자는 실제 조직(간, 신장, 뇌 등)과 다양한 시료 준비(고정·탈고정, 파라핀 임베딩, 플라스마 등)에서 얻은 형광 이미지 4,200장을 사용했다. 라벨링 품질을 조사하기 위해 전문가와 비전문가가 만든 두 종류의 GT를 비교했으며, 핵 평균 크기가 일정하지 않은 경우와 변동이 큰 경우를 별도로 분석했다. 또한, 인공 이미지 생성 파이프라인을 설계해 기존 이미지에 회전·스케일 변환·노이즈 삽입·합성 핵 추가 등을 적용, 학습 데이터 양을 3배 이상 확대하였다.

성능 평가는 평균 정밀도(AP), 평균 재현율(AR), 그리고 인스턴스‑aware IoU를 사용했다. 결과는 다음과 같다. (1) 전통적인 U‑Net은 전체 평균 AP 0.71, AR 0.68을 기록했으며, 핵 크기가 크게 변동하는 경우 경계가 흐려져 오류가 증가했다. (2) ResNet34‑백본 U‑Net은 약 3% 정도 성능이 향상돼 AP 0.74, AR 0.71을 달성했지만, 여전히 인스턴스 구분에 한계가 있었다. (3) Mask R‑CNN은 AP 0.82, AR 0.79로 가장 높은 점수를 받았으며, 특히 겹쳐진 핵이나 비정형 형태의 핵에서도 정확히 구분했다. (4) 인공 이미지 활용 시 모든 모델에서 약 4~6%의 성능 상승이 관찰되었으며, 특히 라벨 품질이 낮은 경우에 효과가 두드러졌다.

라벨 품질 분석에서는 전문가가 만든 GT가 비전문가 GT에 비해 평균 5% 높은 AP를 보였으며, 이는 정확한 경계 라벨링이 모델 학습에 큰 영향을 미친다는 것을 시사한다. 이미지 스케일 실험에서는 원본 해상도를 유지했을 때와 0.5배 축소했을 때를 비교했으며, 축소된 이미지에서는 특히 U‑Net 계열이 성능 저하를 겪었지만 Mask R‑CNN은 멀티스케일 피처를 활용해 비교적 안정적인 결과를 유지했다.

종합적으로, 후처리 없이 직접 인스턴스 마스크를 출력할 수 있는 Mask R‑CNN이 다양한 조직·시료 조건에서 가장 견고한 성능을 보였으며, 데이터 증강을 위한 인공 이미지 생성과 고품질 라벨링이 전체적인 정확도 향상에 필수적임을 확인했다. 이러한 결과는 형광 현미경 기반 단일 세포 분석 파이프라인을 자동화하고, 연구자들이 복잡한 후처리 단계 없이도 신뢰성 높은 핵 분할을 수행할 수 있게 하는 실용적 기반을 제공한다.