전역·국소 정보를 동시에 잡는 이중 입력 주의 메커니즘 기반 WSI 분할 네트워크

초록

본 논문은 슬라이딩 윈도우 기반 전체 슬라이드 이미지(WSI) 분할 시 전역 컨텍스트가 부족한 문제를 해결하기 위해, 고해상도 슬라이스와 저해상도 전체 이미지를 동시에 입력으로 받는 이중 입력 구조와 주의(attention) 기반 특징 융합 모듈을 제안한다. 제안된 DA‑RefineNet은 기존 단일 입력 모델에 비해 평균 IoU, 정확도, 전용 Score 모두에서 향상된 성능을 보이며, 특히 경계 영역에서의 일관성을 크게 개선한다.

상세 분석

DA‑RefineNet은 크게 세 부분으로 구성된다. 첫 번째는 슬라이스 이미지 전용 인코더(ENC_slice)와 전체 이미지 전용 인코더(ENC_full)이며, 두 인코더는 동일한 U‑Net‑스타일 구조를 공유하지만 입력 해상도가 다르다. 전체 이미지는 10배 다운샘플링되어 슬라이스와 동일한 크기로 맞춰진 뒤, 저해상도이지만 전역적인 의미 정보를 담고 있다. 두 번째는 이들 인코더에서 추출된 다중 스케일 특징을 결합하는 Attention‑Refine 블록이다. 각 블록은 Residual Convolution Unit(RCU) → Attention Fusion → Chained Residual Pooling(CRP)의 순서로 진행된다. RCU는 ResNet‑유사 구조에서 배치 정규화를 제거해 메모리와 연산량을 절감하면서도 잔차 흐름을 유지한다. Attention Fusion은 슬라이스 특징 X_S와 전체 이미지 특징 X_F, 그리고 이전 블록 출력 O_{k‑1}을 입력으로 받아, 합성된 특징 X_fusion에 대해 가중치 W_attn을 학습한다. 최종 출력 O_k는 W_attn·X_S + O_{k‑1} 형태로, 전역 특징이 슬라이스의 미세 구조를 재조정하도록 설계되었다. CRP는 다중 풀링 단계와 컨볼루션을 체인 형태로 연결해 큰 수용 영역을 확보하면서도 파라미터 증가를 최소화한다.

세 가지 특징 융합 전략(Concat, Add, Attention)도 비교 실험을 통해 검증하였다. Concat은 채널 차원에서 단순히 연결해 정보량을 늘리지만, 모든 채널을 동일하게 취급해 중요도 구분이 어렵다. Add는 연산 비용이 가장 낮지만, 채널 간 상호작용을 손실한다. 반면 Attention Fusion은 학습 가능한 가중치를 통해 전역·국소 특징의 상관관계를 동적으로 파악하고, 실험 결과에서 가장 높은 MIoU와 Score를 기록한다.

손실 함수는 픽셀‑레벨 교차 엔트로피와 함께 클래스 불균형을 보정하기 위한 가중치를 적용했으며, 평가 지표는 평균 IoU(MIoU), 전체 정확도(Accuracy), 그리고 논문에서 정의한 전용 Score를 사용하였다. ICIAR2018 데이터셋(400장의 유방 조직 슬라이드)으로 5‑fold 교차 검증을 수행했으며, 기존 U‑Net, RefineNet, 그리고 최신 멀티‑스케일 방법들과 비교했을 때, 전역 정보를 보강한 DA‑RefineNet은 평균 MIoU 78.3% (U‑Net 71.2% 대비)와 Score 0.84 (U‑Net 0.77 대비)를 달성했다. 특히 경계 부근에서 발생하는 라벨 불일치를 크게 감소시켜, 임상 전문가가 기대하는 전반적인 일관성을 제공한다.

제안 방법의 장점은 (1) 메모리 제한 하에서 수용 영역을 효과적으로 확대한다는 점, (2) 전역 컨텍스트를 별도 파라미터 없이 다운샘플링된 이미지 하나만 추가함으로써 구현이 간단하다는 점, (3) Attention‑Refine 블록이 기존 RefineNet 구조에 최소한의 수정만으로 적용 가능하다는 점이다. 한편 제한점으로는 전체 이미지 다운샘플링 비율이 고정돼 있어, 매우 큰 스케일 차이가 있는 경우 정보 손실이 발생할 수 있다. 또한, 두 개의 인코더를 동시에 학습하기 때문에 학습 시간과 GPU 메모리 사용량이 단일 입력 모델에 비해 약 1.3배 증가한다는 점도 고려해야 한다. 향후 연구에서는 다중 해상도 피라미드와 동적 샘플링 전략을 결합해, 전역·국소 정보를 보다 유연하게 조절하는 방안을 모색할 수 있다.