효율적인 조직 맥락 활용 핵 검출을 위한 새로운 슬라이딩 윈도우 접근법

초록

본 논문은 초고해상도 병리 슬라이드 이미지에서 핵을 검출할 때, 기존의 큰 시야(LFoV) 패치를 추가로 처리하던 방식을 버리고, 이미 슬라이딩 윈도우로 탐색한 주변 패치들의 오프‑더‑쉘프 특징을 재활용하는 컨텍스트 어그리게이션 기법을 제안한다. 동일 배율의 패치를 공유 인코더로 처리해 메모리와 I/O 비용을 크게 절감하면서, 주변 패치에서 얻은 고수준 조직 정보를 핵 검출기에 주입한다. 또한, 주변 패치에 존재하는 라벨이 없는 핵들을 교차 라벨링(pseudo‑label) 방식으로 활용해 후처리 단계에서 모델의 컨텍스트 적응성을 강화한다. 세 가지 공개 벤치마크 실험에서 기존 LFoV 기반 방법보다 높은 검출·분할 정확도와 2~3배 빠른 추론 속도를 달성하였다.

상세 분석

1️⃣ 문제 정의와 기존 한계

• 병리학적 WSI는 수십억 픽셀 규모이므로 슬라이딩 윈도우 방식이 필수이다. 하지만 각 윈도우를 독립적으로 처리하면 주변 조직 구조를 전혀 고려하지 못해 경계가 모호하거나 밀집된 영역에서 오탐·누락이 빈번하다.
• 최근 연구들은 각 윈도우 중심에 저배율·대시야(LFoV) 패치를 추가로 추출해 컨텍스트 정보를 보강했지만, (a) 추가 I/O와 이미지 전처리 비용으로 전체 추론 시간이 크게 늘어나고, (b) 저배율이라 세밀한 핵 형태 정보를 손실한다는 두 가지 근본적인 문제를 안고 있다.

2️⃣ 제안 방법의 핵심 아이디어

• 역사적 윈도우 재활용: 슬라이딩 과정에서 이미 방문한 주변 윈도우들의 피처를 “오프‑더‑쉘프” 형태로 저장하고, 현재 윈도우의 검출 헤드에 컨텍스트 키‑밸류로 제공한다. 이는 별도의 LFoV 이미지를 생성하지 않으므로 디스크·메모리 I/O가 거의 발생하지 않는다.
• 공유 인코더: ROI 패치와 주변 패치가 동일 배율(H×W)임을 이용해 하나의 CNN(또는 ViT) 인코더를 공유한다. 이렇게 하면 두 종류의 패치를 각각 학습시킬 필요가 없으며, 피처 차원(d)도 동일해 cross‑attention 연산이 간단해진다.
• 선택적 Gradient 계산: 한 iteration에 (2δ+1)²개의 패치를 모두 역전파하면 메모리 초과가 발생한다. 저자는 무작위로 k개만 gradient를 계산하고 나머지는 forward‑only 처리하는 전략을 도입해 GPU 메모리 사용량을 크게 낮춘다.
• 컨텍스트 피처 압축: 각 주변 피처 맵을 s×s 격자로 평균 풀링해 해상도를 감소시킨 뒤, (2δ+1)²×s×s×d 형태로 concat한다. 이는 공간 중복을 제거하고 cross‑attention 연산 비용을 절감한다.

3️⃣ 컨텍스트 주입 메커니즘

• ROI 피처 Fᵢ를 query, 주변 피처 F_ctxᵢ를 key·value 로 하는 cross‑attention을 수행한다: F′ᵢ = CrossAttn(Q=Fᵢ, K=F_ctxᵢ, V=F_ctxᵢ).
• 위치 임베딩을 넣어도 성능 향상이 없었는데, 이는 병리 슬라이드가 연속적인 시각 정보를 갖고 있어 상대적 위치가 자연스럽게 보존되기 때문이다.

4️⃣ 라벨이 없는 핵 활용(교차 라벨링)

• 주변 패치에는 라벨이 없지만, 사전 학습된 검출기로부터 고신뢰(≥0.9) 예측을 얻을 수 있다. 단순 self‑training은 confirmation bias로 성능이 정체된다.
• 저자는 point‑annotation을 pseudo‑mask 로 변환하고, 별도 경량 세그멘테이션 모델을 학습시켜 “다른 아키텍처”의 예측을 교차 라벨링한다. 이렇게 얻은 pseudo‑label은 원본 검출기와 서로 다른 오류 패턴을 가지므로, 후속 fine‑tuning 시 모델이 다양한 조직·컨텍스트 상황에 적응하도록 만든다.

5️⃣ 핵 형태 세부 정보 보강

• 고수준 컨텍스트를 도입하면 모델이 국소적인 핵 형태(크기·형태·염색 패턴)에 대한 주의가 약해지는 현상이 Grad‑CAM++으로 확인되었다.
• 이를 보완하기 위해, 마지막 레이어의 morphology‑rich feature m을 추출하고, 기존 classification head ϕ의 입력에