형상 사전 정보를 활용한 정규화 딥러닝 기반 세포 핵 검출

본 논문은 세포 핵 검출을 위한 새로운 딥러닝 프레임워크를 제안한다. 기존 CNN 기반 검출 방법들은 높은 정확도를 보였지만, 이미지 품질 저하, 핵 형태 다양성, 겹침 현상 등으로 인해 false positive가 빈번하고, 핵 내부에서의 정확한 위치 추정이 어려운 문제가 있었다. 이를 해결하기 위해 저자들은 전문가가 직접 설계한 핵 형태 사전(shape prior)을 활용한다. 먼저, 전문가가 여러 핵 이미지에서 대표적인 형태를 추출해 N개의 이진 마스크 S ={S₁,…,S_N}를 만든다. 이 사전은 핵 경계의 일반적인 모양을 압축적으로 표현한다. 그런 다음, 기본 CNN은 회귀 형태로 설계되어 입력 이미지 x 를 받아 연속적인 검출 맵 ˆy 를 출력한다. 손실 함수는 전통적인 MSE ‖f(x;Θ)‑y‖₂²와 새로운 형태 사전 정규화 항 L_SP 의 합으로 구성된다. L_SP는 다음 단계로 계산된다. ① ˆy에 임계값 T_p=0 을 적용해 배경을 제거하고, 최대 풀링 g_p(·) 을 수행해 p×p 윈도우 맵을 만든다. ② 이 윈도우 맵을 원본 이미지의 Canny 엣지 ˆx 와 원소별 곱(⊙)해 엣지 정보를 마스킹한다. ③ 마스킹된 엣지와 각 사전 형태 S_i 를 2‑D 컨볼루션하고, 결과를 L₂ 제곱합으로 정규화한다. 이 정규화 항은 검출 라벨이 핵 경계 안에 위치하도록 유도하고, 엣지와 형태가 일치하지 않는 영역을 억제한다. λ 파라미터는 MSE와 L_SP 사이의 가중치를 조절한다. SP‑CNN은 위와 같은 고정된 사전 집합을 그대로 사용한다. 그러나 고정된 사전은 데이터셋마다 차이가 있을 수 있어, 저자들은 사전 자체를 학습 가능한 파라미터로 전환한 TSP‑CNN을 제안한다. TSP‑CNN에서는 사전 집합을 1×1 컨볼루션 레이어로 구현하고, 초기값을 전문가가 만든 사전으로 설정한다. 학습 과정에서 사전 파라미터 Θ_S 는 역전파에 의해 업데이트되며, 형태가 데이터에 맞게 자동으로 조정된다. 동시에 형태가 원본 사전과 크게 벗어나지 않도록 하는 새로운 정규화 항 L_SH = ∑ₖ‖Θ_Sₖ‑Sₖ‖₂²를 추가한다. 이 항은 형태 학습을 제한하면서도 불필요한 중복 형태를 제거한다. 수식 (5)에서는 전체 손실 L = L_Loss + L_SP (+ L_SH) 에 대한 그래디언트가 어떻게 계산되는지를 상세히 제시한다. 특히 L_SP에 대한 미분은 (g_p(ˆy)⊙ˆx)∗S_i와 ˆy‑y 사이의 상호작용을 포함해, 네트워크 파라미터 W_k, b_k 에 직접 영향을 미친다. 따라서 네트워크는 전통적인 회귀 손실뿐 아니라 형태 사전과의 상관관계도 동시에 최적화한다. 실험은 두 개의 공개 데이터셋을 사용한다. 첫 번째는 저자들이 직접 라벨링한 PSU 콜론 조직 이미지 데이터셋이며, 두 번째는 Sirinukunwattana 등에서 제공한 UW 대장암 조직 데이터셋이다. 두 데이터셋 모두 핵이 겹치고 형태가 다양해 검출 난이도가 높다. 평가 지표는 Precision‑Recall 곡선과 F1‑Score이며, SP‑CNN과 TSP‑CNN은 기존 SC‑CNN, CSP‑CNN, 딥 스파스 오토인코더 기반 방법 등과 비교해 평균 4~6% 이상의 F1 향상을 보였다. 특히 TSP‑CNN은 학습 가능한 형태 덕분에 파라미터 수를 약 30% 감소시키면서도 가장 높은 정확도를 달성했다. 또한 저자들은 코드와 PSU 데이터셋을 공개하여 재현성을 확보하였다. 논문의 주요 기여는 다음과 같다. 1) 형태 사전을 정규화 항으로 도입한 SP‑CNN 구조, 2) 형태 자체를 학습 가능한 레이어로 전환한 TSP‑CNN, 3) 두 정규화 항(L_SP, L_SH)의 미분 가능 설계와 역전파 통합, 4) 새로운 전문가 라벨링 데이터셋 및 오픈 소스 코드 제공. 이러한 접근은 의료 영상 분석에서 도메인 지식을 딥러닝에 자연스럽게 통합하는 새로운 패러다임을 제시한다.