CycleGAN 기반 가상 H&E 염색으로 현미경 이미지 도메인 적응

초록

본 보고서는 라이트시트 현미경의 형광 이미지와 H&E 염색 병리 이미지 사이의 도메인 차이를 해소하기 위해 CycleGAN을 활용한 비쌍(pairless) 이미지‑투‑이미지 변환 프레임워크를 제안한다. ResNet 기반 생성기와 PatchGAN 판별기를 결합하고, 적대 손실·사이클 일관성 손실·아이덴티티 손실을 동시에 최적화하여 색상은 H&E와 유사하게, 구조는 원본 형광 이미지의 형태를 보존하도록 설계하였다. MHIST 데이터셋을 목표 도메인으로 사용했으며, 데이터 전처리, 모델 구조, 실험 결과 및 한계점을 상세히 기술한다.

상세 분석

이 논문은 현미경 형광 영상과 전통적인 H&E 병리 영상 사이의 시각적 격차를 메우기 위해 비쌍 이미지 번역 기법인 CycleGAN을 적용한 점이 핵심이다. 생성기 G_A2B와 G_B2A는 각각 7×7 반사 패딩 컨볼루션으로 시작해 두 단계의 스트라이드‑2 다운샘플링을 거쳐 256개의 필터를 갖는 9개의 Residual Block으로 구성된다. 인스턴스 정규화와 ReLU 활성화가 각 블록에 삽입되어 스타일 변환 과정에서 색상과 텍스처를 효과적으로 학습한다. 디코더는 전치 컨볼루션을 이용한 두 단계 업샘플링 후 7×7 tanh 출력으로 RGB 이미지를 생성한다. 판별기 D_A와 D_B는 PatchGAN 구조를 채택해 4×4 컨볼루션을 연속으로 적용, 최종 1채널 출력 맵을 통해 지역적 진위성을 평가한다. 손실 함수는 (1) 적대 손실 L_adv로 실제와 가짜 이미지를 구분, (2) 사이클 일관성 손실 L_cyc로 A→B→A, B→A→B 순환 후 원본 복원을 강제, (3) 아이덴티티 손실 L_id로 입력이 이미 목표 도메인에 있을 때 변환을 최소화한다. 전체 목표는 L_total = L_adv + λ_cyc·L_cyc + λ_id·L_id 로 정의되며, λ 값은 실험적으로 조정된다. 데이터 전처리 단계에서는 형광 채널을 색상 매핑(블루, 그린, 레드에 30% 그린 기여) 후 정규화·스케일링하여