조건부 적대적 네트워크를 활용한 비정상 대장 폴립 이미지 합성 및 검출 성능 향상

초록

본 논문은 라벨링된 폴립 이미지가 부족한 문제를 해결하고자, 정상 대장내시경 영상과 폴립 마스크를 결합한 조건부 입력을 이용해 현실적인 폴립 이미지를 생성하는 조건부 GAN 프레임워크를 제안한다. dilated convolution과 resize‑convolution 기반의 U‑Net 변형 생성기를 설계하고, 생성된 합성 이미지를 기존 데이터와 함께 Faster R‑CNN에 학습시켜 폴립 검출 정확도를 향상시켰다.

상세 분석

이 연구는 대장내시경 영상에서 폴립 검출을 위한 데이터 증강 방법으로 조건부 생성적 적대 신경망(cGAN)을 적용한 점이 가장 큰 특징이다. 기존의 단순 회전·좌우반전 등 기하학적 변형만으로는 폴립의 크기·형태·색상 변동을 충분히 반영하기 어려운 반면, 본 논문은 ‘폴립 마스크 + Canny 엣지 필터링 이미지’를 결합한 복합 입력을 사용한다. 이렇게 하면 배경 구조와 폴립 형태가 동시에 고려돼, 생성된 이미지가 원본 영상의 해부학적 일관성을 유지한다는 장점이 있다.

생성기 설계에서는 U‑Net 구조를 기반으로 하면서 인코더 단계에 다중 dilated convolution을 도입하였다. dilation rate를 단계별로 증가시켜 receptive field를 넓히면서도 풀링에 의한 과도한 다운샘플링을 피한다. 결과적으로 마지막 인코더 레이어의 피처 맵 크기가 32×32로 유지돼, 디코더에서 고해상도 복원을 할 때 세부 디테일이 손실되지 않는다. 또한 디코더에서는 전통적인 transposed convolution 대신 nearest‑neighbor resize 후 3×3 convolution을 적용했는데, 이는 checkerboard artifact을 크게 감소시켜 시각적으로 더 자연스러운 폴립을 생성한다.

손실 함수는 기본적인 cGAN loss(L_cGAN)와 함께 L1·L2 손실을 다중 스케일로 결합한다. 첫 번째 디코더 레이어에서는 L2 손실을 사용해 전체적인 블러 형태를 유도하고, 이후 레이어에서는 L1 손실을 적용해 경계와 텍스처를 선명하게 만든다. λ 파라미터를 통해 두 손실 간의 균형을 조절함으로써 학습 안정성을 확보하였다.

데이터 준비 측면에서는 두 가지 시나리오를 제시한다. ① 학습 단계에서는 실제 폴립이 포함된 영상에서 추출한 마스크와 엣지 이미지(폴립+배경)를 결합하고, ② 추론 단계에서는 폴립이 없는 정상 영상에 인위적으로 생성한 마스크를 합성해 완전한 ‘정상→폴립’ 변환을 수행한다. 후자는 라벨링 비용을 크게 절감하면서도 다양한 형태·위치·크기의 폴립을 자유롭게 만들 수 있게 해준다.

생성된 합성 이미지는 Faster R‑CNN 기반 폴립 검출기에 추가 학습 데이터로 투입되었다. 실험 결과, 합성 데이터를 포함한 모델은 기존 데이터만 사용한 경우에 비해 평균 정확도(AP)와 민감도에서 유의미하게 향상되었으며, 특히 작은 크기의 폴립 검출에서 개선 효과가 두드러졌다. 이는 생성된 이미지가 실제 임상 영상의 통계적 특성을 잘 모사했음을 의미한다.

전체적으로 본 논문은 (1) 폴립 마스크와 엣지 정보를 결합한 새로운 조건부 입력 설계, (2) dilated convolution과 resize‑convolution을 활용한 생성기 구조 최적화, (3) 합성 데이터를 통한 검출 성능 향상이라는 세 축을 통해 의료 영상 분야에서 데이터 부족 문제를 해결하는 실용적인 방법론을 제시한다. 향후 다른 내시경 장기나 병변 유형에도 동일한 프레임워크를 확장할 가능성이 크다.