스타일·콘텐츠 분리와 클러스터 기반 수중 이미지 합성의 혁신

초록

DISC‑GAN은 수중 이미지의 색감·흐림 등 광학적 왜곡을 스타일과 콘텐츠로 분리하고, K‑means로 구한 4개의 물리‑기반 스타일 클러스터마다 별도 GAN을 학습한다. AdaIN을 이용해 스타일을 콘텐츠에 주입하고, L1‑L2 복합 손실로 고품질 합성을 달성해 SSIM 0.9012, PSNR 32.51 dB, FID 13.37을 기록한다.

상세 분석

본 논문은 수중 영상 합성에서 가장 큰 난제인 “비균일한 광학 환경”을 두 단계로 해결한다. 첫 번째 단계는 물리‑기반 RSUIGM 데이터셋의 색상 히스토그램과 평균 깊이 정보를 결합한 특성 벡터를 이용해 K‑means 클러스터링을 수행한다. 저자는 엘보우 방법을 통해 최적 클러스터 수 k = 4를 선정하고, 이를 ‘blue’, ‘light‑blue’, ‘dark‑blue’, ‘black’ 네 가지 스타일 도메인으로 정의한다. 이러한 클러스터는 전통적인 Jerlov 수계 구분과 일치하여, 스타일이 실제 물속 광학 파라미터(감쇠계수 Kc, 배경광 Bc)와 직접 연관됨을 보장한다.

두 번째 단계는 스타일‑콘텐츠 분리형 GAN 구조이다. 콘텐츠 인코더(E_content)는 VGG19의 relu4_2 레이어를 활용해 고수준 구조와 형태 정보를 압축하고, 스타일 인코더(E_style)는 얕은 레이어(relu1_1~relu3_1)에서 Gram 행렬을 추출해 색조·텍스처 통계량을 얻는다. 두 잠재 벡터(z_c, z_s)는 Adaptive Instance Normalization(AdaIN)으로 결합되어, 스타일의 평균·분산을 콘텐츠 피처에 정규화시킴으로써 색감·흐림을 자연스럽게 주입한다.

손실 함수는 L1 재구성 손실과 L2 기반 적대 손실을 λ로 가중합한 복합식이다. L1은 픽셀‑단위 구조 보존을, L2(또는 GAN loss)는 시각적 리얼리즘을 촉진한다. 각 클러스터마다 독립적인 GAN을 학습함으로써 “스타일 누수”(style leakage)를 방지하고, 원하는 물리‑스타일을 정확히 제어할 수 있다.

실험에서는 6000장의 RSUIGM 합성 이미지와 SUID의 청정 육상 이미지를 80:20 비율로 학습·검증하였다. 네 개의 클러스터 각각에 대해 100 epoch, 배치 크기 1, Adam(β1=0.5, β2=0.999)로 최적화했으며, Tesla V100에서 약 12시간 소요되었다. 결과는 SSIM 0.9012, PSNR 32.51 dB, FID 13.37이라는 높은 정량적 지표를 보이며, 기존 WaterGAN·CycleGAN 기반 방법보다 현저히 우수함을 입증한다. 특히, 클러스터별 모델이 색조·흐림을 정확히 재현해, 특정 수역(예: 탁한 해저 vs 투명한 해안)에서의 데이터 증강에 직접 활용 가능하다.

한계점으로는 클러스터 수가 고정(k = 4)되어 있어, 실제 현장에서는 더 세분화된 스타일이 존재할 수 있다는 점이다. 또한, 클러스터링에 사용된 특성이 RGB 히스토그램·평균 깊이에 국한돼 있어, 물속 입자 크기·분포와 같은 미세한 광산란 특성을 포착하지 못한다. 향후 연구에서는 다중 스케일 특성, 비지도 클러스터링, 그리고 물리‑기반 손실(예: Beer‑Lambert 모델 재현)과의 결합을 통해 스타일 표현을 확대할 여지가 있다.

전반적으로 DISC‑GAN은 물리‑기반 데이터 파티셔닝과 최신 스타일‑콘텐츠 분리 GAN을 효과적으로 결합함으로써, 수중 이미지 합성 분야에 새로운 패러다임을 제시한다.