손상 이미지 복원을 위한 반초고해상도 GAN 기반 인페인팅

초록

본 논문은 손상된 이미지의 픽셀을 복원하기 위해 기존 SRGAN을 경량화한 Semi‑SRGAN(SSR‑GAN)을 제안한다. 무작위 균일 픽셀 손상을 다양한 비율(30%~80%)로 적용한 뒤, 128×128 크기로 전처리한 세 개의 공개 데이터셋(Oxford‑IIIT‑Pet, Caltech‑101, Flowers‑102)에서 학습·평가하였다. 손실 함수는 기존 VGG 기반 손실 대신 MSE와 BCE를 MSE로 대체한 형태를 사용했으며, 성능 평가는 NMSE와 PSNR로 수행하였다. 실험 결과 SSR‑GAN이 높은 픽셀 손상에서도 비교적 낮은 NMSE와 합리적인 PSNR를 달성함을 보였다.

상세 분석

이 연구는 이미지 인페인팅 분야에서 “복원 정확도 vs. 모델 복잡도”라는 두 축을 동시에 개선하려는 시도로 평가할 수 있다. 먼저, 기존 SRGAN은 초고해상도 복원을 위해 수백 개의 파라미터와 복잡한 VGG‑19 기반 퍼셉추얼 손실을 사용한다. 저자들은 이를 “Semi‑SRGAN”이라 명명하고, (1) 생성기와 판별기의 레이어 수를 축소하고, (2) 픽셀 셔플(PixelShuffle) 업스케일링을 그대로 유지하면서도 커널 크기와 스트라이드 조정을 통해 연산량을 감소시켰다. 특히, 생성기 앞에 9×9 커널을 두고 6개의 Residual Block을 배치한 구조는 지역적 텍스처와 전역적 구조를 동시에 학습하도록 설계되었다.

손실 함수 선택에서도 실용성을 강조한다. VGG‑19 기반 퍼셉추얼 손실은 이미지 품질을 정량화하는 데 강력하지만, 학습 시간과 메모리 요구가 크다. 저자들은 이를 MSE 손실로 대체하고, 판별기에서도 BCE 대신 MSE를 적용해 손실 계산을 단순화하였다. 이는 특히 제한된 GPU(NVIDIA V100)와 100 epoch, 배치 사이즈 64라는 학습 환경에서 효율성을 높이는 데 기여한다.

데이터 전처리와 실험 설계도 주목할 만하다. 모든 이미지를 128×128로 리사이즈함으로써 메모리 사용을 최소화했으며, 픽셀 손상 비율을 30%부터 80%까지 단계적으로 증가시켜 모델의 강인성을 평가하였다. 결과적으로, 손상 비율이 증가할수록 NMSE가 상승하고 PSNR이 감소하는 전형적인 경향을 보였지만, 특히 Caltech‑101 데이터셋에서는 50% 손상에서도 NMSE 0.0077, PSNR 21.14dB라는 비교적 우수한 성능을 기록했다. 이는 SSR‑GAN이 복잡한 구조 없이도 중간 수준의 손상 복원에 충분히 경쟁력 있음을 시사한다.

한계점으로는 (1) 실험에 사용된 이미지 해상도가 낮아 실제 고해상도 사진 복원에 대한 일반화가 미흡하고, (2) 평가 지표가 NMSE와 PSNR에 국한돼 인간 주관적 품질(SSIM, LPIPS 등) 평가가 부족하다는 점이다. 또한, “Semi‑SRGAN”이라는 명칭이 기존 논문과 혼동될 소지가 있으며, 모델 아키텍처 상세 파라미터(채널 수, 레이어 수 등)가 표로 정리되지 않아 재현성이 다소 떨어진다.

종합하면, 이 논문은 경량화된 GAN 기반 인페인팅 모델을 제시하고, 다양한 손상 수준과 데이터셋에서 실험적으로 검증함으로써 실용적인 복원 솔루션의 가능성을 보여준다. 향후 고해상도 이미지, 비정형 마스크, 그리고 정성적 평가 지표를 포함한 확장 연구가 필요하다.