자율적 잡음 모델링을 위한 자기일관성 GAN

본 논문은 이미지 복원·향상 작업에 필수적인 잡음 모델링을 청정‑잡음 이미지 쌍이 없는 상황에서도 수행할 수 있는 새로운 프레임워크를 제시한다 제안된 Self‑Consistent GAN, 즉 SCGAN은 두 개의 주요 모듈인 잡음 맵 추출기 G와 청정 이미지 판별기 D로 구성된다 G는 입력 잡음 이미지 I_n을 받아 잡음 맵 N̂=G(I_n) 을 출력하고, I_n−N̂ 를 청정 이미지 추정치로 만든다 D는 실제 청정 이미지와 G가 만든 청정 이미지 사이를 구분하도록 학습되며, 이를 위해 최소 제곱 GAN 손실을 사용한다 하지만 비지도 환경에서는 GAN 손실만으로는 학습이 충분히 제약되지 않는다 이를 보완하기 위해 세 가지 자기일관성 손실을 도입하였다 첫 번째는 청정 일관성 손실로, 청정 이미지 J_c를 입력했을 때 G가 0 맵을 출력하도록 강제한다 두 번째는 순수 잡음 일관성 손실로, G에 잡음 맵을 두 번 연속 입력했을 때 동일한 맵이 나오도록 한다 세 번째는 재구성 일관성 손실로, 임의의 청정 이미지 J_c에 G가 추출한 잡음 맵을 더했을 때 다시 같은 잡음 맵을 추출하도록 한다 이 세 제약은 각각 잡음 맵이 청정 이미지에 대해 0에 가까워야 함, 잡음 자체에 대해 불변성을 가져야 함, 그리고 잡음과 청정 이미지가 결합된 경우에도 잡음만을 정확히 분리해야 함을 수학적으로 표현한다 학습은 세 단계로 진행된다 초기 단계에서는 GAN 손실만 사용해 대략적인 잡음 맵을 얻고 두 번째 단계에서는 청정 일관성과 순수 잡음 일관성의 가중치를 증가시켜 잡음 맵이 청정 이미지에 대해 0에 가깝게, 잡음 자체에 대해서는 동일하게 유지되도록 한다 마지막 단계에서는 재구성 일관성을 추가해 잡음 맵이 이미지 경계나 텍스처에 의해 왜곡되지 않도록 정제한다 네트워크 구조는 기존 DnCNN과 동일한 17층 컨볼루션 기반 생성기를 사용하고, 판별기는 4층 컨볼루션으로 간단히 설계하였다 학습이 완료된 G는 새로운 이미지에 대해 잡음 맵을 직접 추출할 수 있다 이 잡음 맵을 다른 청정 이미지에 합성하면 (잡음, 청정) 쌍을 인공적으로 만들 수 있다 이렇게 만든 쌍을 이용해 기존의 작업‑특화 네트워크, 예를 들어 DnCNN(디노이징), Deep Detail Network(비 내림), EDSR(노이즈 초해상도)를 지도 학습한다 실험에서는 세 가지 대표적인 잡음 유형을 선택하였다 첫 번째는 Gaussian 잡음으로 BSD68 데이터셋에 σ=15,25,30을 적용해 블라인드 디노이징 성능을 평가하였다 SCGAN‑2와 SCGAN‑1은 비지도 방식임에도 불구하고 비감독 최신 방법인 GCBD‑2, GCBD‑1보다 높은 PSNR를 기록했고, 완전 감독 방식인 DnCNN‑B(Oracle)와도 근접한 성능을 보였다 두 번째는 비 내림 작업으로 Rain100H 데이터셋을 사용했으며, SCGAN 기반 Deep Detail Network은 기존 비감독 방법보다 눈에 띄게 선명한 결과를 제공하였다 세 번째는 노이즈 초해상도 작업으로 NTIRE 2017 챌린지 데이터에 대해 SCGAN으로 만든 잡음‑청정 쌍을 이용해 EDSR‑Baseline을 학습시켰다 이 경우에도 PSNR 및 시각적 품질이 기존 비감독 초해상도 방법들을 앞섰다 특히 잡음이 평균이 0이 아닌 비대칭적 형태(예: 비 내림)일 때도 기존 잡음‑전용 패치 검색 기반 방법보다 안정적으로 잡음 분포를 학습한다는 점이 강조된다 결론적으로 SCGAN은 잡음 모델링을 비지도 방식으로 구현하면서도 다양한 이미지 복원 작업에 효과적으로 적용할 수 있음을 입증하였다 제안된 자기일관성 제약은 GAN 학습을 충분히 제약하여 잡음 맵의 정확성을 보장하고, 이를 통해 기존 감독 학습 기반 방법들과 경쟁하거나 이를 능가하는 성능을 달성한다