Retinex와 GAN을 활용한 저조도 이미지 향상

본 논문은 저조도 환경에서 촬영된 이미지의 밝기·디테일·노이즈 문제를 해결하기 위해 Retinex 이론과 Generative Adversarial Network(GAN)를 결합한 새로운 프레임워크인 Retinex‑GAN을 제안한다. 서론에서는 기존 저조도 이미지 향상 방법이 전처리(히스토그램 평활화, CLAHE 등)와 후처리(노이즈 제거, 디컨볼루션) 혹은 두 단계 결합으로 나뉘지만, 복합적인 조명 변화와 카메라 흔들림을 동시에 다루기엔 한계가 있음을 지적한다. 특히, 인공적으로 생성된 저조도 데이터에 의존하는 기존 연구는 실제 환경에서의 일반화가 어렵다는 문제점을 강조한다. 관련 연구 파트에서는 저조도 이미지 향상을 위한 전통적 방법(LIME, LightenNet, LLNet 등)과 최신 딥러닝 기반 접근법(MSR‑net, Retinex‑Net)들을 정리하고, 이미지‑투‑이미지 변환에 널리 쓰이는 GAN의 원리와 Pix2pix, CycleGAN 등 지도·비지도 학습 방식을 비교한다. 저자는 지도학습이 더 높은 복원 품질을 제공한다는 점에서 Pix2pix‑style 구조를 채택한다. 제안된 Retinex‑GAN은 크게 두 부분으로 구성된다. 첫 번째는 ‘분해 파트’로, 두 개의 병렬 UNet(각각 입력 이미지와 목표 이미지에 적용)을 이용해 저조도 이미지 x와 고품질 이미지 y를 각각 조명 이미지 Iₓ, I_y와 반사 이미지 Rₓ, R_y로 분해한다. 두 번째는 ‘강화 파트’로, Rₓ를 강화하고 새로운 조명 Iₓ′를 생성한 뒤, Rₓ·Iₓ′를 최종 복원 이미지로 만든다. 판별기 D는 46×46 PatchGAN 형태로, 생성된 이미지와 실제 고품질 이미지 사이의 차이를 학습한다. 핵심 기술적 기여는 세 가지 손실 설계에 있다. (1) 정규화 손실 L_reg은 R값이 ±1에 수렴하는 현상을 억제해 의미 있는 분해를 유지한다. (2) 다중 과제 손실 L = λ_rec L_rec + λ_dec L_dec + λ_com L_com + λ_cGAN L_cGAN은 재구성 손실(L_rec), 조명 일관성 손실(L_dec), 복합 품질 손실(L_com), 적대적 손실(L_cGAN)을 동시에 최적화한다. 여기서 L_rec은 Smooth L1을 사용해 R·I와 원본 이미지 사이의 차이를 최소화하고, L_dec은 서로 다른 조도 조건에서 추출된 조명 이미지 간 L1 차이를 최소화해 조명 일관성을 보장한다. (3) 최종 복원 품질을 높이기 위해 SSIM‑MS 손실을 도입, 다중 스케일 구조적 유사성을 평가해 L_com에 가중합한다. 실험은 두 공개 데이터셋인 CSID와 LOL을 사용했다. CSID는 See‑In‑the‑Dark 원본을 변환한 데이터이며, LOL은 저조도·고품질 이미지 쌍을 제공한다. 모든 실험은 TensorFlow 기반으로 1080Ti GPU에서 384×256 해상도로 수행했으며, 배치 크기 16, Adam 옵티마이저(β₁=0.5, β₂=0.999, ε=1e‑8)를 사용했다. 생성기와 판별기는 Pix2pix‑GAN의 UNet과 PatchGAN을 그대로 차용했으며, 학습 과정에서 제안한 정규화·다중 과제 손실이 빠르게 수렴함을 확인했다. 정량적 평가에서는 PSNR, SSIM, NIQE 등에서 기존 LIME, LightenNet, LLNet 등에 비해 평균 1.5 dB 이상의 PSNR 향상과 SSIM 0.03 이상의 개선을 기록했다. 정성적 결과에서도 색 왜곡이 적고, 어두운 영역의 디테일 복원이 뛰어나며, 노이즈 억제 효과가 눈에 띄었다. 논문의 한계로는 두 개의 UNet을 동시에 학습함에 따라 파라미터 수와 연산량이 크게 증가해 실시간 적용이 어려울 수 있다는 점을 들었다. 또한, 조명 이미지 Iₓ′를 직접 생성하는 과정이 별도 제약 없이 학습되므로, 극단적인 조명 변화가 있는 경우 과다 노출이나 색상 왜곡이 발생할 가능성이 있다. 향후 연구에서는 경량화된 네트워크 설계, 색 보정 모듈 도입, 그리고 다양한 실제 촬영 환경을 포함한 데이터 확장을 통해 실용성을 높일 필요가 있다. 결론적으로, Retinex‑GAN은 Retinex 이론의 물리적 해석과 GAN의 데이터‑드리븐 학습을 결합해 저조도 이미지 복원에서 새로운 기준을 제시한다. 제안된 정규화 손실과 다중 과제 손실은 분해‑강화 과정의 안정성을 확보하고, 실험 결과는 기존 방법 대비 전반적인 품질 향상을 입증한다.