물리 기반 공격과 적응형 방어를 통한 실세계 저조도 이미지 향상

초록

본 논문은 저조도 이미지 향상(LLIE)에서 기존 방법이 sRGB 영역의 블랙박스 매핑에 의존해 노이즈 억제에 한계를 보이는 문제를 지적한다. 저자들은 물리적 노이즈 모델링을 기반으로 한 공격‑방어 프레임워크를 제안한다. 공격 측에서는 ISP 역변환 후 RAW 도메인에서 광자 잡음과 읽기 잡음을 물리적으로 주입하는 Degradation Synthesis(PDS) 파이프라인을 구축해 고품질 훈련 쌍과 명시적 노이즈 파라미터를 생성한다. 방어 측에서는 입력 sRGB 이미지로부터 노이즈 파라미터를 예측하는 Noise Predictor와, 예측값에 따라 전문가 네트워크를 동적으로 라우팅하는 Degradation‑Aware Mixture of Experts(DA‑MoE), 그리고 노이즈 강도에 따라 특징 공간 마진을 조정하는 Adaptive Metric Defense(AMD)를 결합한다. 실험 결과, 제안된 모듈을 기존 LLIE 백본에 플러그인 형태로 적용했을 때 실제 저조도 데이터에서 노이즈 억제와 구조 보존 모두에서 현저히 향상됨을 보인다.

상세 분석

이 논문은 저조도 이미지 향상 분야에서 “노이즈 얽힘”이라는 근본적인 한계를 물리‑기반 공격‑방어 관점으로 재정의한다. 기존 LLIE 모델들은 대부분 sRGB 공간에서 단순 데이터 증강이나 합성 노이즈를 적용해 학습한다. 그러나 ISP(이미지 신호 처리) 파이프라인은 화이트 밸런스, 디모자이킹, 색 보정, 톤 매핑 등 비선형 연산을 포함해 RAW 센서 노이즈를 복잡하게 변형시키며, 결과적으로 sRGB 영역에서는 신호‑의존적이며 공간·채널 상관성을 가진 비가우시안 잡음이 된다. 이러한 특성을 무시하고 단순 픽셀‑레벨 변형만을 학습에 활용하면, 밝기 복원은 가능하지만 실제 촬영 환경에서 발생하는 잡음 억제에 실패한다는 점을 저자는 명확히 지적한다.

핵심 기여는 두 가지 축으로 나뉜다. 첫 번째는 공격 측면의 Degradation Synthesis(PDS)이다. PDS는 먼저 깨끗한 sRGB 이미지를 역 ISP 과정을 통해 선형 RAW 도메인으로 복원한다. 여기서 물리적으로 의미 있는 파라미터 k(광자 잡음 강도)와 σ(읽기 잡음 표준편차)를 이용해 포아송(Shot) 잡음과 가우시안(읽기) 잡음을 주입한다. 이후 정규 ISP를 다시 적용해 현실적인 저조도 sRGB 이미지를 생성한다. 이 과정은 단순 데이터 증강이 아니라 “물리‑정밀 공격”으로, 생성된 이미지와 함께 정확한 노이즈 파라미터 벡터를 라벨로 제공한다는 점에서 기존 GAN‑기반 혹은 휴리스틱 노이즈 합성보다 훨씬 해석 가능하고 재현 가능하다.

두 번째는 방어 측면의 삼중 구조이다. ① Noise Predictor는 입력 sRGB 이미지로부터 (k, σ)와 같은 노이즈 파라미터를 추정한다. 이 예측값은 이후 모듈에 명시적 조건으로 전달된다. ② Degradation‑Aware Mixture of Experts(DA‑MoE)는 여러 전문가(Expert) 네트워크를 사전 학습시켜 각각 저강도 가우시안, 고강도 포아송, 혼합 잡음 등 특정 노이즈 특화에 최적화한다. Gating 네트워크는 Noise Predictor의 출력에 기반해 각 레이어에서 어느 전문가를 활용할지 동적으로 결정한다. 특히 고해상도 피처에서는 포아송‑전문가에 SFT(Spatial Feature Transform) 모듈을 삽입해 강도‑의존적 변조를 수행하고, 저해상도 피처에서는 가우시안‑전문가가 주도하도록 설계해 중앙극한정리(CLT)를 활용한다. ③ Adaptive Metric Defense(AMD)는 손실 함수의 마진 m을 노이즈 강도에 비례해 조정한다. 즉, 공격이 강할수록 마진을 크게 잡아 특징 공간에서 더 명확히 구분하도록 유도함으로써, 어려운 ‘하드 네거티브’ 샘플에서도 과도한 최적화 편향을 방지한다.

실험에서는 FourLLIE, CWNet 등 최신 LLIE 백본에 제안 모듈을 플러그‑인했을 때 PSNR이 평균 3~4 dB 상승하고, 시각적으로도 잡음이 크게 감소하면서 세부 텍스처와 색상 왜곡이 최소화되는 것을 확인했다. 특히 실제 스마트폰 촬영 데이터와 공개 저조도 벤치마크에서 “노이즈 억제 + 밝기 복원”의 트레이드‑오프를 효과적으로 해결한 점이 주목할 만하다. 전체적으로 이 논문은 저조도 이미지 향상에 물리‑기반 공격‑방어 프레임워크를 도입함으로써, 기존 블랙박스 매핑의 한계를 뛰어넘는 새로운 패러다임을 제시한다.