노출 브라케팅으로 얻는 고품질 이미지: 하나의 프레임에 네 가지 복합 복원

본 논문은 저조도 환경에서 고품질 사진을 얻기 위한 새로운 접근법을 제시한다. 기존 연구는 단일 이미지 복원(노이즈 제거, 블러 복구, 초고해상도, HDR) 혹은 멀티‑이미지 복원(버스트, 듀얼‑노출, 다중‑노출) 중 하나에만 집중했으며, 특히 HDR 재구성에서는 노이즈와 블러를 무시하거나 제한된 동적 범위만을 다루는 경우가 많았다. 저자들은 이러한 한계를 극복하기 위해 ‘노출 브라케팅’이라는 촬영 방식을 채택한다. 이는 동일 장면을 짧은 노출(노이즈가 많지만 블러가 거의 없음)과 긴 노출(노이즈는 적지만 블러가 심함)으로 동시에 촬영해, 두 이미지가 서로의 약점을 보완하도록 하는 방법이다. 논문은 두 단계 학습 파이프라인을 설계한다. 첫 번째 단계는 물리 기반 시뮬레이션을 통해 저조도·저해상도·고노이즈·블러가 포함된 합성 이미지 쌍을 생성한다. 여기서 노출 시간 차이를 반영해 이미지들을 정규화하고 감마 변환을 적용해 두 채널(정규화·감마)로 결합한다. 이렇게 만든 데이터셋으로 ‘Temporally Modulated Recurrent Network(TMRNet)’를 지도 학습한다. TMRNet는 기본적인 순환 구조를 공유하면서도 각 프레임마다 노출‑특정 파라미터를 별도로 학습한다. 이는 짧은·긴 노출 이미지가 각각 다른 손상 특성을 가지고 있기 때문에, 파라미터 공유만으로는 충분히 표현하지 못하는 문제를 해결한다. 두 번째 단계에서는 실제 스마트폰으로 촬영한 200개의 야간 시나리오(라벨 없는 원시 이미지)를 활용한다. 저자들은 멀티‑이미지의 시간적 연속성을 이용해 자기지도 손실을 설계한다. 구체적으로, 네트워크가 현재 프레임을 복원한 뒤 다른 노출 프레임을 재구성하도록 강제하고, 재구성 오류를 최소화한다. 이 과정에서 가짜 라벨을 생성해 네트워크를 미세 조정함으로써, 합성 데이터와 실제 데이터 사이의 도메인 갭을 효과적으로 메운다. 제안된 시스템은 두 가지 변형으로 구현된다. ‘BracketIRE’는 노이즈 제거, 블러 복구, HDR 재구성을 동시에 수행한다. ‘BracketIRE+’는 여기에 초고해상도(SR) 복원을 추가한다. 실험에서는 합성 데이터와 실제 야간 데이터 모두에서 PSNR, SSIM, HDR‑VDP와 같은 객관적 지표와 사용자 설문을 통한 주관적 평가를 수행했다. 결과는 기존 버스트·듀얼·멀티‑노출 방법들을 크게 앞선다. 특히, 긴 노출 이미지의 움직임 블러가 짧은 노출 이미지의 선명한 경계에 의해 효과적으로 보정되고, 과다 노출·저노출 영역이 서로 보완되어 HDR 품질이 크게 향상된다. 또한, 서브픽셀 정렬을 통한 SR 복원에서도 디테일 손실이 최소화되어, 전체적인 이미지 품질이 현저히 개선된다. 논문의 주요 기여는 다음과 같다. 첫째, 노출 브라케팅을 활용해 네 가지 복원·강화 과제(노이즈, 블러, HDR, SR)를 하나의 통합 프레임워크로 결합하였다. 둘째, 시간‑모듈화된 순환 네트워크(TMRNet)를 설계해 각 노출 단계의 특성을 반영하도록 하였다. 셋째, 합성‑실제 두 단계 학습 전략을 통해 라벨이 부족한 실제 저조도 데이터에 대한 일반화 능력을 확보하였다. 마지막으로, 200개의 실제 야간 시나리오를 공개함으로써 향후 연구를 위한 벤치마크를 제공한다. 향후 연구 방향으로는 노출 단계 수를 늘리고, 스마트폰의 다중 카메라 시스템과 결합해 더욱 풍부한 정보를 활용하는 방안, 그리고 모바일 디바이스에서 실시간으로 동작할 수 있는 경량 모델 설계가 제시된다.