단일 코딩 노출을 위한 컨볼루션 희소 코딩 기반 HDR 복원

본 논문은 고동적 범위(HDR) 이미지를 단일 촬영으로 획득하기 위한 새로운 프레임워크를 제시한다. 기존 HDR 촬영 방식은 (i) 다중 노출을 합성하는 방식, (ii) 다중 센서를 이용해 동시에 다른 노출을 캡처하는 방식, (iii) 픽셀 혹은 스캔라인 단위로 노출을 변조하고 복원하는 방식으로 크게 세 가지로 구분된다. 다중 노출 방식은 움직이는 장면에서 고스트 현상이 발생하고, 다중 센서는 비용과 캘리브레이션 복잡도가 높으며, 픽셀‑레벨 코딩 방식은 복원 단계에서 강력한 사전 정보가 필요하고, 노출 차이가 크면 재구성 품질이 저하되는 한계가 있다. 이러한 문제점을 해결하기 위해 저자들은 두 가지 핵심 아이디어를 결합한다. 첫째, 광학 마스크 혹은 전자식 셔터를 이용해 센서에 공간적으로 변조된 노출 코드를 적용한다. 마스크는 각 픽셀에 서로 다른 투과율을 부여해 효과적으로 여러 노출을 동시에 기록한다. 수식적으로는 y = Ω P L 로 표현되며, 여기서 Ω는 대각 행렬 형태의 코딩 마스크, P는 광학 시스템의 점 확산 함수(PSF), L은 상대 방사량이다. 둘째, 복원 단계에서 컨볼루션 희소 코딩(Convolutional Sparse Coding, CSC) 모델을 사용한다. 전통적인 패치 기반 희소 코딩은 이미지 전체를 독립적인 패치들로 나누어 각각을 복원하는데, 이는 HDR와 같이 고대비, 고주파 성분이 풍부한 이미지에서 구조적 일관성을 유지하기 어렵다. CSC는 전체 이미지를 K개의 필터 d_k와 그에 대응하는 희소 특성 맵 z_k의 합으로 모델링한다: α = Σ_k d_k * z_k. 여기서 *는 2‑차원 컨볼루션이며, 필터는 사전 학습된 고정된 집합이다. 학습 단계에서는 대규모 LDR 이미지 집합에 대해 대비 정규화(contrast normalization)를 수행한 뒤, CSC 필터를 학습한다. 이렇게 하면 필터가 밝기와 스케일에 무관하게 일반화될 수 있다. 복원 단계에서는 다음 최적화 문제를 푼다: min_{z} ½‖y – Ω M (Σ_k d_k * z_k + o)‖_2^2 + β Σ_k ‖z_k‖_1 + λ‖∇o‖_2^2 여기서 o는 전역 오프셋(밝기 보정)이며, ∇는 공간적 그라디언트 연산이다. β는 희소성 가중치, λ는 부드러움 제어 파라미터다. 이 문제는 ADMM(Alternating Direction Method of Multipliers) 기반 알고리즘으로 해결되며, 주요 연산은 푸리에 도메인에서의 컨볼루션 역변환으로 효율적으로 수행된다. 실험에서는 다양한 코딩 패턴(무작위, 주기적, 그라데이션 등)을 평가하고, 기존의 패치 기반 L1 복원, 전통적인 HDR 합성, 그리고 최신의 픽셀‑레벨 코딩 방법들과 비교하였다. 정량적 지표(PSNR, HDR‑VDP‑2)와 정성적 시각 평가 모두에서 제안된 CSC 기반 복원이 더 높은 동적 범위와 낮은 잡음을 보였다. 특히 고대비 경계와 미세 디테일 복원에서 눈에 띄는 개선이 관찰되었다. 또한 저자들은 실제 하드웨어 프로토타입을 구축하였다. 기존 DSLR에 맞춤형 투과 마스크를 부착하고, 소프트웨어 파이프라인을 통해 실시간에 가까운 복원을 구현했다. 실험 결과, 8‑bit LDR 이미지 하나만으로도 12‑13스톱 이상의 동적 범위를 복원할 수 있었으며, 기존 멀티‑노출 방식과 비교해 촬영 시간과 복잡도가 크게 감소하였다. 논문의 주요 기여는 다음과 같다. 1. HDR 복원을 위한 CSC 모델을 최초로 도입하고, 이를 효율적인 ADMM 알고리즘으로 구현하였다. 2. 공간적으로 변조된 노출 코드를 이용해 단일 촬영으로 충분한 샘플링을 확보하는 광학‑디지털 코딩 방식을 제시하였다. 3. 필터 학습에 대비 정규화를 적용해 HDR 특유의 고대비·고주파 성분을 효과적으로 포착하도록 설계하였다. 4. 다양한 코딩 패턴과 파라미터에 대한 정밀 분석을 제공하고, 실제 하드웨어 프로토타입을 통해 실용성을 검증하였다. 향후 연구 방향으로는 (i) 실시간 구현을 위한 GPU/FPGA 가속, (ii) 동영상 HDR 복원을 위한 시간‑연속 CSC 확장, (iii) 색채·노이즈 모델을 포함한 보다 정교한 센서 모델링, (iv) 모바일 디바이스에 적용 가능한 초소형 마스크 설계 등이 제시된다. 전체적으로 이 논문은 단일 촬영 HDR 이미지 획득에 새로운 패러다임을 제시하며, 컴퓨터 비전·컴퓨테이셔널 포토그래피 분야에 큰 파급 효과를 기대한다.