동적 HDR 뷰 합성을 위한 Gaussian 스플래팅과 동적 톤 매핑

초록

본 논문은 저노출(LDR) 영상만으로 동적인 장면의 고동적 범위(HDR) 3D 모델을 학습하는 새로운 과제인 HDR‑DNVS를 정의하고, Gaussian Splatting 기반의 HDR‑4DGS 프레임워크를 제안한다. 동적 톤 매핑 모듈이 시간에 따라 변하는 방사선 분포를 학습해 LDR‑HDR 변환을 수행함으로써, 시공간적으로 일관된 HDR 뷰를 실시간에 가깝게 렌더링한다.

상세 분석

HDR‑4DGS는 기존 3D Gaussian Splatting(3DGS)을 4차원(공간 + 시간)으로 확장한 4DGS 위에 구축된다. 각 Gaussian은 평균 μ = (μₓ, μ_y, μ_z, μ_t)와 4×4 공분산 Σ를 갖으며, 시간 축에 대한 가우시안 마진 p(t)를 통해 특정 시점 t에서의 존재 확률을 모델링한다. 색상은 4D 구면조화(4D‑SH)와 푸리에 시리즈를 결합한 형태로 표현되어, 시간에 따라 변하는 방사선 특성을 효율적으로 캡처한다.

핵심 기여는 동적 톤 매핑(Dynamic Tone‑Mapper, DTM)이다. DTM은 (1) 현재 시점의 HDR 색상 c_h(t), (2) 노출 시간 e_t, (3) 과거 k 프레임의 평균 HDR 색상 통계 r_h(t‑k : t)를 입력으로 받아, 시계열 컨텍스트 임베딩 f_t를 생성한다. 이 임베딩은 RNN·LSTM·GRU·Transformer 등任意의 시퀀스 모델로 구현 가능하며, 시간에 따른 방사선 변화 패턴을 학습한다. 이후 로그 스케일링된 HDR 색상과 노출 시간, f_t를 결합해 per‑channel MLP g_θ에 전달함으로써 LDR 색상 c_l(t) = g_θ(