동적 반사 장면을 위한 레이 트레이싱 기반 3D 재구성 프레임워크 TraceFlow

초록

TraceFlow는 2D Gaussian Splatting에 잔차 기반 재질 정보를 추가하고, 동적 환경 Gaussian을 도입해 레이 트레이싱으로 정확한 반사광선을 계산한다. 확산‑반사 성분을 분리하는 하이브리드 렌더링 파이프라인과 coarse‑to‑fine 학습 전략을 통해 동적 스펙큘러 장면을 고품질·실시간으로 재구성한다.

상세 분석

본 논문은 동적 씬에서 스펙큘러(반사) 효과를 정확히 재현하기 위해 세 가지 핵심 기술을 제안한다. 첫째, 2D Gaussian Splatting(2DGS)의 기본 구조에 잔차 네트워크와 재질 파라미터(특히 스펙큘러 틴트)를 결합한 Residual Material‑Augmented 2DGS를 설계하였다. 2DGS는 각 Gaussian이 정의된 접평면의 두 접선 벡터를 통해 정확한 표면 법선을 제공하므로, 기존 3DGS에서 발생하던 법선 근사 오차를 근본적으로 해소한다. 잔차 네트워크는 시간 t와 Gaussian 중심 p를 입력으로 받아 위치·스케일·회전·불투명도·스펙튤러 틴트에 대한 미세 변형 ΔGₜ를 예측함으로써, 동적 변형과 재질 변화를 고해상도로 표현한다.

둘째, 동적 환경을 Gaussian 형태로 모델링하는 Dynamic Environment Gaussian를 도입하였다. 이는 전통적인 환경 맵(스피어 하모닉스 기반)과 달리 시간에 따라 변화하는 라이트 프로브를 직접 학습하므로, 근거리 반사와 고주파 디테일을 손실 없이 재현한다. 반사광선은 2DGS에서 얻은 정확한 법선을 이용해 d_out = d_in – 2(d_in·n)n 식으로 계산되고, 이 광선이 Dynamic Environment Gaussian와 교차하여 스펙큘러 색을 추출한다.

셋째, 렌더링 파이프라인을 확산 성분은 래스터화, 반사 성분은 레이 트레이싱으로 분리하는 하이브리드 방식을 채택하였다. 이렇게 하면 실시간 성능을 유지하면서 물리적으로 일관된 스펙큘러 합성을 가능하게 한다. 학습 단계에서는 coarse‑to‑fine 전략을 적용해 초기에는 저해상도·저빈도 샘플링으로 안정적인 기하학을 학습하고, 점진적으로 해상도와 샘플링 빈도를 높여 정밀한 재질·반사 정보를 정제한다. 또한, 표면 법선에 대한 Geometry‑Aligned Normal Loss와 NormalCrafter 기반의 Temporal‑Consistent Normal Supervision을 결합해 법선 일관성을 강화한다.

실험 결과는 기존 동적 NeRF‑DS, 7D‑Gaussian, Dynamic Environment Map 기반 방법들을 모두 능가한다. PSNR, SSIM, LPIPS 모두 유의미하게 개선되었으며, 특히 반사 하이라이트와 미세 파동이 선명하게 복원된다. 한계점으로는 동적 환경 Gaussian의 파라미터 수가 증가함에 따라 메모리 요구량이 상승하고, 복잡한 투명·다중 반사 상황에서는 추가적인 광선 추적이 필요할 수 있다. 향후 연구에서는 다중 반사 경로와 투명도 모델링을 통합하고, GPU‑전용 레이 트레이싱 가속을 통해 실시간 수준을 더욱 끌어올릴 여지가 있다.