라이트엑스: 카메라와 조명 제어가 가능한 4D 영상 생성 프레임워크

초록

라이트엑스는 단일 시점 비디오를 입력으로 받아, 동적인 포인트 클라우드와 별도 조명 프레임을 이용해 카메라 궤적과 조명을 동시에 자유롭게 변환할 수 있는 생성 모델이다. 기존 영상 리라이트와 카메라 제어를 각각 다루던 방법들의 한계를 극복하고, 데이터 부족 문제를 해결하기 위해 라이트‑신(Light‑Syn)이라는 디그레이션 기반 합성 파이프라인을 제안한다. 실험 결과, 라이트엑스는 조명 품질·시간 일관성·시점 변환 모두에서 최신 방법들을 앞선다.

상세 분석

라이트엑스는 “카메라‑조명 디커플링”이라는 핵심 아이디어를 바탕으로 설계되었다. 입력 비디오 Vₛ에서 먼저 프레임별 깊이 맵 Dₛ를 추정하고, 이를 이용해 각 프레임을 3D 포인트 클라우드 Pᵢ(=Φ⁻¹(Iₛᵢ, Dₛᵢ;K)) 로 역투영한다. 이렇게 만든 동적 포인트 클라우드는 사용자가 정의한 카메라 변환 행렬