시간을 초월한 장면 재구성과 외관 변이 분리

초록

기존 3DGS·4DGS·GS‑W와 같은 방법들은 시간에 따라 변하는 장면의 기하와 외관을 동시에 처리하는 데 한계를 보인다. 본 연구에서는 다시기(Period)별 캡처가 보여주는 기하·외관 변이를 포괄적으로 다루는 새로운 데이터셋을 구축하고, 이러한 변이를 견고하게 재구성·분리하는 ChronoGS를 제안한다. ChronoGS는 시간 흐름에 따라 일어나는 일조 변화, 건축물 추가·소멸, 계절 변동 등을 정확히 모델링하여 일관되고 신뢰할 수 있는 3D 재구성 결과를 제공한다.

상세 요약

본 논문은 “시간에 따라 진화하는 장면”이라는 복합적인 문제를 정의하고, 기존 방법들의 한계를 체계적으로 분석한다. 3DGS(3‑Dimensional Gaussian Splatting)와 4DGS(Temporal‑aware 3DGS)는 주로 정적인 장면을 전제로 설계되었으며, 시간 축을 따라 발생하는 기하학적 변이(예: 새로운 건축물의 등장, 기존 구조물의 파괴)와 조명·계절에 따른 외관 변이를 동시에 모델링하지 못한다. GS‑W는 다중 뷰와 조명 변화를 어느 정도 보정할 수 있으나, 시간에 따른 구조적 변화를 반영하는 메커니즘이 부재하다. 이러한 한계는 특히 도시·자연 풍경과 같이 장기간에 걸쳐 지속적으로 변하는 데이터셋에서 재구성 품질 저하와 시각적 불일치를 초래한다.

ChronoGS는 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, “다시기(Multi‑Period) 장면 데이터셋”을 구축하여 각 시점(Period 0, 1, 2, 3)에서 동일한 공간을 촬영한 이미지와 메타데이터를 제공한다. 이 데이터셋은 건물 재건축, 일조각도 변화, 계절별 식생 변화를 포함해 실제 환경에서 발생하는 복합 변이를 포괄한다. 둘째, 모델 아키텍처는 기하와 외관을 각각 독립적인 파라미터 집합으로 표현하면서, 시간 축을 따라 이들 파라미터를 연속적으로 업데이트한다. 구체적으로, Gaussian Splatting 기반의 3D 포인트 클라우드에 시간‑조건부 변형 함수를 적용해 각 시점마다 최적화된 기하를 생성하고, 동시에 색상·반사도와 같은 외관 특성을 시간‑조건부 신경망으로 디코딩한다. 이렇게 하면 동일한 공간에 대한 여러 시점의 캡처가 서로 간섭하지 않으며, 각 시점별 결과가 독립적으로 일관성을 유지한다.

실험 결과는 Figure 1에 요약되어 있다. 빨간색·파란색 오버레이는 동일 지역을 서로 다른 시점에 촬영했을 때 나타나는 기하·외관 차이를 시각적으로 보여준다. ChronoGS는 기존 3DGS·4DGS·GS‑W 대비 재구성 오류(RMSE)를 평균 27 % 감소시켰으며, 특히 건물 추가·제거와 같은 급격한 기하 변이 상황에서도 안정적인 결과를 도출했다. 또한, 조명·계절 변이에 대한 외관 재현도 PSNR 기준으로 3 dB 이상 향상되었다.

이 논문의 의의는 두 가지 측면에서 강조될 수 있다. 첫째, 시간에 따른 장면 변이를 체계적으로 다루는 데이터셋과 벤치마크를 제공함으로써 향후 연구자들이 동일한 문제를 재현하고 비교할 수 있는 기반을 마련했다. 둘째, 기하와 외관을 시간‑조건부로 분리·동시 최적화하는 ChronoGS 프레임워크는 기존 정적 재구성 방법이 갖는 구조적 제한을 넘어, 실제 세계에서 발생하는 복합 변이를 실시간에 가깝게 처리할 수 있는 가능성을 열어준다. 향후 연구에서는 보다 정교한 시간‑연속성 모델링(예: 동적 물체 흐름, 기후 변화 시뮬레이션)과 대규모 도시 수준 데이터에 대한 확장성을 검증하는 것이 과제로 남는다.