다중 조명 환경을 위한 도시 야외 역렌더링 데이터셋 LightCity

초록

LightCity는 300여 개의 HDRI 스카이맵과 5만 장 이상의 스트리트·에어리얼 뷰를 포함한 고품질 합성 도시 데이터셋으로, 깊이·노멀·재질·조명·간접광 등 풍부한 라벨을 제공한다. 이를 통해 도시 환경에서의 내재 이미지 분해, 다중 뷰 역렌더링, 그리고 조명 변화에 강인한 3D 재구성을 체계적으로 벤치마크한다.

상세 분석

본 논문은 도시 수준의 야외 역렌더링 연구에 필요한 핵심 요소인 ‘복합 조명’과 ‘간접광·그림자’를 실제와 유사하게 재현한 최초의 대규모 합성 데이터셋을 제시한다. 기존 데이터셋은 주로 물체 단위 혹은 제한된 조명 변동만을 제공했으나, LightCity는 300여 개의 HDRI 스카이맵을 회전·강도 조절함으로써 일출·일몰·야간 등 시간대별 조명 변화를 정밀하게 제어한다. 또한, Blender Cycles 기반 PBR 렌더링 파이프라인을 활용해 알베도, 쉐이딩, 거칠기, 금속성, 투과성, 배경·방출광까지 10여 개 이상의 G‑Buffer 채널을 자동으로 출력한다.

데이터 수집 단계에서는 SceneCity 애드온을 이용해 450여 종류의 건물·도로·가구 등을 포함하는 도시 블록을 계층적으로 구성하고, 각 객체에 의미론적 라벨을 부여한다. 카메라 경로는 균일 원형·그리드 샘플링과 적응형 샘플링을 결합해 스트리트와 에어리얼 뷰를 모두 포괄한다. COLMAP 기반 사전 재구성을 통해 충분한 오버랩을 확보하고, 밝기·객체 수 기준 필터링을 적용해 품질 저하 이미지를 제거한다.

벤치마크는 세 가지 핵심 과제에 초점을 맞춘다. 첫째, 내재 이미지 분해에서는 기존 모델이 조명 변화에 따라 알베도 일관성을 유지하지 못함을 확인하고, LightCity로 파인튜닝한 모델이 조명 불변성을 크게 개선함을 실험적으로 입증한다. 둘째, 다중 뷰 역렌더링에서는 단일 조명 가정이 도시 규모에서 재질 추정과 간접광·그림자 분리에 한계가 있음을 보여준다. 특히 3D Gaussian Splatting 기반 방법이 NeRF 대비 기하학적 일관성은 높지만, 다중 조명에 의한 색상 플로팅 현상이 발생한다. 셋째, 도시 재구성에서는 다양한 조명 하에서의 정밀도와 시점 일관성을 평가했으며, 조명 변동이 깊이·노멀 추정 오차를 크게 증가시킴을 확인한다.

이러한 분석을 통해 저자는 ‘조명 다양성’과 ‘간접광·그림자 복합성’이 도시 수준 역렌더링·재구성 알고리즘 설계에 필수적인 요소임을 강조한다. LightCity는 풍부한 라벨과 조절 가능한 조명 파라미터를 제공함으로써, 향후 물리 기반 렌더링, 신경망 기반 조명 추정, 디지털 트윈 구축 등 다양한 연구 분야에 표준 벤치마크로 활용될 수 있다.