다양한 조명 하의 대규모 항공 3D 재구성을 위한 SkyLume 데이터셋

초록

SkyLume은 10개 도시 지역을 대상으로 아침·정오·저녁 세 시점에 동일 경로로 촬영한 100,000여 장의 고해상도 UAV 이미지와 정밀 LiDAR 스캔을 제공한다. 5방향(4개 사선 + 정위) 이미지와 6‑DoF 자세 정보를 포함하며, 깊이·법선·메시 정밀도와 조명 변화를 평가할 수 있는 Temporal Consistency Coefficient(TCC) 메트릭을 제안한다. 이를 통해 조명 변화에 강인한 3D 재구성, 신시점 합성, 그리고 역렌더링 연구를 체계적으로 검증할 수 있다.

상세 분석

본 논문은 대규모 도시 규모 UAV 촬영에서 조명 변화가 초래하는 색상·기하학적 불일치를 정량화하고, 이를 극복하기 위한 데이터와 평가 프레임워크를 제공한다는 점에서 의미가 크다. 첫째, SkyLume은 기존 항공 데이터셋이 결핍해 온 ‘다중 시간대 동일 지역 촬영’이라는 특성을 충족한다. 10개 지역에 걸쳐 5방향(4개 사선 + 정위) 6K 해상도 이미지를 세 시점에 걸쳐 수집함으로써, 조명 변동에 따른 그림자, 노출, 색온도 변화가 동일한 기하학적 구조에 어떻게 영향을 미치는지를 직접 관찰할 수 있다. 이는 SfM·MVS 파이프라인에서 특징점 매칭이 약화되고, 그림자 영역이 잘못된 깊이로 해석되는 문제를 실험적으로 검증할 수 있게 한다.

둘째, 데이터 정합성을 위해 RTK 기반 UAV와 고정밀 LiDAR(DJI Zenmuse L2)를 결합하고, LiDAR‑guided SfM 및 MVS를 수행한다. 특히, LiDAR 포인트를 ‘pseudo‑RGB’로 렌더링해 이미지와 함께 전역 번들 조정에 활용함으로써, 조명에 민감한 RGB 특징점에 의존하지 않고 정확한 자세와 스케일을 확보한다. 이는 기존 데이터셋이 제공하던 GPS/IMU 기반 자세만으로는 달성하기 어려운 서브‑센티미터 수준의 정밀도를 가능하게 한다.

셋째, 저자는 새로운 평가 지표인 Temporal Consistency Coefficient(TCC)를 도입한다. TCC‑Albedo는 동일 뷰포인트에서 각 시간대에 추정된 알베도를 비교해 조명 독립적인 재질 일관성을 측정하고, TCC‑Geometry는 시간대별 재구성 메시에 대한 쌍별 차이를 평균해 기하학적 일관성을 정량화한다. 이는 기존 PSNR·SSIM·LPIPS와 같은 단일 이미지 품질 지표가 놓치기 쉬운 ‘시간적 일관성’ 문제를 직접 다룰 수 있게 해준다.

넷째, 논문은 3D Gaussian Splatting(3DGS) 기반 최신 방법들을 다중 조명 조건에서 벤치마크한다. 실험 결과, 조명 변화가 강한 영역(유리, 물, 얇은 파사드)에서는 색상 번짐과 그림자 과적합이 두드러져, 기존 3DGS가 단일 세션에 최적화돼 있음을 확인한다. 또한, 조명에 의해 발생하는 가짜 기하학(그림자 경계가 실제 구조로 오인되는 현상)도 깊이·법선 추정에 부정적 영향을 미친다. 이러한 결과는 조명 분리와 동적 조명 모델링이 대규모 항공 재구성에 필수적임을 시사한다.

마지막으로, 데이터 제공 형식(COLMAP, per‑frame depth/normal, solar geometry 등)을 표준화하고, 학습·평가용 스플릿을 명시함으로써 재현성을 높였다. 이는 연구자들이 동일 조건에서 알고리즘을 비교하고, 조명 강인성을 목표로 하는 새로운 모델(예: 조명‑재질 분리 네트워크, 동적 라이트 필드) 개발에 바로 활용할 수 있게 한다. 전체적으로 SkyLume은 ‘조명 다양성 + 정밀 지오메트리 + 새로운 평가 지표’라는 삼위일체를 갖춘 최초의 실세계 UAV 데이터셋으로, 도시 디지털 트윈, 실시간 재현, 그리고 역렌더링 분야에 큰 파급 효과를 기대한다.