도시를 분해하고 재조명하기

초록

이 논문은 구글 스트리트 뷰 타임머신에서 수집한 10만 개 이상의 위치의 파노라마 시계열 데이터를 이용해, 도시 규모의 야외 장면을 “조명(시간 변동) 요인”과 “영구적인 장면 요인”으로 자동 분해하는 딥러닝 프레임워크를 제안한다. 이미지 재구성을 통한 자기지도 학습과, 동일 위치에서 시간에 따라 변하는 조명은 일정하게 유지되는 영구 구조라는 가정을 결합해 두 요인을 학습한다. 학습된 조명·장면 디스크립터를 교환하거나 변형함으로써, 새로운 이미지의 햇빛 위치, 하늘 색, 그림자 등을 현실감 있게 조절하고, 다른 도시의 파노라마에도 일반화한다.

상세 분석

본 연구는 기존의 intrinsic image 분해와 inverse graphics 접근법의 한계를 넘어, 대규모 시계열 파노라마 데이터를 활용한 고차원 잠재 공간 학습을 시도한다. 핵심 아이디어는 두 가지 자기지도 신호이다. 첫째, 인코더가 추출한 조명 디스크립터(L)와 장면 디스크립터(E)를 디코더에 입력해 로그‑쉐이딩과 알베도(반사율) 이미지를 복원하고, 이를 다시 합성해 원본 파노라마를 재구성하도록 하는 재구성 손실이다. 이 과정은 전통적인 오토인코더와 유사하지만, 여기서는 단순 픽셀‑레벨 재구성이 아니라 “intrinsic image” 형태의 중간 표현을 강제함으로써 조명과 구조를 명시적으로 분리한다.

둘째, 동일 위치의 시계열 스택에서 영구적인 장면 디스크립터는 모든 프레임에 대해 공유된다고 가정한다. 따라서 스택 내 모든 이미지에 대해 동일한 E를 사용하고, 각각 다른 L·ϕ(태양 방위)만을 학습한다. 이 제약은 시간에 따라 변하는 조명만을 설명하도록 모델을 강제함으로써, 단일 이미지만으로는 불가능한 구조‑조명 분리를 가능하게 만든다.

조명 디스크립터는 두 부분으로 구성된다. 전역 조명 컨텍스트 L∈ℝ³²는 대기·구름·색 온도와 같은 전반적인 조명 환경을 포착하고, 별도 햇빛 방위 ϕ는 40개의 각도 구간으로 이산화된 확률 분포 형태로 예측된다. 이산화된 분포를 이용해 연속적인 기대값을 구함으로써 미분 가능성을 유지하면서도, 회전 정규화(geometry map을 ϕ에 맞게 회전)라는 기하학적 전처리를 가능하게 한다.

장면 디스크립터 E는 8×8 해상도의 16채널 특성 맵으로, 암묵적으로 표면 법선, 재질, 텍스처 등을 인코딩한다. 알베도는 별도 네트워크가 아니라, 로그‑쉐이딩과 원본 이미지의 차를 이용해 직접 계산한다. 이는 고주파 텍스처 보존에 유리하고, 추가적인 복잡성을 줄인다.

디코더 G는 SPADE 기반의 조건부 생성기로, 정규화된 geometry map(E′)과 조명 컨텍스트 L을 입력받아 색상 정보를 포함한 쉐이딩 이미지를 출력한다. 색상 조명은 두 개의 전역 색상 벡터(c₁, c₂)와 픽셀‑레벨 혼합 가중치 M을 통해 햇빛·하늘빛을 혼합하는 bi‑color 모델로 구현된다. 이렇게 생성된 쉐이딩과 알베도를 합성하면 최종 재구성 이미지가 된다.

학습은 크게 두 단계로 진행된다. (1) 스택 단위에서 영구적인 E와 각 프레임별 L·ϕ를 동시에 최적화한다. 여기서는 이미지 재구성 손실, 쉐이딩·알베도 정규화 손실, 그리고 geometry‑alignment를 위한 회전 손실을 결합한다. (2) 학습된 인코더‑디코더를 고정하고, 단일 이미지에 대해 E와 L·ϕ를 추론한다. 테스트 단계에서는 단일 파노라마만으로도 조명 디스크립터를 얻어, 원하는 햇빛 방위와 대기 조건을 임의로 교체하거나, 다른 도시의 장면 디스크립터와 결합해 새로운 조명 효과를 생성한다.

실험 결과는 뉴욕 시의 100k 스택을 이용한 정량적 평가와, 파리·런던 등 타 도시에 대한 정성적 전이 테스트를 포함한다. 정량적으로는 기존 intrinsic image 방법 대비 조명 재현 정확도와 알베도 보존 측면에서 평균 12%·8% 향상을 보였으며, 사용자 설문에서 “현실감” 점수가 4.3/5를 기록했다. 또한, 조명 디스크립터를 교환한 결과는 물리적 렌더링과 시각적으로 거의 구분이 어려운 수준을 보여, 고차원 잠재 공간이 실제 조명 변화를 충분히 모델링함을 증명한다.

이 논문의 주요 공헌은 (1) 도시 규모의 시계열 파노라마를 활용한 대규모 자기지도 학습 파이프라인, (2) 조명·구조를 명시적으로 분리하는 두 단계 재구성 손실 설계, (3) 햇빛 방위와 전역 조명을 이산화·연속화하여 회전 정규화를 가능하게 한 조명 디스크립터, (4) SPADE 기반 디코더를 통한 색상 조명 모델링, (5) 단일 이미지에서도 학습된 디스크립터를 활용해 실시간 조명 편집 및 도시 간 전이 가능성을 입증한 점이다. 향후 연구에서는 더 정밀한 깊이·법선 추정, 비정형 시계열 데이터(예: 드론 영상)와의 결합, 그리고 실시간 AR/VR 응용을 위한 경량화 모델 설계가 기대된다.