SAR와 광학 영상을 위한 대규모 도시 데이터셋 공개

초록

본 논문은 고해상도 SAR와 항공 광학 영상을 1 m·20 cm 해상도로 정밀히 매칭한 10 000여 쌍의 이미지 패치를 제공하는 “SARptical” 데이터셋을 소개한다. SAR와 광학 이미지의 서로 다른 촬영 기하학을 3‑D 포인트 클라우드 기반으로 정합하고, 각 패치의 중심 픽셀 3‑D 위치를 동일하게 맞춤으로써 다중 센서 융합·학습에 활용할 수 있는 기반을 마련한다.

상세 분석

본 연구는 고해상도 SAR와 광학 영상의 공동 해석이 도시 환경에서 직면하는 근본적인 문제, 즉 SAR의 사이드‑룩 특성에 의한 레이어오버와 그림자 현상을 극복하기 위해 설계된 “SARptical” 프레임워크를 기반으로 한다. 핵심 아이디어는 SAR와 광학 각각에서 독립적으로 3‑D 포인트 클라우드를 재구성한 뒤, 이 두 클라우드를 정밀히 매칭함으로써 2‑D 이미지 간의 대응 관계를 3‑D 공간에서 확보하는 것이다.

SAR 측면에서는 차분 SAR 토모그래피(D‑TomoSAR) 기법을 활용한다. 다중 관측각을 갖는 109장의 TerraSAR‑X 스포트라이트 이미지(해상도 ≈ 1 m)를 이용해 메터 수준의 고도 정밀도를 갖는 포인트 클라우드를 생성한다. 광학 측면에서는 9장의 UltraCAM 항공 사진(지상 해상도 20 cm)을 이용해 다중 뷰 스테레오 매칭을 수행, 동일 지역에 대한 고밀도 3‑D 모델을 만든다. 두 클라우드의 정합은 고정밀 DEM이 없을 경우에도 가능한데, 이는 각 포인트의 3‑D 좌표를 서로 대응시키는 절차를 통해 이루어진다. 정합 정확도는 일반적으로 1~2 m 수준이며, 이는 SAR와 광학 이미지의 픽셀 스케일 차이를 보정하는 데 충분하다.

정합된 3‑D 좌표를 바탕으로 SAR 이미지의 특정 픽셀을 광학 이미지에 투영하고, 그 주변을 112 × 112 픽셀(약 100 × 100 m)의 패치로 추출한다. 이렇게 생성된 SAR‑광학 패치 쌍은 각각의 중심 픽셀이 동일한 3‑D 위치에 해당하도록 설계되었으며, 필요에 따라 회전·스케일 보정이 적용되어 초기 정합이 이루어진다. 한 SAR 패치는 최대 9개의 광학 패치와 매칭될 수 있는데, 이는 광학 이미지가 다양한 관측각을 제공하기 때문이다. 이러한 다중 시점 매칭은 건물 파사드의 다양한 면을 관찰할 수 있게 해, 도시 모니터링 및 구조물 변형 감지 등 새로운 응용 가능성을 열어준다.

데이터셋 규모는 32 446개의 SAR 픽셀을 선택해 89 502개의 광학 패치를 생성했으며, 전체 10 000여 쌍의 패치가 포함된다. 각 패치는 메타데이터(위치, 고도, 관측각, SAR 위상·진폭 등)와 함께 제공되어, 딥러닝 기반 매칭, 공동 분류, 전이 학습 등 다양한 연구에 바로 활용할 수 있다. 데이터는 공개 URL(http://www.sipeo.bgu.tum.de/downloads)에서 자유롭게 다운로드 가능하도록 준비되었다.

본 논문의 주요 기여는 (1) SAR와 광학 이미지의 정밀 3‑D 정합을 통한 대규모 패치 데이터셋 구축, (2) 레이어오버·그림자 문제를 극복한 실용적인 매칭 파이프라인 제시, (3) 다중 시점 광학 패치를 포함함으로써 도시 구조물의 복합적인 특성 분석이 가능하도록 한 점이다. 향후 연구에서는 정합 정확도 향상, 더 다양한 도시 환경 적용, 그리고 생성된 데이터셋을 활용한 멀티모달 딥러닝 모델 개발이 기대된다.