Geo3DVQA: RGB만으로 3D 지형 추론을 평가하는 새로운 벤치마크

초록

Geo3DVQA는 항공 RGB 영상만을 이용해 건물 높이·하늘 가시성·토지 피복 등 3차원 지리 정보를 추론하도록 비전‑언어 모델(VLM)을 평가하는 110 000개 질문‑답변 쌍으로 구성된 벤치마크이다. 16개 과제 카테고리를 3단계(단일 특성, 다중 특성, 응용 수준)로 나누어 모델의 높이 인식·다중 특성 통합·실제 응용 능력을 종합적으로 측정한다. 10개 최신 VLM을 실험한 결과, RGB‑만으로는 3D 추론이 제한적이며, 도메인‑특화 인스트럭션 튜닝이 성능을 20 %포인트 이상 끌어올린다는 점을 확인했다.

상세 분석

Geo3DVQA는 기존 원격탐사 VQA 데이터셋이 2차원 관계 추론에 머무는 한계를 극복하고, “높이‑인식”이라는 새로운 차원을 도입했다. 데이터는 독일 노스 라인-웨스트팔리아(GeoNRW)에서 제공하는 고해상도 RGB, 라이다 기반 DSM, 그리고 정밀 토지 피복 지도 등을 활용해 자동으로 생성되었다. 질문 템플릿은 과학적 메트릭(예: Sky View Factor, 평균 고도, 건물 밀도 등)을 기반으로 하며, 정답은 멀티모달 레퍼런스 데이터에서 계산된 수치 혹은 통계값이다.

세부적으로, Tier 1(단일 특성)에서는 SVF, 토지 피복, 고도 등 각각을 직접 추정하도록 요구한다. 여기서는 그림자, 건물 경계, 색채·텍스처 등 2D 시각 단서가 높이 정보를 암시하는 정도를 평가한다. Tier 2(다중 특성)에서는 SVF와 건물 밀도, 지형 완만함을 결합해 ‘스카이 가시성 점수’나 ‘공간 개방성’ 등 복합 지표를 계산하도록 설계했으며, 이는 실제 도시 기후 모델링에서 사용되는 가중합 방식과 일치한다. Tier 3(응용 수준)에서는 재생에너지 설치 잠재력, 물 축적 위험 등 실제 정책·계획에 활용될 수 있는 자유형 질문을 제시하고, 모델이 관찰‑결론 구조로 답변하도록 요구한다.

평가에서는 10개의 최신 VLM(GPT‑4o, Gemini‑2.5‑Flash, Qwen2.5‑VL 등)을 사용했으며, 두 가지 파인튜닝 설정(10 K, 100 K 질문)과 도메인‑특화 인스트럭션 튜닝을 비교했다. 결과는 전반적으로 낮은 정확도(30 % 수준)였으며, 특히 고도·SVF와 같은 연속값 추정에서는 오차 허용 범위 내에서도 정확도가 크게 떨어졌다. 그러나 Qwen2.5‑VL‑7B를 도메인‑특화 튜닝한 경우 전체 정확도가 약 50 %까지 상승했으며, 특히 다중 특성 통합 과제와 응용 수준 자유형 질문에서 가장 큰 개선을 보였다. 이는 모델이 “높이‑인식” 메타 정보를 학습하기 위해서는 해당 도메인 지식이 명시적으로 주입돼야 함을 시사한다.

또한, 본 연구는 RGB‑만으로 3D 정보를 복원하는 것이 근본적으로 ill‑posed임을 재확인한다. 그림자·텍스처·건물 실루엣 등은 상대적인 높이 구분을 가능하게 하지만, 절대적인 고도값이나 정밀한 SVF를 추정하기엔 한계가 있다. 따라서 Geo3DVQA는 “거친 높이 구분”(예: 고도 구간, 최고·최저 지역)과 “비교‑순위”(예: 가장 높은 건물 밀도 지역) 중심으로 설계돼, 모델이 학습 가능한 신호와 실제 3D 물리량 사이의 격차를 명확히 드러낸다.

이와 더불어, 데이터 생성 파이프라인에서 자동화된 정답 생성·다양성 확보·인간 검증 과정을 거쳐 품질을 보증했으며, 지리적 분할을 통한 학습‑테스트 격리로 공간적 일반화 능력을 평가했다. 이는 기존 VQA 데이터셋이 종종 동일 지역·시점에 과도하게 의존하는 문제를 해결한다.

결론적으로, Geo3DVQA는 RGB‑기반 3D 지리 추론을 체계적으로 측정할 수 있는 최초의 대규모 벤치마크이며, 현재 VLM이 갖는 한계와 도메인‑특화 튜닝이 제공하는 성능 향상 가능성을 동시에 제시한다. 향후 연구는 멀티모달 입력(LiDAR, 멀티스펙트럼)과 결합하거나, 프롬프트 엔지니어링·스마트 샘플링을 통해 고도·SVF 추정 정확도를 높이는 방향으로 진행될 수 있다.