도시 그래프 임베딩: 공간 기반 멀티모달 학습과 평가

초록

본 논문은 거리 이미지와 도시 공간 그래프를 명시적으로 연결한 UGData를 제시하고, 두 단계 학습 전략인 UGE를 통해 이미지·텍스트·그래프를 일관되게 정렬한다. 이를 기반으로 만든 UGBench는 지리 위치 순위, 이미지 검색, 도시 인식, 공간 정합 등 네 가지 도시 과제에서 기존 VLM 대비 30%‑44%의 성능 향상을 입증한다.

상세 분석

UGData는 각 스트리트‑뷰 이미지를 해당 위치의 서브그래프에 매핑하고, 공간 추론 경로(SRP)와 공간 맥락 캡션(SCC)이라는 두 종류의 언어‑그래프 정렬 신호를 자동 생성한다. SRP는 “이미지 → 근접 POI → 거리·방향 → 다음 노드” 형태의 순차적 삼중항과 거리·방위 정보를 결합해 인간의 정신지도 형성을 모방한다. SCC는 그래프 구조를 자연어로 서술해 이미지와 텍스트 사이의 의미적 격차를 메운다. 이러한 데이터는 저비용·고확장성을 갖으며, 기존 QA‑형식 데이터와 달리 시야 밖의 도시 토폴로지를 학습하도록 강제한다.

학습 단계는 두 단계로 설계된다. 1단계에서는 SRP와 이미지·텍스트를 이용해 지시‑기반 대조 학습(infoNCE)으로 기본 시각‑언어 정렬을 유지하면서 초기 공간 인식을 주입한다. 2단계에서는 그래프 인코더(노드·엣지·위치 임베딩)를 도입해 서브그래프 전체를 모델에 통합하고, LoRA 파라미터를 통해 기존 VLM 백본(Qwen2‑VL, Qwen2.5‑VL, Phi‑3‑Vision, LLaVA‑Mistral)과 안정적으로 결합한다. 두 단계의 점진적 정합은 대규모 사전학습 파라미터가 급격한 분포 변화를 겪지 않게 하여 수렴성을 높인다.

UGBench는 임베딩 기반 순위 방식을 채택해, 단일 모달(이미지) 혹은 그래프‑보강 입력을 제로샷으로 평가한다. 지리 위치 순위에서는 이미지와 그래프를 동시에 활용해 실제 좌표와의 거리 차이를 최소화하고, 이미지 검색에서는 공간 정보가 포함된 임베딩이 시각적 유사도만을 넘어 거리·연결성을 반영한다. 도시 인식 과제에서는 “우울함”, “활기” 등 정서적 라벨을 그래프 맥락과 연계해 평가하고, 공간 정합에서는 질문에 대한 그래프 기반 경로 추론 정확도를 측정한다.

실험 결과, Qwen2.5‑VL‑7B 기반 UGE는 훈련 도시에서 이미지 검색 정확도를 44%, 지리 위치 순위 정확도를 30% 향상시켰으며, 미보유 도시에서도 각각 30%·22%의 개선을 기록했다. 이는 명시적 공간 정렬이 도시‑특화 멀티모달 임베딩에 큰 이점을 제공함을 입증한다.

비판적으로 보면, 데이터 구축은 OSM·오픈 시티 데이터에 크게 의존하므로 데이터 품질·갱신 주기에 민감하고, 저밀도 지역이나 비표준 도로망에서는 SRP 생성이 어려울 수 있다. 또한 LoRA 기반 파라미터 튜닝은 전체 모델을 재학습하는 것에 비해 표현력에 한계가 있을 가능성이 있다. 평가가 제로샷 순위에 국한돼 실제 응용(예: 경로 계획, 재난 대응)에서의 성능은 추가 실험이 필요하다. 향후 연구에서는 시간적 변동을 반영한 동적 그래프, 3D 라이다·점군과의 통합, 그리고 그래프 인코더의 구조적 다양성(예: GNN, Transformer‑based Graph) 등에 대한 탐색이 기대된다.