GeoRC: 인간 전문가와 VLM의 지리 추론 격차를 밝히다

초록

GeoRC는 GeoGuessr 이미지에 대한 인간 전문가의 800개 추론 체인을 500개 사진에 대해 수집·정제한 최초 벤치마크이다. 논문은 VLM이 위치 예측에서는 인간 수준에 근접하지만, 세부 시각 증거를 기반으로 한 설명(추론 체인)에서는 심각히 부족함을 실험을 통해 입증한다. LLM‑as‑judge와 VLM‑as‑judge 두 평가 방식을 제안하고, Qwen 3가 인간 채점과 가장 높은 상관성을 보였으며, 오픈‑소스 VLM은 거의 무능함을 보인다.

상세 분석

본 논문은 두 가지 핵심 연구 질문을 제시한다. 첫째, “VLM이 사진의 전역 위치를 정확히 맞출 수 있는가?” 둘째, “그 위치 추론 과정을 인간이 이해할 수 있는 형태로 설명할 수 있는가?” 이를 검증하기 위해 저자들은 전 세계 100개 이상 국가의 Google Street View 이미지를 활용한 GeoGuessr 챌린지를 선정하고, 세계 챔피언을 포함한 3명의 최고 수준 플레이어에게 800개의 고품질 추론 체인을 작성하도록 의뢰했다. 각 추론 체인은 인프라, 건축, 식생, 기후, 지질, 문화 등 최대 세 개의 카테고리로 라벨링되었으며, ‘코스톤’이라 부르는 핵심 증거 문장을 포함한다.

데이터셋 구축 과정에서 중요한 설계 선택은 “비포괄적(non‑exhaustive)” 접근이다. 즉, 전문가들은 전체 장면을 모두 열거하기보다, 위치를 판별하는 데 결정적인 소수의 특징만을 선택한다. 이는 인간이 실제로 수행하는 ‘핵심‑특징 기반’ 추론과 일치한다. 또한, 각 이미지에 대해 5개의 서로 다른 위치가 제공돼, 모델이 다중 후보 상황에서도 일관된 설명을 생성하도록 유도한다.

평가 방법으로는 세 가지 자동 채점 방식을 도입했다. (1) One‑to‑All LLM‑as‑Judge: 후보 체인의 각 문장을 전체 정답 체인과 비교해 0‑100 점의 유사도 점수를 산출하고, 정밀도·재현율을 기반으로 F1을 계산한다. (2) Key‑Points Guided LLM‑as‑Judge: 후보 문장을 핵심 포인트(key point)로 압축하고, 문장 임베딩 간 코사인 유사도로 매칭해 인간 채점과의 상관성을 높인다. (3) VLM‑as‑Judge: 이미지 자체를 입력받아 각 문장의 시각적 근거 여부를 판단하게 함으로써 ‘환각(hallucination)’을 직접 탐지한다.

실험 결과는 두드러진 격차를 보여준다. Gemini·GPT‑5와 같은 폐쇄형 대형 VLM은 위치 예측 정확도에서 인간 수준에 가깝지만, 추론 체인 F1 점수는 인간 평균(≈0.78)보다 크게 낮다(≈0.42). 오픈‑소스 LLM·VLM(예: Llama‑2‑70B, Qwen‑2.5‑VL)은 거의 베이스라인(oracle + hallucination) 수준에 머물며, 정밀도·재현율 모두 0.2 이하를 기록한다. 특히, 대부분의 오류 유형은 (i) 시각적 세부사항 누락, (ii) 잘못된 속성(예: 잘못된 도로 표지판 형태) 삽입, (iii) 전혀 존재하지 않는 객체(‘phantom writing’)를 언급하는 환각이다.

채점 모델 중 Qwen 3 LLM‑as‑Judge가 인간 채점과 가장 높은 피어슨 상관계수(0.71)를 보였으며, 이는 LLM이 복잡한 텍스트 매칭 작업에 강점을 가짐을 시사한다. 반면 VLM‑as‑Judge는 이미지‑텍스트 정합성 검증에 유용하지만, 현재 모델들의 시각적 세밀함 부족으로 인해 전체 점수 향상에 크게 기여하지 못한다.

결론적으로, 논문은 “위치 예측 정확도와 설명 가능성은 별개의 능력”임을 입증한다. 현재 VLM은 고해상도 이미지에서 미세한 인프라·식생·표지판 등 디테일을 포착하지 못해, 인간 수준의 추론 체인을 생성하지 못한다. 이는 향후 VLM 설계 시 (1) 고해상도 시각 특징 추출 강화, (2) 멀티모달 정밀 정합 학습, (3) 인간 전문가의 추론 구조를 모방한 프롬프트 엔지니어링이 필요함을 강조한다.