GPS 좌표 이해도 평가 대형 언어 모델의 지리적 추론 한계

초록

본 논문은 GPS 좌표와 실제 지리 지식을 결합한 57,800개의 샘플로 구성된 GPSBench를 제시한다. 17개의 과제로 나뉜 이 벤치마크를 통해 14개의 최신 대형 언어 모델(LLM)의 순수 좌표 연산 능력과 세계 지식 기반 추론 능력을 평가한다. 결과는 모델이 국가 수준의 위치 식별에는 비교적 강하지만, 도시 수준의 미세 위치 추정이나 구면 기하 연산에서는 크게 부족함을 보여준다. 또한 좌표 잡음에 대한 강인성을 확인해 모델이 단순 암기보다는 실제 좌표 이해를 일부 갖추고 있음을 시사한다. GPS 좌표를 활용한 다운스트림 작업 증강 효과와 파인튜닝 시 기하 연산 향상과 세계 지식 감소 사이의 트레이드오프도 보고한다.

상세 분석

GPSBench는 기존의 작은 규모 시각·그리드 기반 공간 추론 벤치마크와 달리, 전 지구적인 WGS84 좌표 체계 위에서 수행되는 실제 지리적 문제를 다룬다. 57,800개의 샘플은 GeoNames 데이터베이스에서 추출한 18,196개의 전 세계 도시를 기반으로 하며, 각 과제는 ‘랜드마크(L)’, ‘루트(R)’, ‘서베이(S)’, ‘기하학(G)’ 네 가지 인지 유형으로 구분된다. 순수 GPS 트랙(9개 과제)에서는 좌표 변환, 하버사인 거리 계산, 방위각, 구면 보간, 다각형 면적·경계 상자 등 순수 수학적 연산을 요구한다. 적용 트랙(8개 과제)에서는 좌표‑장소 매핑, 동일 이름 도시 구분, 대륙별 그룹화, 지형 분류 등 세계 지식과 결합된 추론을 요구한다.

실험에서는 GPT‑5.1, GPT‑4.1, Gemini‑2.5, Claude‑4.5, Qwen3, Mistral 등 14개 모델을 제로샷 프롬프트(시스템 프롬프트와 사용자 프롬프트만 사용)로 평가하였다. 수치형 과제는 평균 절대 백분율 오차(MAPE)를 1‑MAPE 형태로 변환해 정확도와 동일한 방향성으로 비교했으며, 선택형 과제는 정확도로 측정했다.

주요 결과는 다음과 같다. ① 모델들은 국가 수준의 위치 식별(예: “어느 나라에 해당 좌표가 속하는가”)에서 80 % 이상 높은 정확도를 보였지만, 도시 수준(예: “해당 좌표에 가장 가까운 도시는?”)에서는 50 % 이하로 급격히 떨어졌다. ② 구면 거리·방위각·다각형 면적 등 순수 기하 연산에서는 전체적으로 60 % 이하의 정확도를 기록했으며, 특히 복잡한 구면 보간·다각형 면적 계산에서 큰 오차가 발생했다. ③ 좌표에 작은 잡음(±0.01°)을 추가했을 때 성능 저하가 미미했으며, 이는 모델이 단순 텍스트 매칭이 아닌 좌표 값 자체를 어느 정도 이해하고 있음을 의미한다. ④ GPS 좌표를 추가 입력으로 사용해 기존 지리 QA 데이터셋을 보강하면 평균 정확도가 3‑5 % 상승했으며, 이는 좌표 정보가 모델의 세계 지식과 시너지를 낼 수 있음을 보여준다. ⑤ 파인튜닝 실험에서 기하 연산에 특화된 데이터로 미세조정하면 거리·방위각 정확도가 10 % 이상 향상되지만, 동시에 도시·국가 매핑 정확도가 5‑7 % 감소하는 트레이드오프가 관찰되었다.

이러한 결과는 현재 LLM이 “지도‑같은” 전역적 공간 인식을 완전하게 갖추지는 못했으며, 특히 구면 기하와 미세 위치 추론에서 한계가 있음을 시사한다. 또한, 모델이 훈련 데이터에 내재된 지리적 편향을 반영한다는 점(예: 서구·북미 중심의 정확도 우위)도 확인되었다. 따라서 실제 내비게이션, 로보틱스, GIS 자동화 등 실시간·오프라인 환경에서 LLM을 활용하려면 외부 GIS 툴과의 연계 혹은 전용 좌표 연산 모듈을 병행하는 것이 필요하다.