지리와 ChatGPT 생성형 AI가 지리를 어떻게 표현하고 추론하는가

초록

본 논문은 ChatGPT와 유사한 생성형 AI가 지리 정보를 어떻게 재현하고 편향·취약성을 드러내는지를 세 가지 탐색적 사례(vignette)를 통해 조사한다. 기본값(default) 형성, 작업 조합 시 발생하는 분포 이동, 그리고 사실 회상과 실제 적용 능력 사이의 차이를 분석함으로써 AI가 지리적 세계를 어떻게 “구성”하고, 그 결과가 사용자·사회에 미칠 영향을 조명한다.

상세 분석

이 연구는 크게 세 가지 핵심 질문을 제기한다. 첫째, 대형 언어 모델이 특정 지리적 개념에 대해 강력한 기본값을 형성하고, 프롬프트의 사소한 문법 변형에 얼마나 취약한가이다. 저자들은 “Name a country, please.”와 “Please name a country.”라는 두 문장을 200번씩 GPT‑5.1에 입력했을 때, 전자는 일본을 168번, 후자는 캐나다를 104번 반환하는 등 온도(temperature)와 프롬프트 형태에 따라 출력이 급격히 달라짐을 보여준다. 이를 수식(1)으로 일반화해 ‘기본값 강도(d_s)’를 정의하고, 높은 온도에서야 비기본값이 등장하도록 하는 방식으로 정량화한다.

둘째, 개별 작업이 무해해 보여도 복합적으로 사용될 때 새로운 분포 이동이 발생한다는 점이다. 저자들은 GPT‑4o를 이용해 로스앤젤레스 지역의 가상 인물 50명을 8번 생성하고, 실제 인구통계와 비교했다. 연령·직업은 과대표현됐으며, 이후 이 인물들을 범죄 소설의 배경으로 재활용했을 때, 인종별 범죄 기록 할당이 실제 체포 통계와 크게 달랐음이 확인되었다. 이는 ‘깊은 디버깅’이 단순히 표면적 편향을 제거하는 수준에 머물면, 복합 작업 흐름에서 숨은 편향이 재생성될 위험을 시사한다.

셋째, 모델이 이론적 사실을 ‘알고’ 있다고 주장하더라도, 이를 실제 상황에 적용하는 능력은 제한적이다. 도시 인구 규모가 Zipf 법칙을 따른다는 점을 물었을 때는 정확히 설명했지만, 가상의 국가 ‘Novaterra’에 30개의 도시 인구를 할당하도록 요구하면 대부분 모델이 전체 인구 제약을 무시하고 비현실적인 수치를 제시했다. 이는 지식 회상과 지식 활용 사이의 격차를 드러내며, AI가 “이해”한다는 표현을 남용하기 쉬운 함정을 경고한다.

전체적으로 논문은 지리적 표현의 ‘표현성’(representation)과 ‘정확성’(accuracy)을 별개로 다루어야 함을 강조한다. 기본값 편향, 프롬프트 민감도, 작업 조합 시 발생하는 숨은 분포 이동, 그리고 이론 적용 능력의 제한은 모두 AI가 실제 사회·경제 의사결정에 활용될 때 고려해야 할 핵심 위험 요소다. 향후 연구는 이러한 현상을 정량화하고, 지리적 다양성을 보장하는 평가 프레임워크와 디버깅 기법을 개발하는 방향으로 나아가야 한다.