GIS클로우: 풀스택 지리공간 분석을 위한 오픈소스 LLM 기반 에이전트 시스템

본 논문은 GIS와 대형 언어 모델(LLM)의 결합을 통해 비전문가도 복잡한 지리공간 분석을 자동화할 수 있는 에이전트 시스템을 설계·구현하고, 그 성능을 체계적으로 평가한다. 기존 연구는 주로 벡터 데이터에 국한되었으며, ArcGIS·QGIS와 같은 폐쇄형 GIS 플랫폼에 의존하거나 단일 LLM(GPT‑4 등)만을 사용해 비교가 어려웠다. 이러한 한계를 극복하기 위해 저자들은 다음과 같은 핵심 설계를 제안한다. 1. **풀스택 오픈소스 스택**: GeoPandas, rasterio, scipy, scikit‑learn 등 파이썬 기반 GIS 라이브러리를 사전 로드하고, 변수·임포트가 지속되는 파이썬 샌드박스를 제공한다. 이를 통해 벡터(지오메트리 연산·공간 조인·버퍼), 래스터(밴드 연산·보간·지역통계), 표형(통계·머신러닝) 전 과정을 하나의 에이전트가 수행할 수 있다. 2. **모델‑아키텍처 독립성**: LLMEngine 인터페이스를 도입해 클라우드 API(GPT‑5.4, GPT‑4, GPT‑3.5)와 로컬 14B 모델(양자화 포함)을 동일한 파이프라인에 연결한다. 모델마다 출력 형식이 다를 경우 어댑터가 자동 정규화한다. 3. **프롬프트 엔지니어링**: - *Schema Analysis*: 데이터 스키마(컬럼명·타입·CRS·샘플) 검사를 최초 행동으로 강제해 LLM이 데이터 구조를 오해하는 것을 방지한다. - *Package Constraint*: arcpy·ArcGIS 등 폐쇄형 패키지 사용을 금지하고, 오픈소스 대체 라이브러리 사용을 명시한다. - *Domain Knowledge Injection*: 사용자가 제공하는 고수준 워크플로우·도메인 지식을 프롬프트에 삽입해 LLM이 구체적인 구현 단계에서 놓치는 부분을 보완한다. 4. **두 가지 에이전트 아키텍처**: - *Single Agent (SA)*: ReAct 패러다임을 따르며 Thought → Action → Observation을 반복하고, ErrorMemory가 오류 패턴을 저장해 재시도를 방지한다. - *Dual Agent (DA)*: Planner가 작업을 분해하고 Executor가 실행, 필요 시 Replanner가 재계획하는 Plan‑Execute‑Replan 파이프라인이다. 5. **실험 설계 및 결과**: 6가지 LLM × 2가지 아키텍처 × 50개 GeoAnalystBench 태스크(벡터·래스터·표형 혼합) = 600 조합을 평가했다. 주요 결과는 다음과 같다. - 최고 성공률 96% (GPT‑5.4 + SA) 달성, 평균 84% 이상. - 강력한 모델일수록 SA가 더 효율적이며, DA는 오버헤드로 인해 성능이 저하된다. 반면, 약한 14B 로컬 모델에서는 DA가 3~5% 정도의 개선을 보인다. - “아키텍처‑능력 매칭 원칙”을 제시, 모델 성능에 따라 적절한 복잡도 선택이 필요함을 실증. 6. **3‑계층 평가 프로토콜**: - *코드 구조 분석*: CodeBLEU와 GIS API 호출 F1을 결합해 코드 품질을 측정. - *추론 과정 평가*: 임베딩 유사도와 LLM‑as‑Judge를 활용해 자연어 추론과 코드 사이의 일관성을 검증. - *타입별 출력 검증*: 벡터 겹침·버퍼·공간 조인 결과, 래스터 지역통계, 표형 통계·머신러닝 정확도를 각각 검증해 기능 동등성 문제를 해결한다. 7. **엔지니어링 인사이트**: - 데이터 경로·API 상태 관리와 같은 인프라 레벨 버그가 중간 단계 성공률을 400%까지 끌어올릴 수 있음을 발견. - 파라미터 스케일링보다 도메인‑특화 파인튜닝이 비용 효율적으로 성능을 향상시킨다. - 오픈소스 14B 모델이 클라우드 플래그십 대비 30~40% 저비용으로 동등 수준의 성공률을 제공한다는 실용적 결론을 제시한다. 8. **시스템 공개**: 코드와 평가 파이프라인을 모두 오픈소스로 공개해 재현성을 보장하고, 향후 GIS‑LLM 연구의 표준 베이스가 될 것을 목표한다. 요약하면, GIS클로우는 데이터 유형·플랫폼·평가의 세 가지 제약을 동시에 해소한 최초의 풀스택 오픈소스 GIS‑LLM 에이전트 프레임워크이며, 광범위한 실험을 통해 모델·아키텍처·프롬프트 설계가 GIS 자동화 성능에 미치는 영향을 정량적으로 밝혀냈다. 이는 GIS 분야에서 LLM 활용을 가속화하고, 비용 효율적인 현장 배포를 가능하게 하는 중요한 전환점이 될 것이다.