지능형 도시공원 개발 모니터링을 위한 다중모달 LLM 에이전트 프레임워크

초록

본 논문은 도시공원 개발 과정을 고도화된 의미 이해와 추론이 가능한 대형 언어 모델(LLM)을 활용해 다중모달 데이터를 통합·분석하는 에이전트 프레임워크를 제안한다. 수평·수직 데이터 정렬 메커니즘과 도메인 전용 툴킷을 도입해 기존 원격탐사 기반 변화 탐지의 한계를 극복하고, 정량·정성 분석을 동시에 수행한다. 실험 결과, 제안 모델은 GPT‑4o 및 기존 LangChain 에이전트보다 전반적인 정확도와 일관성이 크게 향상되었다.

상세 분석

이 연구는 도시공원 개발 모니터링이라는 복합 문제에 LLM 기반 에이전트를 적용함으로써 두 가지 핵심 기술적 난관을 해결한다. 첫째, 다중모달 데이터(고해상도 위성영상, GIS 벡터, CSV 형태의 사회경제 데이터, LiDAR 등)의 시공간 정합성을 확보하기 위해 ‘수평 데이터 정렬’과 ‘수직 데이터 정렬’이라는 이중 정렬 메커니즘을 설계했다. 수평 정렬은 서로 다른 해상도·주기성을 가진 데이터들을 동일 좌표계로 변환해 공간적 일치를 보장하고, 수직 정렬은 각 데이터 요소에 전역 고유 식별자를 부여해 전처리·분석·후처리 단계 전반에 걸친 데이터 흐름과 변형 이력을 추적한다. 이러한 설계는 데이터 라인리지와 재현성을 크게 향상시켜, 복합 질의에 대한 일관된 응답을 가능하게 한다.

둘째, LLM의 ‘환각(hallucination)’ 문제를 완화하기 위해 도메인 특화 툴킷을 구축하였다. 예를 들어 CSV 컬럼 선택기, GIS 좌표 변환 모듈, LiDAR‑to‑이미지 변환 파이프라인 등은 각각의 모달리티에 맞는 전처리·분석 로직을 외부 도구 형태로 제공하고, 에이전트는 프롬프트 내에서 적절한 툴을 호출한다. 이는 LLM이 순수 텍스트 기반 추론에 의존하는 것을 넘어, 실제 데이터 기반 연산을 수행하도록 유도함으로써 결과의 신뢰성을 높인다.

실험에서는 뉴욕시 오픈데이터를 활용해 기본·정성·정량 3단계 질의 집합을 구성하고, 제안 에이전트를 GPT‑4o 기반 백엔드와 결합해 평가했다. 비교 대상으로는 vanilla GPT‑4o, LangChain의 SQL·Pandas·CSV 에이전트, 단일 모달리티 CSV 전용 에이전트를 사용하였다. 결과는 제안 모델이 모든 수준의 질의에서 정확히 답변을 도출했으며, 특히 다중모달 연계가 필요한 정량 질의(예: 시점별 토지 이용 비율 변화)에서 기존 모델은 토큰 제한·데이터 라인리지 부재 등으로 오류를 범한 반면, 제안 모델은 정렬 메커니즘과 툴킷 덕분에 일관된 답변을 제공했다.

이 논문의 주요 기여는 (1) 도시공원 개발 모니터링에 특화된 다중모달 LLM 에이전트 프레임워크, (2) 데이터 일관성을 보장하는 수평·수직 정렬 메커니즘, (3) 도메인 툴킷을 통한 환각 억제이다. 기술적으로는 LLM과 전통 GIS·리모트센싱 파이프라인을 자연스럽게 연결함으로써, 기존 딥러닝 기반 변화 탐지 모델이 제공하지 못했던 고차원 의미 분석과 의사결정 지원을 가능하게 한다. 향후 확장성 측면에서, 추가적인 모달리티(예: 소셜 미디어 이미지, 실시간 IoT 센서)와 더 정교한 툴 체인을 연동하면 스마트 시티 전반의 자원 최적화와 정책 평가에 활용될 여지가 크다.