MilSCORE 장기 컨텍스트 지리공간 추론 및 계획 벤치마크

초록

MilSCORE는 군사 작전 시나리오를 기반으로 한 장기 컨텍스트와 다중 모달 정보를 요구하는 지리공간 추론·계획 벤치마크이다. 100여 개의 전문가가 만든 다중 홉 질문과 50개의 지도·문서·GeoJSON 데이터를 제공하며, LLM·VLM의 전술·공간·전략 통합 능력을 평가한다. 실험 결과 현재 최신 모델들은 특히 긴 컨텍스트와 복합 소스 통합에서 큰 한계를 보이며, 향후 연구 과제로 남는다.

상세 분석

MilSCORE는 기존 지리공간 AI 벤치마크와 달리 군사 작전 명령서(OPORD)와 코스‑오브‑액션(COA) 지도, 구조화된 GeoJSON 데이터를 동시에 활용한다는 점에서 독창적이다. 데이터는 3단계 난이도 티어와 7가지 공간‑분석 카테고리(위치 파악, 크기·형태·분포 측정, 관계 파악, 최적 위치·경로 탐색, 패턴 탐지·정량화, 예측, 해결 불가능 과제)로 체계화돼 있다. 이는 단순 이미지‑텍스트 매칭을 넘어, 장기적인 전략적 의사결정 과정(MDMP)을 모델이 재현하도록 설계된 것이다.

논문은 먼저 멀티모달 데이터 파이프라인을 구축하고, 전문가가 질문·정답·난이도·카테고리를 라벨링하는 과정을 상세히 기술한다. 특히 질문은 다중 홉(multi‑hop) 구조를 갖으며, 티어 3에서는 서로 다른 소스(지도, 텍스트, 구조화 데이터)를 교차 검증해 가며 계획을 수립해야 한다. 이러한 설계는 현재 LLM이 직면한 ‘컨텍스트 제한’과 ‘환각(hallucination)’ 문제를 의도적으로 드러내는 역할을 한다.

실험에서는 GPT‑4o, Claude Sonnet 4.5, Gemini 2.5 Flash, Claude Haiku 등 최신 VLM을 60문제 샘플에 적용했다. 평가 프로토콜은 툴‑사용 체인‑오브‑생각(Chain‑of‑Thought) 에이전트를 활용해 단계별 증거 수집·추론을 수행하고, 최종 답안을 전문가 기준과 비교해 0‑3 점으로 채점한다. 결과는 GPT‑4o가 58.3%의 전체 정확도로 가장 우수했지만, 티어 3(교차‑소스 다중 홉)에서는 75%까지 상승한 반면, 다른 모델은 0%~30% 수준에 머물렀다. 이는 복잡한 증거 탐색과 도구 호출을 효율적으로 관리할 수 있는 모델이 장기 컨텍스트 작업에서 유리함을 보여준다.

또한, 모델들이 ‘최대 반복 횟수 초과’ 오류를 자주 일으키는 점을 지적한다. 이는 현재 API 제한과 토큰 비용 때문에 10단계 제한을 두었음에도 불구하고, 긴 설명·추론 과정이 소모되어 실제 증거 수집 단계에 도달하지 못하는 현상이다. 따라서 향후 연구는 효율적인 증거 선택·요약 메커니즘, 동적 컨텍스트 윈도우 확장, 그리고 도구 사용 최적화가 필요하다.

MilSCORE는 군사·재난·대규모 인프라 관리 등 고위험·고복잡도 시나리오에 LLM을 적용하기 위한 실험적 시험대로서, 장기 컨텍스트와 다중 모달 통합 능력을 정량화하는 중요한 기준점을 제공한다.