NeSy‑Route: 원격탐사를 위한 신경‑기호 기반 경로계획 벤치마크

본 논문은 원격탐사 이미지 기반의 제약 경로 계획을 평가하기 위한 대규모 신경‑기호 벤치마크인 NeSy‑Route를 제안한다. 기존 원격탐사 벤치마크는 주로 의미 분할, 객체 검출, 시각‑질의응답 등 인식·추론 수준에 머물러 있었으며, 실제 현장에서 요구되는 “시작점에서 목표점까지 안전하고 비용 효율적인 경로를 생성”하는 계획 능력을 측정하지 못했다. 이러한 격차를 메우기 위해 저자들은 세 가지 주요 기여를 한다. 첫째, 자동화된 데이터 생성 프레임워크를 구축했다. OpenEarthMap에서 제공하는 고해상도 의미 마스크를 활용해 8가지 토지 유형을 정의하고, 각 유형에 대해 ‘항상 통과 가능(TA)’, ‘조건부 통과 가능(TC)’, ‘통과 불가(TN)’라는 세 단계의 통과 가능성을 부여하였다. 이를 기반으로 보행자, 자동차, 드론, 보트 네 종류의 에이전트별 통과 가능 행렬(V_trav)과 네 가지 목표(최단, 가장 빠름, 가장 안전, 가장 편안)마다의 우선순위 랭킹(V_pref)을 명시하였다. 둘째, 지식 베이스(KB)와 대형 언어 모델을 결합해 텍스트 질의를 자동 합성하고 검증하는 파이프라인을 설계했다. 구성 튜플 σ=(에이전트, 임무, 시작/목표 토지 유형, 허용 토지 유형)를 샘플링해 DeepSeek‑V3.2로 자연어 질의를 생성하고, Gemini‑3‑Pro를 이용해 생성된 질의가 KB 정의와 일치하는지 자체 검증한다. 이렇게 생성된 질의는 텍스트‑이미지 정렬 단계에서 이미지 내 영역과 정확히 매핑되어야 하므로, 형태소 침식 및 선택적 형태소 필터링을 통해 순수한 시각 영역을 추출하고, 각 영역에 고유 ID를 부여한다. 셋째, 제약 A* 탐색 알고리즘을 통해 최적 경로를 생성한다. 지역‑레벨 연결 그래프 G=(V,E)를 구축하고, KB 기반 통과 가능 행렬로 인접 행렬을 마스킹해 비통과 가능 영역을 차단한다. 비용 지도 W(p)는 통과 가능 여부와 우선순위에 따라 무한대 혹은 가중치를 부여하고, Euclidean 거리 기반 휴리스틱 h(p)를 사용해 admissibility와 consistency를 보장한다. 이 과정에서 생성된 경로 τ*는 수학적으로 최적임이 증명된다. NeSy‑Route는 10,821개의 제약 경로 계획 샘플을 포함하며, 이는 기존 가장 큰 벤치마크보다 약 10배 규모이다. 평가 프로토콜은 세 단계로 구성된다. 1) 텍스트 제약 이해 단계에서는 모델이 질의에서 V_trav와 V_pref를 정확히 추출하는지 검사한다. 2) 텍스트‑이미지 정렬 단계에서는 추출된 벡터를 이미지 내 실제 영역에 매핑하고, 비용 지도 생성에 활용되는지를 검증한다. 3) 제약 경로 계획 단계에서는 시작·목표 좌표 사이의 최적 경로를 모델이 출력하고, 기호적 평가자와 비교해 정확도와 비용 차이를 측정한다. 다양한 최신 MLLM(Gemini‑3‑Pro, GPT‑5.1, Qwen3‑VL‑Plus, LLaVA‑One Vision 등)을 실험한 결과, 텍스트 제약 이해와 이미지 정렬에서는 평균 70% 이하의 정확도, 실제 경로 생성에서는 30% 미만의 최적 경로 도달률을 기록했다. 이는 현재 MLLM이 고해상도 원격탐사 이미지에서 복합적인 기호‑시각 정보를 통합해 계획을 수행하는 능력이 크게 부족함을 의미한다. 저자들은 이러한 한계를 극복하기 위한 방향성을 제시한다. (1) 토지 유형별 물리적 특성을 보다 정밀히 모델링하고, (2) 대규모 지도 기반 강화학습이나 심볼릭 프롬프트 엔지니어링을 도입해 계획 단계에서 명시적 제약을 강화하며, (3) 신경‑기호 혼합 아키텍처를 설계해 기호적 검증과 신경망 기반 추론을 긴밀히 결합한다. 결론적으로 NeSy‑Route는 원격탐사 분야에서 “인식 → 추론 → 계획” 전 과정을 체계적으로 측정할 수 있는 최초의 대규모 벤치마크이며, 향후 재난 구호, 자원 배분, 생태 조사 등 복합적인 현장 업무에 적용 가능한 강력한 MLLM 개발을 촉진할 중요한 기반을 제공한다.