경험 기반 다중 에이전트로 훈련 없이 지구 관측을 이해한다

초록

GeoEvolver는 파라미터 업데이트 없이 LLM 에이전트가 지구 관측(EO) 도구 사용 경험을 축적하도록 설계된 경험‑주도형 다중 에이전트 시스템이다. 질의를 독립적인 하위 목표로 분해하고, 각 목표별로 다양한 도구‑파라미터 조합을 탐색한다. 성공·실패 패턴을 메모리 뱅크에 저장해 인‑컨텍스트 시연으로 재활용함으로써, 동일 도메인에서 점진적으로 실행 정확도를 높인다. 세 가지 EO 벤치마크에서 평균 12 %의 성능 향상을 달성했다.

상세 분석

GeoEvolver의 핵심 혁신은 “경험‑주도 루프”를 통해 파라미터 미조정 상태에서 도구‑레벨 전문성을 획득한다는 점이다. 기존 LLM‑기반 에이전트는 고수준 계획에는 강하지만, 좌표계, 해상도, 시간 범위 등 물리적 제약을 만족시키는 저수준 도구 설정에 취약했다. 이를 해결하기 위해 저자는 (1) 질의를 명시적 입·출력 인터페이스와 의존성을 가진 N개의 하위 목표로 분해하는 분해 원칙을 도입했다. 각 하위 목표는 독립적인 서브‑에이전트에게 할당되어 병렬 실행이 가능하며, 실패 원인 추적이 용이하도록 설계되었다.

(2) 누적 원칙에서는 동일 질의에 대해 K개의 탐색 변형을 동시에 실행하고, 각 변형은 도구 파라미터를 무작위 혹은 전략적 변형으로 시도한다. 실행 중 발생한 오류 메시지, 로그, 형식 불일치 등 세밀한 피드백을 수집해 “성공 여부(Y)와 유효성 신호(v)”를 생성한다. 이러한 고빈도 상호작용은 도메인‑특화된 실행 규칙을 빠르게 탐색하게 한다.

(3) 자기‑진화 원칙은 수집된 경험을 두 단계 메모리 구조에 정제한다. 전역 메모리 뱅크는 임베딩 기반 유사도 검색을 통해 관련 워크플로우 템플릿·실패 패턴을 추출하고, 이를 전략 컨텍스트(c)로 집계한다. 로컬 워킹 메모리는 에피소드 내부의 상호작용을 압축 저장해 컨텍스트 길이 제한을 회피한다. 특히, 성공 사례와 실패 원인을 대조 학습 방식으로 동시에 저장함으로써, “무엇이 잘 작동했는가”와 “왜 실패했는가”를 모두 인‑컨텍스트 시연에 활용한다.

실험에서는 세 가지 도구‑통합 EO 벤치마크(예: TVDI 계산, 연간 평균, 선형 추세 분석)를 대상으로, GPT‑4, Claude‑2, Llama‑2 등 다양한 LLM 백본에 적용하였다. 평균 12 %의 성공률 상승은 특히 하위 목표별 성공 확률(pₙ)이 메모리 기반 프라임으로 재사용될 때 가장 크게 나타났다. 이는 파라미터 업데이트 없이도 도메인‑특화된 “실행 groundedness”가 강화된 결과로 해석된다.

또한, 저자는 기존 MAS가 고정된 워크플로우에 의존해 새로운 도메인에 취약한 점을 지적하고, GeoEvolver가 동적 하위 목표 할당과 경험 기반 메모리 업데이트를 통해 이러한 한계를 극복한다는 점을 강조한다. 전체적으로 이 논문은 “도구‑레벨 경험을 메모리로 축적하고, 이를 인‑컨텍스트 프롬프트에 삽입함으로써 LLM 에이전트가 스스로 전문성을 진화시킨다”는 새로운 패러다임을 제시한다.