LLM 에이전트 계획을 위한 단계별 정교 메모리 프레임워크

초록

본 논문은 대형 언어 모델(LLM) 기반 에이전트가 복잡한 장기 계획을 수행할 때, 기억 메커니즘의 한계를 극복하기 위해 ‘Coarse‑to‑Fine Grounded Memory (CFGM)’라는 새로운 프레임워크를 제안한다. 환경 정보를 거친 단계별(거친‑중간‑세밀) 메모리로 변환하고, 이를 LLM 내부 지식과 결합해 경험 수집, 팁 추출, 실시간 자기‑QA 반영을 수행함으로써 계획의 효율성과 적응성을 크게 향상시킨다.

상세 분석

CFGM은 크게 세 단계의 메모리 그라운딩을 통해 LLM 에이전트의 계획 능력을 강화한다. 첫 번째 단계인 ‘Coarse‑grained Focus‑Driven Experience Collection’에서는 환경 설명과 수동 제공된 몇 개의 시범 트래젝터리를 LLM에게 입력해, 모델이 스스로 환경의 핵심 개념(예: 목표 객체, 제약 조건, 주요 상호작용 포인트 등)을 추출한다. 이러한 거친 초점 포인트는 탐색 정책에 직접 삽입되어, 무작위 탐색이 아닌 목표 지향적 탐색을 유도한다. 결과적으로 수집되는 트래젝터리의 품질이 크게 향상되며, 성공·실패 사례 모두가 메모리 풀에 저장된다.

두 번째 단계인 ‘Hybrid‑grained Experience‑wise Tips Extraction’에서는 동일 과제에 대한 성공·실패 트래젝터리를 비교 분석한다. LLM은 ‘LLM Tips’ 프롬프트를 통해 두 트래젝터리 사이의 차이를 정량·정성적으로 파악하고, 이를 ‘하이브리드‑그레인 팁’이라는 형태로 정리한다. 여기에는 (1) 고수준 원칙(예: “문을 열기 전에는 손잡이를 확인한다”), (2) 중간 수준 전략(예: “키가 없을 경우, 주변 물체를 활용해 잠금을 해제한다”), (3) 세밀한 실행 기술(예: “좌표 (x, y)에서 정확히 0.3초간 클릭”)이 모두 포함된다. 이러한 팁은 과제별 사전 지식 사전(dictionary)으로 저장돼, 추후 검색 시 컨텍스트와 함께 제공된다.

세 번째 단계인 ‘Fine‑grained Trajectory Information Adaptive Planning’은 온라인 추론 중 발생하는 예외 상황에 대응한다. 에이전트는 현재 관찰을 실시간으로 모니터링하고, 사전에 정의된 ‘이상 감지 트리거’를 통해 비정상적인 상태를 포착한다. 감지되면 ‘Key Information Extraction (KIE)’ 모듈이 현재 트래젝터리와 환경 상태를 세밀하게 파싱해 핵심 변수(예: 위치 오차, 자원 부족, 예상되지 않은 장애물)를 추출한다. 이후 ‘Key Information Reflection (KIR)’ 모듈이 이 변수와 저장된 성공 트래젝터리, 하이브리드 팁을 결합해 자기‑QA 형태의 질문(“현재 위치에서 목표 물체까지의 최단 경로는 무엇인가?”)을 생성하고, LLM이 답변을 도출한다. 최종적으로 얻어진 교정 플랜은 현재 행동 시퀀스에 삽입되어, 에이전트가 즉시 경로를 수정하거나 새로운 행동을 선택하도록 한다.

CFGM의 핵심 혁신은 기억을 단일 수준(예: 전체 트래젝터리)에서 다중 수준(거친‑중간‑세밀)으로 전이시킴으로써, (1) 경험 수집 단계에서 LLM 자체가 탐색 목표를 정의해 데이터 효율성을 높이고, (2) 팁 추출 단계에서 성공·실패 사례를 동시에 활용해 지식의 폭과 깊이를 확대하며, (3) 실시간 반영 단계에서 세밀한 상황 인식을 기반으로 동적 자기‑반성(self‑QA)을 수행한다는 점이다. 실험 결과는 AlfWorld, WebShop, ScienceWorld 등 세 가지 베이스라인보다 평균 12%~18%의 성공률 향상을 보였으며, 특히 환경 변동이 큰 시나리오에서 기존 메모리 기반 방법보다 안정적인 성능을 유지했다. 또한, CFGM은 폐쇄형 LLM(예: GPT‑4)과도 호환 가능하도록 설계돼, 모델 파라미터를 직접 튜닝하지 않고도 메모리 강화 효과를 얻을 수 있다.

전반적으로 CFGM은 LLM 에이전트가 “기억을 어떻게 구조화하고 활용하느냐”에 대한 새로운 패러다임을 제시한다. 기억을 다중 그라운딩 레이어로 변환하고, 이를 LLM 내부 지식과 연계함으로써, 에이전트는 더 적은 탐색 비용으로 풍부하고 다양화된 경험을 축적하고, 실시간으로 발생하는 불확실성에 유연하게 대응할 수 있다. 이는 향후 복합적인 물리·디지털 환경에서 인간 수준의 자율성을 목표로 하는 LLM 기반 로봇, 가상 비서, 자동화된 연구 도구 등에 적용 가능성이 크다.