에이전트 기억 시스템의 메타 진화: MemEvolve와 EvolveLab

초록

MemEvolve는 에이전트 경험과 기억 구조를 동시에 진화시키는 메타‑진화 프레임워크이다. 기억을 인코딩·저장·검색·관리 네 단계로 모듈화한 EvolveLab 코드베이스에 12개의 기존 기억 시스템을 구현하고, 이들을 유전 알고리즘 기반의 이중 루프 최적화에 투입한다. 네 가지 벤치마크에서 기존 SmolAgent·Flash‑Searcher 대비 최대 17.06% 성능 향상을 보였으며, 다른 과제와 LLM 백본에 대한 전이 효과도 입증한다.

상세 분석

본 논문은 LLM 기반 에이전트가 지속적으로 자기 개선을 이루기 위해서는 기억 시스템 자체도 동적으로 적응해야 한다는 가설에서 출발한다. 기존 연구는 기억 구조를 고정하고 경험만을 축적하는 방식에 머물렀으며, 이는 과제별 최적의 기억 어포던스가 서로 다름에도 불구하고 보편적인 설계를 강요한다는 한계를 가진다. 이를 해결하기 위해 저자들은 두 가지 핵심 기여를 제시한다. 첫째, 기억 시스템을 Encode, Store, Retrieve, Manage 네 모듈로 분해한 EvolveLab이라는 통합 코드베이스를 구축하였다. 이 설계는 각 모듈을 독립적인 함수형 구현으로 표현함으로써, 기억 아키텍처를 ‘유전형(genotype)’으로 취급하고 교배·돌연변이 연산을 적용할 수 있게 한다. 논문 표 1에 정리된 12개의 대표 기억 시스템(Voyager, ExpeL, SkillWeaver 등)은 모두 이 네 모듈의 조합으로 재구현되었으며, 단일·다중 에이전트, 온라인·오프라인 업데이트, 단계별·궤적별 저장 등 다양한 속성을 명시한다.

둘째, MemEvolve라는 메타‑진화 프레임워크를 제안한다. MemEvolve는 이중 루프(bilevel) 최적화 구조를 갖는다. 내부 루프에서는 고정된 기억 구조 하에 에이전트가 연속적인 과제 스트림을 수행하며 경험을 축적하고, 외부 루프에서는 축적된 경험을 기반으로 기억 모듈들의 구현을 진화시킨다. 구체적으로, 외부 루프는 (1) 현재 기억 구조에 대한 성능 피드백(예: 최종 보상, LLM‑as‑Judge 점수)을 수집하고, (2) 유전 알고리즘(선택·교배·돌연변이) 혹은 강화학습 기반 메타‑옵티마이저를 이용해 새로운 기억 구조를 생성한다. 이렇게 생성된 구조는 다시 내부 루프에 투입되어 에이전트 학습 효율을 높이며, 향상된 에이전트는 더 질 높은 궤적을 제공해 다음 메타‑진화 단계의 피드백 품질을 개선한다는 긍정적 피드백 루프를 형성한다.

실험에서는 GAIA, xBench, DeepResearchBench, TaskCraft 등 네 개의 복합 벤치마크를 사용하였다. 각 벤치마크는 웹 탐색, 코드 생성, 과학 논문 요약, 복합 멀티스텝 플래닝 등 서로 다른 도메인을 포함한다. MemEvolve는 기존 SmolAgent·Flash‑Searcher 대비 평균 9.3%~17.1%의 절대 성능 향상을 기록했으며, 특히 TaskCraft에서 진화된 기억 구조를 다른 세 개 벤치마크와 GPT‑4‑Turbo 백본에 그대로 적용했을 때 2.0%~9.1%의 전이 이득을 보였다. 이는 기억 구조가 과제와 모델에 대해 일정 수준의 일반성을 유지함을 시사한다.

추가적인 **소거 실험(ablation)**에서는 (a) Encode 모듈만 교체했을 때와 (b) 전체 모듈을 동시에 진화했을 때의 성능 차이를 분석하였다. 전체 모듈을 동시에 진화할 경우가 가장 큰 이득을 보였으며, 특히 Manage 모듈(통합·망각 전략)의 변형이 장기 기억 효율에 결정적인 영향을 미치는 것으로 드러났다.

한계점으로는 (1) 메타‑진화 비용이 높은 편이며, 특히 대규모 LLM(예: GPT‑5‑Mini)과 장시간 온라인 학습 환경에서 GPU·TPU 자원 소모가 크게 증가한다는 점, (2) 현재는 12개의 사전 정의된 기억 아키텍처만을 탐색 대상으로 삼아 설계 공간이 제한적이며, 보다 자유로운 구조(예: 그래프 신경망 기반 기억) 탐색이 필요하다는 점을 언급한다. 향후 연구에서는 효율적인 메타‑학습 알고리즘 도입, 기억 구조의 연속적 확장성 보장, 그리고 인간 학습 이론과의 정량적 연결 고리 구축을 제안한다.

전반적으로 이 논문은 기억 시스템 자체를 진화 대상에 포함시킴으로써 에이전트의 자기 개선 능력을 한 단계 끌어올렸으며, 모듈화된 코드베이스(EvolveLab)를 공개함으로써 향후 연구 커뮤니티가 메타‑진화 실험을 재현·확장하기 위한 기반을 제공한다.