에이멤 다중 에이전트 기반 에피소드 기억 재구성

초록

E‑mem은 메모리 전처리의 파괴적 비맥락화를 극복하기 위해, 여러 소형 언어 모델 에이전트가 원시 에피소드 컨텍스트를 보존하고, 마스터 에이전트가 전역 계획을 조정하는 계층형 구조를 제안한다. 라우팅 메커니즘으로 관련 메모리 조각을 선택하고, 각 보조 에이전트가 해당 조각을 “재경험”하며 로컬 증거를 생성해 마스터에게 전달한다. LoCoMo와 HotpotQA 벤치마크에서 F1 점수 54% 이상, 기존 GAM 대비 7.75% 향상과 토큰 사용량 70% 절감을 달성했다.

상세 분석

E‑mem 논문은 LLM 기반 에이전트가 장기 추론(System 2) 단계에서 직면하는 “Lost‑in‑the‑Middle” 문제를 메모리 구조 설계 차원에서 접근한다. 기존 방법은 텍스트를 임베딩이나 그래프 같은 고정 구조로 압축해 저장함으로써 순차적 의존성을 손상시키고, 이는 다단계 논증이나 시간적 추론에서 치명적인 오류를 초래한다. 저자들은 이러한 비맥락화를 ‘파괴적 비맥락화’라 명명하고, 인간의 기억이 에피소드 전체를 재경험하는 방식(engram)에서 영감을 받아 ‘에피소드 컨텍스트 재구성(Episodic Context Reconstruction)’이라는 개념을 도입한다.

핵심 설계는 이질적 계층형 마스터‑어시스턴트 구조이다. 마스터 에이전트는 고수준 플래닝과 증거 통합만 담당하고, 실제 원시 텍스트 보관 및 로컬 추론은 수백 개의 소형 언어 모델(Assistant)에게 위임한다. 각 Assistant는 두 가지 표현을 유지한다. 하나는 원시 토큰 시퀀스인 ‘Episodic Context(E_i)’이며, 다른 하나는 라우팅을 위한 요약 ‘s_i’이다. 라우팅 메커니즘은 (1) 전역 정렬(Global Alignment) – 요약 기반 코사인 유사도, (2) 의미 연관(Semantic Association) – 원시 임베딩 유사도, (3) 심볼 트리거(Symbolic Trigger) – BM25 같은 키워드 매칭을 동시에 활용한다. 이 다중 경로 활성화는 단일 경로가 놓칠 수 있는 미세 의미나 정확한 엔티티를 보완한다.

메모리 구축 단계에서는 슬라이딩 윈도우와 오버랩을 적용해 연속 토큰 흐름을 손실 없이 청크(E_i)로 분할한다. 새로운 토큰이 들어오면 현재 활성 Assistant에 바로 추가하고, 윈도우가 가득 차면 새로운 Assistant를 생성해 오버랩 부분을 전달한다. 이렇게 하면 O(1) 스트리밍 업데이트가 가능하고, 메모리 규모가 무한히 확장돼도 순차적 의존성을 유지한다.

활성화 후 각 Assistant는 단순 검색이 아니라 ‘재경험’ 과정을 수행한다. 즉, 전체 에피소드를 그대로 입력으로 받아 자체 추론을 진행해 질문에 대한 구체적 증거(e_i)를 생성한다. 이 증거는 마스터에게 전달돼, 마스터는 다수의 e_i를 집계·통합해 최종 응답을 만든다. 이 설계는 (a) 원시 텍스트를 그대로 활용해 미세한 논리 흐름을 보존, (b) 불필요한 전체 컨텍스트 로드를 피해 토큰 비용을 크게 절감, (c) 다중 에이전트 병렬 처리로 추론 속도와 확장성을 확보한다는 장점을 제공한다.

실험 결과는 두 가지 주요 벤치마크에서 확인된다. LoCoMo에서는 F1 54% 이상을 기록해 기존 최첨단 GAM보다 7.75%p 상승했으며, 토큰 사용량은 70% 이상 감소했다. HotpotQA에서도 복합 다중 홉 질문에서 +8.56%, 시간 추론에서 +8.87%의 개선을 보였다. 이는 에피소드 재구성이 복잡한 인과 사슬을 복원하고, 압축된 요약만으로는 놓치기 쉬운 세부 정보를 효과적으로 회수한다는 증거다.

전체적으로 E‑mem은 메모리 압축과 검색을 전통적으로 결합한 RAG 패러다임을 탈피해, 메모리 자체를 ‘활성화 가능한 추론 단위’로 전환한다는 혁신적 아이디어를 제시한다. 다만, Assistant에 사용되는 소형 모델의 성능 한계, 라우팅 정책의 복잡도, 그리고 대규모 배포 시 동시성 제어 등의 실용적 과제는 향후 연구가 필요하다.