MemAdapter: 생성 서브그래프 검색을 통한 에이전트 메모리 패러다임 빠른 정렬

초록

MemAdapter는 에이전트 메모리의 명시적, 파라메트릭, 잠재적 패러다임을 하나의 통합 메모리 공간에 매핑하고, 생성형 서브그래프 검색기와 경량 정렬 모듈을 결합해 빠르게 적응한다. 두 단계 학습(모델 증류와 대비 학습)으로 13분 내 GPU 한 대에서 교차 패러다임 정렬을 수행하며, 기존 메모리 시스템 대비 5% 이하의 학습 비용으로 성능을 크게 향상시킨다.

상세 분석

본 논문은 LLM 기반 에이전트가 장기 컨텍스트를 다루기 위해 필요로 하는 메모리 메커니즘을 세 가지 주요 패러다임(명시적, 파라메트릭, 잠재적)으로 구분하고, 각 패러다임에 특화된 검색 방법이 서로 독립적으로 설계돼 교차 패러다임 활용에 큰 제약을 초래한다는 점을 지적한다. 이를 해결하기 위해 제안된 MemAdapter는 ‘통합 메모리 공간(unified memory space)’이라는 추상 레이어 위에 두 단계 학습 파이프라인을 구축한다. 첫 번째 단계에서는 강력한 교사 모델이 전체 메모리 그래프를 생성하도록 프롬프트하고, 이를 토큰화·선형화한 서브그래프를 학생 모델이 자동 회귀적으로 생성하도록 KL‑다이버전스 기반 증류 손실을 최소화한다. 이 과정에서 모델은 메모리 구조를 직접 생성하는 능력을 습득함으로써, 기존의 검색‑인덱스 의존성을 탈피하고 그래프 형태의 증거를 유연하게 조합할 수 있다.

두 번째 단계는 ‘대상 패러다임(target paradigm)’에 대한 경량 정렬 모듈을 대비 학습(contrastive learning)으로 훈련한다. Anchored alignment module(명시적 패러다임 기반)과 target alignment module이 동일한 통합 메모리 공간에 매핑되도록 InfoNCE‑형 손실을 사용해 인스턴스‑레벨 정렬을 강제한다. 중요한 점은 이 정렬이 2,500개의 시연(demonstration)만으로 13분 이내에 수렴한다는 것으로, 기존 파라메트릭 메모리 튜닝에 비해 95% 이상의 연산 절감을 보여준다.

실험에서는 세 가지 공개 QA 벤치마크(예: Long‑Context QA, Knowledge‑Intensive QA, Multi‑Hop Reasoning)와 1.5B‑7B 규모의 LLM을 대상으로, 기존 5개 강력한 메모리 시스템(명시적 그래프 검색, LoRA‑기반 파라메트릭 메모리, KV‑Cache 기반 잠재 메모리 등)보다 일관되게 높은 정확도와 F1 점수를 기록했다. 특히, MemAdapter는 교차 패러다임 ‘제로‑샷 융합’에서도 각 메모리의 보완 정보를 효과적으로 결합해 성능 상승을 입증했다.

이 논문의 핵심 기여는 (1) 메모리 패러다임을 초월한 통합 검색 프레임워크, (2) 모델 증류와 대비 학습을 결합한 두 단계 학습 전략, (3) 경량 정렬 모듈을 통한 빠른 적응 및 플러그‑앤‑플레이(fusion) 가능성이다. 제한점으로는 현재 실험이 주로 QA 도메인에 국한돼 있어, 복합적인 행동 계획이나 로봇 제어와 같은 시계열 기반 에이전트에 대한 적용 가능성을 추가 검증해야 한다는 점이다. 향후 연구는 (i) 더 다양한 메모리 형태(예: 이미지‑텍스트 멀티모달 메모리)와의 정렬, (ii) 정렬 모듈의 메타‑학습을 통한 지속적 적응, (iii) 대규모 멀티에이전트 환경에서의 실시간 메모리 동기화 등에 초점을 둘 수 있다.