AI 에이전트 메모리 제어, 기억 압축으로 한계 돌파

초록

본 논문은 장기 다중 턴 워크플로우에서 에이전트의 메모리 관리 문제를 해결하기 위해, 전통적인 대화 기록 재생과 검색 기반 메모리 대신 ‘Agent Cognitive Compressor(ACC)’라는 제한된 내부 상태를 도입한다. ACC는 매 턴마다 현재 입력, 이전 압축 상태, 제한된 외부 아티팩트를 이용해 ‘Compressed Cognitive State(CCS)’를 업데이트하고, 이를 기반으로 추론을 수행한다. 실험 결과, IT 운영·보안·헬스케어 시나리오에서 ACC는 메모리 크기를 제한하면서도 환각·드리프트를 크게 감소시켰으며, 기존 방식보다 일관된 제약 유지와 높은 작업 성공률을 보였다.

상세 분석

이 논문은 장기 대화형 AI 에이전트가 직면하는 ‘메모리 폭발’과 ‘제약 흐트러짐’ 문제를 체계적으로 진단하고, 인간의 작업 기억(working memory)에서 영감을 얻은 압축 메커니즘을 설계한다는 점에서 학술적·실용적 의의가 크다. 기존 방식은 두 가지로 나뉜다. 첫째, 대화 기록을 그대로 프롬프트에 붙이는 ‘Transcript Replay’는 토큰 수가 선형적으로 증가해 비용·지연이 급증하고, 초기 오류가 지속적으로 재노출돼 드리프트를 야기한다. 둘째, 벡터 데이터베이스 기반 ‘Retrieval’는 관련성을 기준으로 문서를 가져오지만, 제어 관점에서 중요한 제약이나 목표와는 무관한 잡음이 포함될 위험이 있다. 이러한 한계를 극복하기 위해 ACC는 압축된 내부 상태(CCS) 를 도입한다. CCS는 사전에 정의된 스키마(S_CCS)로 구조화된 작은 레코드 집합이며, 목표, 정책 제약, 엔터티 식별자, 확인된 결정 등을 포함한다. 매 턴 ACC는 (1) 현재 사용자 입력 x_t, (2) 이전 CCS_{t‑1}, (3) 외부 저장소 M에서 제한된 수의 아티팩트 A_t 를 받아, Cognitive Compressor Model(CCM) 을 통해 새로운 CCS_t 를 생성한다. 여기서 중요한 점은 아티팩트 회수와 상태 커밋을 명확히 분리한다는 것이다. 회수 단계는 후보 정보를 제공하지만, 실제 상태에 반영되는 내용은 CCM이 스키마에 맞게 압축·정규화한 결과만이다. 따라서 불확실하거나 잡음이 섞인 정보가 직접 메모리로 전파되지 않는다.

기술적 구현 측면에서 논문은 두 가지 CCM 구현 방안을 제시한다. 일반 LLM에 스키마 조건 프롬프트를 적용하는 방법과, 비용·지연을 최소화하기 위해 경량화된 특화 모델을 파인튜닝하는 방법이다. 후자는 실제 배포 환경에서 실시간 응답성을 확보하는 데 유리하다. 또한, ACC는 단일 지속 상태 변수 를 유지함으로써 메모리 풋프린트를 고정(예: 1~2KB)하고, 스키마 검증을 통해 구조적 일관성을 보장한다.

평가 방법론은 ‘Agent‑Judge‑Driven Live Evaluation’ 프레임워크를 사용한다. 동일한 쿼리를 세 에이전트(ACC, Transcript Replay, Retrieval 기반)에게 동시에 제시하고, 블라인드·무작위 순서로 결과를 채점한다. 평가 지표는 (1) 작업 성공률·정확도, (2) 메모리 풋프린트, (3) hallucination rate(주장 감사 기반), (4) drift rate(제약 유지율)이다. IT 운영, 사이버 보안 대응, 의료 워크플로우 등 실제 도메인 시나리오에서 10,000턴 이상에 걸친 테스트가 수행되었다.

실험 결과는 ACC가 메모리 크기를 70~85% 감소시키면서도, 환각 비율을 0.3% 이하로 낮추고, 드리프트율을 1.2% 미만으로 유지함을 보여준다. 반면, Transcript Replay는 메모리 폭증과 함께 환각·드리프트가 급증했고, Retrieval 기반은 잡음 아티팩트에 의해 제약 위반이 빈번히 발생했다. 또한, ACC는 동일한 작업에서 평균 12% 높은 성공률을 기록했다.

논문은 또한 몇 가지 한계와 향후 과제를 제시한다. 첫째, 스키마 설계가 도메인에 따라 달라야 하며, 스키마 확장 시 모델 재학습이 필요할 수 있다. 둘째, 외부 아티팩트 선택 정책(R_ACC)의 최적화가 아직 초기 단계이며, 보다 정교한 신뢰도 평가가 요구된다. 셋째, 현재는 단일 에이전트 내부 상태에 초점을 맞추었지만, 멀티‑에이전트 협업 시 상태 동기화 메커니즘이 추가로 필요할 것이다. 전반적으로, 인간 작업 기억의 압축·제어 원리를 시스템화한 ACC는 장기 대화형 AI 에이전트의 신뢰성을 크게 향상시킬 수 있는 실용적인 솔루션으로 평가된다.