긴 문맥 추론을 위한 게이트형 순환 메모리

초록

**
본 논문은 장문 컨텍스트에서 질문 응답을 수행할 때, 메모리 폭발과 불필요한 연산을 방지하기 위해 업데이트 게이트와 종료 게이트를 도입한 GRU‑Mem 모델을 제안한다. 텍스트 기반 두 개의 게이트를 강화학습으로 학습시켜, 증거가 포함된 청크만 메모리에 반영하고, 마지막 증거를 찾으면 조기에 루프를 종료한다. 실험 결과, 기존 MemAgent 대비 정확도 향상과 최대 4배 이상의 추론 속도 가속을 달성하였다.

**

상세 분석

**
GRU‑Mem은 기존 MemAgent이 갖는 두 가지 근본적인 한계를 해결한다. 첫 번째는 “메모리 폭발” 문제이다. MemAgent은 모든 청크를 순차적으로 읽으며 매 단계마다 텍스트 메모리를 재생성한다. 증거가 전혀 없는 청크에서도 메모리를 업데이트하면 불필요한 토큰이 누적돼 메모리 크기가 급격히 증가하고, 이는 모델의 컨텍스트 제한을 초과하거나 노이즈를 증폭시켜 후속 증거 통합을 방해한다. GRU‑Mem은 텍스트‑컨트롤드 업데이트 게이트(UG)를 도입해, 현재 청크에 증거가 존재하는 경우에만 <check> yes </check>를 출력하도록 강제한다. 증거가 없는 청크에서는 <check> no </check>를 반환해 메모리 유지 비용을 최소화한다.

두 번째 한계는 “조기 종료 메커니즘 부재”이다. 기존 시스템은 모든 청크를 반드시 처리해야 하므로, 마지막 증거가 초기에 등장하더라도 남은 청크를 무의미하게 탐색한다. 이는 특히 증거가 희소하게 분포하거나 사전 재정렬된 경우 연산 비용을 크게 늘린다. GRU‑Mem은 종료 게이트(EG)를 추가해, 마지막 증거가 포함된 청크를 인식하면 <next> end </next>를 출력해 루프를 즉시 종료한다. 이는 불필요한 토큰 처리와 모델 호출을 크게 감소시킨다.

학습 측면에서 두 게이트는 별도의 보상 신호 r⁽ᵘᵖᵈᵃᵗᵉ⁾와 r⁽ᵉˣⁱᵗ⁾를 통해 강화학습(RL)으로 최적화된다. r⁽ᵘᵖᵈᵃᵗᵉ⁾는 증거 청크에서는 ‘yes’, 비증거 청크에서는 ‘no’에 1점, 반대 선택에 -1점을 부여한다. r⁽ᵉˣⁱᵗ⁾는 정확한 종료 시점에 +0.5, 너무 일찍 종료하면 -0.75, 늦게 종료하면 0점을 부여한다. 이러한 설계는 모델이 증거 탐색과 메모리 관리 사이의 트레이드오프를 학습하도록 유도한다.

구조적으로 GRU‑Mem은 기존 메모리 에이전트 ϕθ에 세 개의 출력(업데이트 게이트, 후보 메모리, 종료 게이트)을 추가하고, 답변 에이전트 ψθ는 변함없이 최종 메모리와 질문을 입력받아 답을 생성한다. 알고리즘 1에 제시된 흐름은 청크 단위 반복, 게이트 판단, 메모리 업데이트, 종료 판단을 순차적으로 수행한다.

실험에서는 다양한 장문 QA 데이터셋(예: NarrativeQA, HotpotQA‑Long, Multi‑Doc QA)과 모델 규모(2.7B~13B 파라미터)를 대상으로 비교하였다. 결과는 GRU‑Mem이 평균 3.2%~5.8%의 정확도 상승을 보였으며, 특히 증거가 앞쪽에 몰려 있는 경우 4배 이상 빠른 추론 속도를 기록했다. Ablation Study에서는 업데이트 게이트만 사용하거나 종료 게이트만 사용했을 때 각각 메모리 폭발 억제와 연산 절감 효과가 부분적으로만 나타났으며, 두 게이트를 동시에 적용했을 때 최고의 성능이 도출됨을 확인했다.

이 논문은 장문 컨텍스트에서 효율적인 증거 선택과 메모리 관리가 가능한 새로운 프레임워크를 제시함으로써, LLM이 기존 토큰 제한을 넘어서는 실제 응용(예: 전체 책 요약, 대규모 데이터베이스 질의)에서 활용 가능성을 크게 확대한다. 또한 텍스트 기반 게이트 제어와 강화학습 보상 설계가 RNN‑스타일 메모리 모델에 적용될 수 있는 일반적인 설계 원칙을 제공한다.

**