기억 통합으로 적응형 연산 감소를 실현하는 CRAM

초록

본 논문은 GPT‑2에서 88 %의 어텐션 연산이 이미 은닉 상태로 예측 가능함을 발견하고, 이를 기반으로 에피소드 메모리를 파라메트릭 의미 메모리로 점진적으로 압축하는 생물학적 메모리 통합 메커니즘 CRAM을 제안한다. CRAM은 학습 진행에 따라 어텐션 사용량을 급격히 감소시켜 3 K 단계에서 37.8배의 연산 절감을 달성한다. 이론적 하한을 증명하고, 새롭게 만든 SRCD 벤치마크에서 1.6 % 어텐션으로 100 % 정확도를 기록하며, 전이 학습에서도 48–52 %의 어텐션 절감을 보인다.

상세 분석

본 연구는 두 가지 핵심 관찰에 기반한다. 첫째, 사전학습된 GPT‑2(124 M, 355 M) 모델에 대해 선형 프로브를 적용한 결과, 전체 어텐션 출력의 84 %~92 %가 은닉 상태만으로 거의 완벽히 재구성될 수 있음을 확인하였다. 특히 중간 레이어에서는 97 %~99 %에 달하는 높은 중복도가 관찰되었으며, 학습 초기에 비해 300 K 단계에서는 중복도가 0.52에서 0.72로 오히려 증가한다. 이는 기존 학습 목표가 “무엇을 주목할지”는 학습하지만 “언제 주목할 필요가 없는지”에 대한 신호를 제공하지 않기 때문이다.

둘째, 이러한 중복성을 활용해 어텐션 수요를 동적으로 감소시키는 메커니즘을 설계하였다. CRAM은 세 층의 메모리 구조(연속시간 작업 메모리, 에피소드 KV 버퍼, 의미 메모리 어댑터)와 통합 인식 라우터를 결합한다. 라우터는 현재 입력, 시간 간격, 작업 메모리 동역학, 그리고 의미 메모리와 에피소드 메모리 간의 차이로 정의된 통합 품질 qₜ를 입력으로 받아 Gumbel‑Softmax를 통해 세 가지 경로 중 하나를 선택한다. 의미 메모리는 저차원 어댑터(랭크 d/16)로 구현되며, 에피소드 메모리의 출력 r_E를 정지 그래디언트(stop‑gradient)와 함께 L₂ 손실로 학습한다(L_cons). qₜ가 높아지면 라우터는 점차 에피소드 어텐션(O(n))을 차단하고 의미 메모리(O(1))를 이용하도록 전환한다.

이 설계는 두 가지 중요한 효과를 만든다. 첫째, 학습 초기에 새로운 패턴을 에피소드 메모리에 저장하면서 어텐션 사용량이 기존 수준(≈20–40 %)을 유지한다. 둘째, 패턴이 반복적으로 등장하면 의미 메모리가 이를 빠르게 근사하고 qₜ가 급격히 상승한다. 논문에서는 약 3 K 단계에서 qₜ가 임계값을 초과하면서 어텐션 사용량이 급격히 감소하는 “phase transition”을 관찰했으며, 이는 기존 정적 스파스 어텐션 방법이 보이지 못한 현상이다.

이론적으로 저자는 정적 라우팅(입력과 파라미터만 의존)에서는 반복 패턴 빈도 f와 시퀀스 길이 n에 비례하는 어텐션 비용 Ω(f·n)이 불가피함을 정리하고, 통합 기반 라우팅은 ϵ_cons·f·n + O(p·n·log(K/δ)) 수준으로 하한을 깨뜨릴 수 있음을 증명한다. 또한, 표준 확률적 최적화 이론을 이용해 의미 메모리와 에피소드 메모리 간의 L₂ 차이가 학습 단계 T에 대해 O(1/T) 수렴함을 보이고, 일정 비율 ρ의 반복 패턴이 충분히 자주 등장하면 최종 어텐션 사용량이 1 − ρ 수준으로 감소한다는 보장을 제공한다.

실험에서는 새롭게 제안한 SRCD(Sparse Retrieval in Continuous Dynamics) 벤치마크를 통해 CRAM이 1.6 % 어텐션으로 100 % 정확도를 달성했으며, 기존 SeqBoat, Jamba 등과 비교해 68 % 대비 6배 이상의 효율성을 보였다. 전이 실험에서는 동일한 의미 메모리를 재사용했을 때 48 %~52 %의 어텐션 절감 효과가 유지되었다. 마지막으로, 학습된 qₜ 성장 곡선이 인간의 에피소드→시맨틱 전이 곡선(γ≈0.4–0.5)과 매우 유사한 γ=0.43을 보이며, 인지심리학적 메모리 전이 모델과 정량적으로 일치함을 입증했다.

전반적으로 CRAM은 어텐션 연산을 단순히 “어디에” 적용할지를 학습하는 기존 접근법을 넘어, “언제” 어텐션이 필요 없는지를 학습함으로써 연산 효율성을 근본적으로 향상시킨다. 이는 메모리 통합이라는 생물학적 영감을 딥러닝에 성공적으로 적용한 사례로, 향후 대규모 언어 모델의 추론 비용 절감 및 에너지 효율성 개선에 중요한 방향성을 제시한다.