칸버라++: 차별화된 블록 메모리로 에피소드와 의미 기억 연결

초록

칸버라++는 전통적인 힙 할당 방식을 신경망에 도입해, 연속적인 메모리 블록을 차별적으로 할당하는 차별화된 베이지안 메모리 스킴을 제안한다. 메모리 쓰기를 완전한 피드포워드 과정으로 단순화하고, 읽기 키의 확률분포를 이용해 정보를 퍼뜨린다. 이를 통해 바이너리 MNIST와 Omniglot 등에서 기존 칸버라 머신을 뛰어넘는 조건부 로그우도 성능을 달성한다.

상세 분석

칸버라++(K++)는 인간의 에피소드 기억과 의미 기억을 연결하는 계산적 메커니즘을 베이지안 계층형 잠재 변수 모델로 구현한다. 핵심 아이디어는 전통적인 힙 할당에서 영감을 얻은 “로컬 블록 할당”이다. 메모리 M은 고정 차원 텐서( C × W × H )로 정의되며, 입력 에피소드 X를 인코더 f_enc 로 압축한 후, 결정적 함수 f_mem 로 변환해 전체 메모리를 한 번에 채운다. 이때 쓰기 과정은 O(1) 복잡도의 단순 피드포워드 연산이며, 역전파 시 메모리 자체는 미분 가능하지만 확률적이지 않다.

읽기 단계에서는 K개의 키 y_tk 를 정규분포 N(μ_key,σ_key) 로 샘플링하고, 각 키를 공간 변환기 f_ST (Spatial Transformer) 에 입력해 메모리의 연속적인 서브 블록 ˆM_k 를 추출한다. 이렇게 얻어진 서브 블록은 잠재 변수 Z의 사전 p_θ(Z|ˆM,Y) 를 정의하는데, Z는 다시 디코더 p_θ(X|Z,ˆM,Y) 로 복원된다. 키 분포 자체가 확률적이기 때문에, 메모리 내부의 정보는 키 샘플링에 의해 자연스럽게 퍼지며, 이는 기존 칸버라 머신(KM)에서 요구되던 OLS 기반의 메모리 업데이트 루프를 제거한다.

변분 하한(ELBO) L_T 은 세 부분으로 구성된다. 첫 번째는 재구성 로그우도, 두 번째는 q_φ(Z|X)와 p_θ(Z|ˆM,Y) 사이의 KL 발산, 세 번째는 키 사후 q_φ(Y|X)와 표준 정규키 prior p(Y) 사이의 KL이다. 여기서 q_φ(Y|X)는 인코더가 출력한 μ_key,σ_key 로 정의되며, 메모리 M 자체를 확률적 변수로 다루지 않음으로써 메모리 크기에 독립적인 복잡도를 확보한다.

K++는 또한 Temporal Shift Module(TSM)을 ResNet‑18에 결합해 시계열적 컨텍스트를 인코더에 주입한다. TSM은 프레임 간 특성 맵을 이동시켜 시간 축 정보를 강화하므로, 에피소드 전체를 더 풍부히 요약할 수 있다. 실험 결과, TSM을 사용한 K++는 DKM보다 6.3 nats/image 정도 높은 ELBO를 달성했으며, 이는 메모리 블록 할당과 결정적 쓰기의 시너지 효과를 입증한다.

비교 대상인 KM과 DKM은 메모리 읽기/쓰기 모두를 확률적 추론으로 모델링하고, 특히 DKM은 매 반복마다 O(n³) 행렬 역을 요구한다. K++는 이러한 비용을 없애고, 블록 기반 로컬 어드레싱을 통해 메모리 접근을 O(K) 로 축소한다. 또한, 메모리 쓰기를 deterministic하게 만들면서도, 키 샘플링의 stochasticity가 충분히 표현력을 보존한다는 점에서 인간 시각 기억이 deterministic하게 변한다는 심리학적 근거와도 일맥상통한다.

실험에서는 바이너리 MNIST(≤ 41.58 nats/image), 바이너리 Omniglot(≤ 66.24 nats/image)에서 최첨단 결과를 기록했고, CIFAR‑10, DMLab Mazes, Celeb‑A, ImageNet‑32×32에서도 경쟁력 있는 성능을 보였다. 특히 메모리 용량을 늘려도 학습 안정성이 유지되며, 메모리 블록 수 K 를 조절함으로써 압축률과 재구성 품질 사이의 트레이드오프를 유연하게 제어할 수 있다.

요약하면, K++는 (1) 베이지안 메모리 할당을 힙 스타일 블록으로 구체화, (2) 쓰기를 완전 deterministic feed‑forward 로 단순화, (3) 읽기를 확률적 키와 공간 변환기로 로컬 블록에 국한, (4) TSM 기반 인코더로 에피소드 정보를 풍부히 요약, 라는 네 가지 혁신을 통해 기존 메모리 강화 생성 모델의 계산 복잡도와 성능 한계를 동시에 극복한다.