에페네치니코프 커널 기반 로그‑합‑리루 에너지로 구현하는 초고용량 연관 기억망

초록

본 논문은 기존의 로그‑합‑지수(LSE) 에너지 대신 에페네치니코프 커널을 기반으로 한 로그‑합‑리루(LSR) 에너지 함수를 제안한다. LSR은 지수 함수 없이도 입력과 저장 패턴 사이의 유사도를 선형적으로 억제하여, 저장 패턴을 정확히 복원하면서도 차원 d에 대해 지수적 용량 M★ ≈ exp(d)을 달성한다. 특히, LSR은 원래 패턴 외에도 다수의 새로운 로컬 최소점(‘Emergent Memories’)을 생성해, 기억과 생성 사이의 전통적 트레이드오프를 깨뜨린다. 이론적 증명과 이미지 실험을 통해 LSR이 LSE 대비 훨씬 많은 로컬 최소점을 갖고, 생성된 패턴이 의미 있는 창의성을 보임을 입증한다.

상세 분석

본 연구는 에너지 기반 연관 기억망(Associative Memory, AM)의 핵심 구성요소인 ‘분리 함수(F)’와 ‘스케일링 함수(Q)’를 재조합함으로써 새로운 에너지 지형을 만든다. 기존 LSE는 F(x)=exp(x) 와 Q(x)=log 의 조합으로, 소프트맥스 형태의 그래디언트를 제공해 저장된 M개의 패턴을 근사적으로 복원한다. 그러나 LSE는 β 가 유한할 때 원본 패턴 외에 새로운 최소점을 만들기 어렵고, 정확한 복원을 위해서는 β→∞ 가 필요하다.

논문은 KDE(Kernel Density Estimation)와 에너지 함수 사이의 동등성을 이용한다. KDE에서 최적 커널은 평균 제곱 오차(MISE)를 최소화하는 에페네치니코프 커널 K_epan(x)=max{1−x²,0} 이며, 이는 F(x)=ReLU(1+x) 와 동일하게 변환될 수 있다. 따라서 LSR 에너지
E_LSR^β(x;Ξ)=−(1/β) log