주의는 기억이 아니다: 무한 컨텍스트 구조의 직교 제약

초록

본 논문은 현재 대형 언어 모델이 에피소딕 사실을 저장하려 할 때, 의미적으로 밀집된 임베딩이 직교성을 잃어 급격히 기억 정확도가 하락한다는 ‘직교 제약(Orthogonality Constraint)’을 제시한다. 이를 해결하기 위해 저자들은 해시 기반 고유 식별자를 갖는 구조화된 “Knowledge Objects”(KO)를 제안하고, 실제 위키피디아, 과학 측정치, 이미지 임베딩 등에서 실험적으로 검증한다.

상세 분석

논문은 먼저 인간의 보완 학습 시스템(Complementary Learning Systems, CLS) 이론을 인용해, 빠른 에피소딕 저장을 담당하는 해마와 느린 통계 학습을 담당하는 신피질의 기능적 분리를 강조한다. 현재 대부분의 AI 시스템은 이 두 기능을 하나의 연속적인 파라미터 공간에 압축하려 하는데, 이는 ‘semantic density(ρ)’가 높은 상황에서 키 벡터 간 내적이 크게 겹치게 만들며, 결과적으로 메모리 충돌(semantic interference)이 발생한다는 수학적 증명을 제시한다.

직교 제약은 기존 현대 홉필드 네트워크(Modern Hopfield Networks)와 트랜스포머 어텐션이 내포하고 있는 근본적인 한계다. 저자들은 ρ>0.6인 경우 단 5개의 사실만 저장해도 정확도가 무작위 수준으로 떨어지고, ρ가 중간 정도(0.20.5)일 때도 2075개의 사실에서 급격히 붕괴한다는 실험 데이터를 제시한다. 특히, 위키피디아 16,309개 사실, 과학 측정치(ρ=0.96) 10,000개, 이미지 임베딩(ρ=0.82) 2,000개에 대해 각각 0.02%, 0.05% 수준의 정확도 저하를 관찰했다.

이러한 현상은 모델 규모, 어텐션 길이, 학습 데이터 양을 늘려도 극복되지 않는다. 왜냐하면 임베딩 공간 자체가 의미적 군집을 형성하도록 학습되기 때문에, 키 벡터가 본질적으로 비직교가 되기 때문이다. 따라서 저자들은 ‘디스크리트 주소 지정(discrete addressing)’이 필수적이라고 주장한다.

제안된 Knowledge Objects는 (1) 해시 기반 고유 ID를 통해 완전한 직교성을 보장하고, (2) 사전 정의된 스키마와 타입을 이용해 스키마 드리프트를 방지하며, (3) 버전 체인을 통해 최신 사실만을 조회하도록 설계되었다. 실험 결과, KO 기반 검색은 위키피디아 사실에서 45.7%의 정확도를 달성했으며, 해시 기반 직접 조회는 100% 정확도를 유지했다. 반면, 현대 홉필드 네트워크는 0%에 수렴했다.

또한, 현재 상용 메모리 시스템(Claude Memory, ChatGPT Memory)이 텍스트 기반 비구조화 저장을 사용함으로써 4070%의 스키마 일관성, 0100%의 정정 성공률을 보이는 문제점을 진단한다. KO는 이러한 한계를 해소하고, 해마와 신피질의 역할을 인공적으로 구현함으로써 ‘양쪽 뇌(bicameral) 기억 구조’를 완성한다는 점에서 학술적·실용적 의의를 가진다.