고차원 벡터 기반 자율학습: 뇌와 폰 노이만 컴퓨팅의 융합

초록

이 논문은 10 000 차원의 고차원 벡터를 기본 연산 단위로 사용하여 인간·동물 학습을 모사하는 새로운 컴퓨팅 아키텍처를 제안한다. 전통적인 폰 노이만 구조를 그대로 유지하되, 메모리와 연산이 숫자가 아닌 벡터로 이루어지고, 작업 기억과 장기 기억을 구분한다. 벡터의 덧셈·좌표별 곱·순열·내적 네 가지 연산만으로 복합 구조와 확률적 관계를 표현하고, 이를 로봇 학습 및 언어 식별 등에 적용한 실험 결과를 제시한다.

상세 분석

본 논문은 고차원 벡터(H‑dimensional vector, D≈10 000)를 컴퓨팅의 기본 데이터 단위로 삼는 ‘벡터 기반 폰 노이만 아키텍처’를 체계적으로 설계하고, 이를 인간·동물의 기억 메커니즘과 연결한다. 먼저 전통적인 CPU‑RAM‑I/O 구조를 그대로 차용하면서, RAM을 ‘벡터 RAM’으로 확장한다. 여기서 핵심은 세 가지 기본 연산—벡터 덧셈(다수결 방식), 좌표별 곱(Hadamard product, 이진 경우 XOR), 그리고 순열(좌표 재배열)—이며, 네 번째 연산인 내적(코사인·해밍 유사도 등)은 벡터 간 유사성을 측정한다. 이러한 연산은 차원을 유지하면서 결과를 바로 다음 연산이나 메모리 주소로 사용할 수 있게 해, ‘연산‑주소‑데이터’의 순환을 가능하게 한다.

작업 기억(working memory)은 연산이 일어나는 CPU‑like 모듈이며, 여기서 복합 벡터를 생성·디코딩한다. 장기 기억(long‑term memory)은 고차원 희소 분산 메모리(Sparse Distributed Memory, SDM)와 동일시되며, 내용 주소화(content‑addressable) 특성을 갖는다. 논문은 특히 소뇌의 회로 구조—이삭·그라뉼 세포·푸리키에 세포·클라임핑 섬유—를 고차원 메모리의 물리적 구현 모델로 제시한다. 이 구조는 3차원 배열이 고차원 비트 평면과 유사하다는 점에서 고전적인 자기 코어 메모리와도 연관된다.

연산의 병렬성은 차원당 독립적인 1‑bit 프로세서가 동시에 동작할 수 있다는 점에서 눈에 띈다. 좌표별 연산은 ‘인‑메모리 컴퓨팅(in‑memory computing)’을 자연스럽게 구현하며, 일부 회로가 고장 나도 고차원 집합 효과로 인해 전체 연산 정확도가 크게 저하되지 않는다. 이는 전통적인 고정밀 수치 연산 회로와 대비되는 강건성이다.

실험적으로는 10 K 차원의 언어 프로파일 벡터를 이용해 21개 EU 언어를 97.3% 정확도로 구분했으며, 이는 단일 패스와 8분 이내의 실행 시간으로 달성되었다. 문자‑삼중항(trigram) 인코딩은 순열·좌표곱을 통해 구현되었고, 프로파일 벡터는 모든 삼중항 벡터의 합으로 구성된다. 이 사례는 고차원 벡터 연산만으로도 복잡한 통계적 패턴을 학습하고, 전통적인 딥러닝의 역전파에 의존하지 않는 학습 메커니즘을 보여준다.

이론적 측면에서는 벡터 연산이 연관성, 결합성, 순환성을 동시에 제공함으로써 집합·시퀀스·트리·스택 등 전통적인 자료구조를 ‘홀로그래픽’ 방식으로 압축·표현한다. 또한, 변수‑값 바인딩을 좌표곱으로, 변수 검색을 내적으로 수행함으로써 전통적인 주소‑값 모델을 대체한다. 이러한 특성은 인지심리학의 작업 기억·장기 기억 모델과도 일맥상통한다.

전체적으로 논문은 고차원 벡터 연산을 폰 노이만 컴퓨팅의 틀 안에 끌어들여, 생물학적 메모리 구조와 심리학적 모델을 수학적으로 정형화하고, 로봇·언어·인지 시스템에 적용 가능한 실용적 프레임워크를 제시한다.