아날로그 회로 기반 고밀도 연관 기억 가속기 설계

초록

본 논문은 Dense Associative Memory( DenseAM ) 모델을 연속시간 아날로그 회로(RC 회로, 저항 교차배열, 증폭기)로 구현하여, 모델 규모와 무관하게 상수 시간(inference time)으로 추론이 가능함을 보인다. XOR, (7,4) 해밍 코드, 이진 언어 모델 등 세 가지 사례를 통해 회로 설계, 에너지·시간·면적 스케일링을 분석하고, 기존 아날로그 소자 사양으로 수십~수백 나노초 수준의 추론 속도를 달성할 수 있음을 제시한다.

상세 분석

DenseAM은 가시 뉴런(v)과 은닉 뉴런(h) 사이의 양방향 가중치 행렬 ξ를 이용해 두 집합의 상태를 연속적인 미분 방정식(1)으로 기술한다. 논문은 이 방정식을 전압‑전류 변환을 수행하는 RC 회로와 저항 교차배열(cross‑bar)로 직접 매핑한다. 교차배열의 각 교차점 저항 Rµi는 가중치 ξµi의 역수(1/ξµi)로 구현되며, 가시·은닉 뉴런이 각각 행·열에 연결돼 전압 차를 전류로 변환한다. 전류는 뉴런 내부의 커패시터 C1에 적재되어 RC 시정수 τ=R²C1에 따라 연속적으로 적분되며, 이는 식(3)의 형태와 정확히 일치한다. 뉴런의 비선형 활성화 함수(g, f)는 전압‑전류 변환 회로(예: 트랜지스터 기반 ReLU, 소프트맥스)로 구현돼, 전압 hµ를 비선형 함수 f(hµ)로 변환한다. 중요한 설계 포인트는 “self‑path” 회로를 삽입해 fµ·∑ξµi 항을 상쇄함으로써, 실제로는 입력 전류만을 적분하도록 만든 점이다. 이렇게 하면 가중치 행렬이 양방향으로 동일하게 사용되면서도 전압‑전류 관계가 대칭성을 유지한다(하드웨어 공유).

아날로그 구현의 핵심 장점은 연산이 물리적 병렬성에 의해 즉시 수행된다는 점이다. 교차배열은 O(Nv·Nh)개의 곱셈을 동시에 수행하고, 각 뉴런은 자체 RC 회로에서 독립적으로 미분 방정식을 풀어 상수 시간 내에 고정점에 수렴한다. 따라서 디지털 GPU나 CPU에서 O(N)·Titer(반복 횟수) 만큼 소요되는 연산과 달리, 모델 규모(Nv, Nh)에 관계없이 추론 지연은 τ에 의해 결정되는 고정값이다.

논문은 세 가지 실험을 통해 이론을 검증한다. 첫 번째 XOR 예제는 3개의 가시·4개의 은닉 뉴런으로 구성되며, 입력 뉴런을 클램프하고 출력 뉴런을 자유롭게 두어 에너지 지형(Energy) 상에서 최소점으로 수렴함을 보여준다. 두 번째는 (7,4) 해밍 코드 복원으로, 7개의 가시·4개의 은닉 뉴런이 오류 정정 능력을 시연한다. 세 번째는 이진 언어 모델로, 16개의 가시·16개의 은닉 뉴런을 사용해 간단한 토큰 시퀀스 예측을 수행한다. 각 사례에서 에너지 감소 곡선이 단조적으로 감소하고, 최종 출력이 기대값과 일치함을 확인한다.

스케일링 분석에서는 회로 면적이 O(Nv+Nh)·Acell(셀 면적)로 선형 증가하고, 전력 소모는 P≈Vdd²·Gtotal·τ⁻¹ 형태로 τ와 전압에 의존한다. 증폭기 사양(대역폭, slew rate, 입력 오프셋)으로부터 τ의 하한을 추정했으며, 현재 상용 CMOS 연산증폭기의 1 GHz 대역폭과 10 pF 커패시터를 가정하면 τ≈10–100 ns 수준이 가능함을 제시한다. 이는 디지털 솔버가 수십 마이크로초에서 밀리초까지 걸리는 상황과 비교해 3~5자릿수 속도 향상을 의미한다.

마지막으로, 기존 아날로그 연관 기억 연구와 차별화되는 점은 (1) 고차원 비선형 에너지 함수(소프트맥스 등)를 직접 구현, (2) 양방향 가중치 공유를 통한 대칭성 보장, (3) 실시간 연속 흐름으로 추론을 마감 시점에 의존하지 않음으로써 하드웨어 변동성(노이즈, 온도)에 강인함을 확보한다는 점이다. 이러한 특성은 앞으로 대규모 트랜스포머·디퓨전 모델을 아날로그 레벨에서 구현하는 기반을 제공한다.