신경멤리스터 기반 비지도 클러스터링 설계
본 논문은 CMOS‑멤리스터 교차배열과 Hebbian 학습 규칙을 이용해 비지도 군집화를 구현한 신경멤리스터 시스템(NMS)을 제안한다. 입력을 ±1 하이퍼큐브 정점으로 매핑하고, 도트곱을 거리 척도로 활용해 메모리 효율적인 군집 중심을 찾는다. MNIST 데이터셋 1000장에 대한 실험에서 제안 시스템은 MATLAB k‑means와 동등한 수렴 특성을 보이며, 하드웨어 구현 시 2‑노름 대비 연산량 감소와 전력 효율성을 기대한다.
저자: Cory Merkel, Dhireesha Kudithipudi
본 논문은 신경멤리스터 시스템(NMS)이 에너지 효율적인 신경 영감 컴퓨팅을 구현하는 유망한 플랫폼임을 전제로, 아직 충분히 탐구되지 않은 비지도 학습, 특히 군집화(clustering) 문제에 대한 하드웨어‑알고리즘 공동 설계를 제시한다. 서론에서는 NMS와 전통적인 뉴로모픽 시스템의 차이를 강조한다. NMS는 CMOS와 멤리스터를 혼합해 높은 연결성 및 가변성을 제공하며, 신경 과정 자체를 모방하기보다 추상화함으로써 구현 효율성을 높인다. 기존 연구는 주로 지도 학습에 초점을 맞추었고, 비지도 학습은 스파이크 기반 시스템에서 제한적으로만 다루어졌다. 저자는 이러한 격차를 메우기 위해 비스파이킹 NMS에서 군집화를 수행하는 새로운 설계를 제안한다.
멤리스터에 대한 기본 설명에서는 멤리스터가 전도값을 전압 펄스로 조절할 수 있는 두‑단자 소자이며, 일반적으로 높은 OFF/ON 비율(≥10³), 큰 최소 저항(kΩ 수준), 높은 내구성·비휘발성, 그리고 양·음 전압 펄스로 단계적 전도 조정이 가능하다는 특성을 가정한다. 이러한 특성은 교차배열 구조에서 가중치(전도값) 저장 및 업데이트에 적합하다.
알고리즘 설계 섹션에서는 전통적인 k‑means와 유사한 경쟁 학습 방식을 채택한다. 입력 벡터 u(p)를 {‑1,+1} 하이퍼큐브 정점으로 양자화하고, 각 클러스터의 중심을 멤리스터 전도값 w_i로 표현한다. 거리 측정은 L2‑노름 대신 도트곱 w_i·u(p)를 사용한다. 입력과 가중치가 모두 정규화된 경우 도트곱이 클수록 유사도가 높으며, 여기서 d_i,p = N – w_i·u(p) 로 변환해 L1‑노름(Manhattan distance) 형태의 거리로 해석한다. 이는 정규화 연산을 없애고, 교차배열에서 자연스럽게 도트곱을 계산하게 함으로써 하드웨어 비용을 크게 절감한다. 알고리즘 흐름은 (1) 입력 매핑, (2) 무작위 초기 가중치 설정, (3) 각 입력에 대해 도트곱 계산, (4) 최대 도트곱을 보이는 클러스터를 우승자로 선정, (5) 우승 클러스터의 가중치를 Hebbian 규칙 Δw = α · x · u 로 업데이트하는 단계로 구성된다. 여기서 x는 우승자 표시(1 또는 0), α는 학습률이다.
하드웨어 설계에서는 M개의 교차배열을 사용해 각각의 클러스터 가중치를 저장한다. 각 열은 하나의 가중치 요소 w_i,j를 나타내며, 상단 멤리스터는 부정적 기여, 하단 멤리스터는 긍정적 기여를 담당한다. 입력은 전류 형태(양·음)로 주입되고, 비반전 연산 증폭기가 각 열의 전류를 합산해 출력 전압 v_d* = ∑ u_j · (R·G_bottom – R·G_top)/(G_top + G_bottom) 로 거리 값을 제공한다. 우승자 선정은 현재 구현 가능한 전류‑모드 winner‑take‑all 회로를 이용한다. 가중치 업데이트는 Δw의 부호에 따라 멤리스터에 양·음 쓰기 전압(v_w) 를 가해 전도값을 증감시킨다. 이 과정은 전압 펄스만으로 이루어지므로 디지털‑아날로그 변환이 필요 없으며, 멤리스터의 임계 전압을 이용해 정확한 단계적 조정이 가능하다.
실험에서는 20 × 20(400차원) MNIST 손글씨 이미지 1000장을 사용했다. 입력은 픽셀값을 0‑127은 -1, 128‑255는 +1 로 이진화해 하이퍼큐브 정점에 매핑하였다. 클러스터 수 M = 10, 학습률 α = 0.005, epoch = 500으로 설정하고, 비용 함수 J = ∑_p min_i d_i,p 를 추적했다. 결과는 제안 NMS가 500 epoch 후 MATLAB 내장 k‑means와 거의 동일한 비용 수렴을 보였으며, 각 클러스터의 중심 이미지도 시각적으로 의미 있는 형태를 유지했다. 이는 제안된 알고리즘과 하드웨어가 기존 소프트웨어 기반 군집화와 동등한 성능을 제공함을 증명한다.
결론에서는 비지도 학습을 위한 NMS 설계가 가능함을 확인하고, 도트곱 기반 거리 측정과 Hebbian 업데이트가 하드웨어 효율성을 크게 향상시킨다고 강조한다. 또한, 현재 구현은 시뮬레이션 기반이므로 실제 멤리스터 변동성, 쓰기 에너지, 스케일링 문제 등에 대한 실리콘 검증이 필요하다고 제언한다. 향후 연구 방향으로는 더 큰 클러스터 수, 다중 레이어 NMS, 그리고 다른 비지도 학습 기법(예: DBSCAN, GMM)과의 비교가 제시된다.
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기