가속 아날로그 뉴로모픽 시스템을 활용한 패턴 표현·인식 전략
본 논문은 아날로그 가속 뉴로모픽 하드웨어의 비이상성(시간 지연·전압 변동 등)을 보정하기 위해 세 가지 방법을 제시한다. (1) 보조 회로와 신경망 유닛을 결합해 리프랙터리와 통신 지연을 제어하는 샘플링 유닛, (2) 계층적 제한 볼츠만 머신(RBM) 구조를 이용해 하드웨어 왜곡에 강인한 네트워크 설계, (3) ANN의 그래디언트를 근사값으로 사용해 하드웨어‑인‑루프 학습을 수행하는 방법이다. 각각을 Spikey와 BrainScaleS 플랫폼…
저자: Mihai A. Petrovici, Sebastian Schmitt, Johann Kl"ahn
본 연구는 가속 아날로그 뉴로모픽 하드웨어가 갖는 고유한 비이상성—특히 시냅스 전송 지연, 리프랙터리 시간 변동, 전압·전류 파라미터의 공정 변동—이 스파이킹 신경망이 이론적인 확률 분포를 정확히 샘플링하거나 학습하는 데 큰 장애가 된다는 점을 출발점으로 삼는다. 이러한 문제를 해결하기 위해 세 가지 상호 보완적인 전략을 제시하고, 각각을 실제 하드웨어 플랫폼인 Spikey와 BrainScaleS에서 실험적으로 검증한다.
첫 번째 전략은 ‘샘플링 유닛’이라는 보조 회로 구조를 도입하는 것이다. 각 유닛은 주 신경세포(PN)와 연쇄형 흥분·억제 뉴런(EP, IP)으로 구성된 작은 서브네트워크이며, EP‑IP 사슬을 통해 인위적인 ‘가짜 리프랙터리’를 생성한다. 이 사슬의 길이와 가중치를 조절함으로써 리프랙터리 지속시간을 정확히 제어하고, 동시에 사슬을 통한 신호 전파가 다른 유닛에 대한 상태 전달을 보장한다. 결과적으로 실제 하드웨어에서 발생하는 지연과 변동을 내부적으로 보정하여, 4개의 유닛으로 구성된 네트워크가 목표 볼츠만 분포를 10⁴배 가속된 실시간(≈1 ms) 안에 샘플링함을 보였다.
두 번째 전략은 네트워크 구조 자체를 제한해 강인성을 확보하는 것이다. 일반 볼츠만 머신을 제한 볼츠만 머신(RBM) 형태의 3계층(입력‑숨김‑라벨) 구조로 변형하고, 학습은 대비 학습(contrastive divergence)으로 수행한다. 실험에서는 MNIST의 축소 버전(12×12 픽셀, 6 클래스)과 작은 은닉층(50 뉴런)을 사용했으며, Spikey에서 측정된 지연, 리프랙터리 변동, 막전위 시간 상수, 4‑비트 시냅스 가중치 양자화 등 4가지 왜곡을 모두 적용한 시뮬레이션과 실제 하드웨어 실험을 비교했다. 결과는 구조적 제한이 에너지 지형을 급격히 만들고, 테스트 단계에서 입력을 고정(clamp)하면 은닉‑라벨 계층이 거의 정적 상태에 머무르므로 시간적 왜곡에 거의 민감하지 않음을 보여준다. 실제 하드웨어‑소프트웨어 하이브리드 실험에서 정확도는 이상 시뮬레이션 대비 5‑6 % 정도 감소했으며, 이는 설계상의 강인성 덕분에 충분히 허용 가능한 수준이었다.
세 번째 전략은 전통적인 피드포워드 ANN을 스파이킹 네트워크에 매핑한 뒤, ‘하드웨어‑인‑루프’ 학습을 수행하는 것이다. 초기에는 소프트웨어에서 MNIST(10 클래스, 10×10 픽셀) 전체 데이터를 사용해 ANN을 학습하고, 얻은 가중치를 BrainScaleS 아날로그 웨이퍼에 그대로 옮긴다. 매핑 직후 정확도가 97 %→≈72 %로 급락했지만, 하드웨어에서 실제 스파이킹 활성화를 측정하면서 ANN의 그래디언트를 근사적으로 사용해 파라미터를 재조정하면 40 epoch 후 95 % 수준으로 회복된다. 핵심은 LIF 뉴런의 활성 함수가 로지스틱 형태와 유사하다는 가정 하에, ANN의 미분값을 하드웨어 파라미터 업데이트에 그대로 적용해도 충분히 좋은 수렴을 얻을 수 있다는 점이다.
세 전략 모두 실제 하드웨어 실험에서 성공적으로 검증되었으며, 각각 회로‑레벨 보정, 구조‑레벨 강인성, 학습‑레벨 적응이라는 서로 다른 차원에서 아날로그 가속 뉴로모픽 시스템의 비이상성을 완화한다는 공통점을 가진다. 이를 통해 저전력·고속 뉴로모픽 플랫폼이 복잡한 패턴 인식 및 생성 작업에 실용적으로 활용될 수 있음을 보여준다.
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기