신경형 하드웨어를 위한 부호 기반 온라인 학습(SOUL) 알고리즘

초록

본 논문은 아날로그·디지털 혼합 신경망 프레임워크인 Trainable Analogue Block(TAB)에서 구현 가능한 부호 기반 온라인 학습(SOUL) 알고리즘을 제안한다. OPIUM 알고리즘을 단순화하여 오류와 은닉층 활성화의 부호만을 이용해 가중치를 증감시키는 규칙으로 변환함으로써 XOR 게이트와 카운터만으로도 하드웨어 구현이 가능하도록 설계하였다. 회귀와 MNIST 숫자 인식 실험을 통해 학습 정확도와 하드웨어 자원 소모 사이의 트레이드오프를 분석하였다.

상세 분석

SOUL 알고리즘은 기존 OPIUM(Online Pseudo‑Inverse Update Method)의 복잡한 행렬 연산을 크게 축소한다. OPIUM에서는 은닉층 활성화 벡터 hₙ와 자동상관 행렬 θₙ을 이용해 정규화된 학습률 ϕₙ을 계산하고, 가중치 wₙ을 연속적인 실수값으로 업데이트한다. 저자는 θₙ을 ε·I(ε는 작은 양수)로 근사함으로써 ϕₙ을 hₙᵀ/(ε+hₙᵀhₙ) 형태로 단순화하고, 다시 고정된 정규화 상수 N으로 대체한다. 최종적으로는 (12)식
 wₙ = wₙ₋₁ + sign(eₙ)·sign(hₙᵀ)/N
이라는 부호‑부호 곱만을 이용한 업데이트 규칙을 도출한다. 여기서 eₙ는 출력 오차, hₙ은 은닉층 활성화이며, N은 가중치 비트 수에 따라 정의된 학습률이다. 이 규칙은 부호만을 필요로 하므로 XOR 게이트 하나와 카운터 하나로 구현이 가능하며, 가중치의 부호와 절대값을 각각 1비트와 다중비트 카운터로 저장한다.

하드웨어 구현 측면에서 저자는 디지털 학습 블록(DLB)을 설계하여 각 연결마다 독립적인 카운터와 XOR 기반 부호 연산을 배치한다. 가중치 증감 폭은 3비트 레지스터 add_no (0~7) 로 조절 가능해, 학습 속도와 해상도 사이의 트레이드오프를 동적으로 제어한다. 아날로그 TAB에서는 은닉 뉴런이 tanh 비선형성을 트랜지스터 몇 개로 구현하고, 출력 가중치는 DLB를 통해 전류‑전압 변환 형태로 연결한다.

실험 결과는 크게 두 부분으로 나뉜다. 첫 번째는 파이썬 시뮬레이션을 이용한 회귀 테스트로, 100개의 은닉 뉴런을 가진 SISO 구조가 sin, sinc, 복합 함수(y=sin x + x³ + sin x/x)를 학습한다. 비트 수가 8~11비트일 때 RMS 오차가 급격히 감소하고, 11비트 이후에는 수렴이 포화한다는 점을 확인했다. 은닉 뉴런 수가 증가할수록 학습 에폭당 오류 감소 속도가 빨라지며, 무작위 데이터 셔플링이 학습 정확도를 크게 향상시킨다. 두 번째는 FPGA 기반 디지털 ELM에 SOUL을 적용한 MNIST 숫자 인식 실험이다. 정확도는 최신 딥러닝 모델에 비해 낮지만(≈85 % 이하), 학습 회로가 XOR와 카운터만으로 구성되어 전력 소모와 면적이 크게 절감된다.

전체적으로 SOUL은 “부호만으로 학습한다”는 극단적인 단순화를 통해 하드웨어 친화성을 극대화했으며, 아날로그·디지털 혼합 설계에서 큰 장점을 제공한다. 다만 부호 기반 업데이트 특성상 학습 수렴 속도가 느리고, 복잡한 비선형 매핑에서는 정확도가 제한적이다. 이러한 한계는 학습률 N 또는 add_no 값을 적절히 스케줄링하거나, 다중 비트 가중치 업데이트와 결합함으로써 보완할 수 있다.