TsetlinWiSARD: FPGA‑기반 온칩 학습을 위한 가중치‑없는 신경망 혁신

초록

본 논문은 WiSARD 가중치‑없는 신경망에 Tsetlin Automata(TA)를 도입해 반복적이고 확률적인 학습 메커니즘을 구현한다. FPGA에 최적화된 하드웨어 설계로 기존 WiSARD 대비 1000배 빠른 학습 속도와 22 % 적은 자원 사용, 93 % 낮은 지연시간, 64 % 전력 절감을 달성한다.

상세 분석

TsetlinWiSARD는 전통적인 WiSARD가 갖는 “한 번에 모든 패턴을 기억”하는 일회성 학습 방식의 과적합 문제를 근본적으로 해결한다. 핵심 아이디어는 각 LUT(Look‑Up‑Table) 엔트리를 하나의 Tsetlin Automaton으로 대체하고, TA의 2N 상태를 이용해 이진 출력(0/1)을 확률적으로 조정하는 것이다. 학습 초기에 모든 TA를 중립 상태(N 또는 N+1)로 초기화함으로써 최대 불확실성을 확보하고, 이후 입력 샘플이 잘못 분류될 때만 피드백을 발생시킨다. 피드백은 두 단계로 구성된다. 첫째, 정답 클래스의 디스크리미네이터에 속한 LUT의 해당 주소에 해당하는 TA를 사전 정의된 확률 P로 증가시켜 올바른 클래스의 투표수를 강화한다. 둘째, 오분류된 클래스에 속한 LUT의 동일 주소 TA를 감소시켜 그 클래스의 투표수를 억제한다. 다른 클래스는 변동이 없으며, 각 TA는 독립적인 랜덤 드로우에 따라 증감 여부를 결정한다.

학습 파라미터 분석에서는 (1) LUT 수, (2) LUT당 입력 비트 수, (3) TA 상태 수, (4) 피드백 확률 P가 정확도에 미치는 영향을 실험적으로 조사한다. LUT 수가 증가할수록(즉, TA 수가 선형적으로 증가) 학습·테스트 정확도가 전반적으로 상승하지만, 포화 현상이 나타나 추가적인 LUT가 크게 기여하지 않는다. LUT당 입력 비트 수가 늘어나면(예: 3‑입력 → 9‑입력) TA가 커버하는 주소 공간이 기하급수적으로 확대돼 정확도가 크게 향상되지만, FPGA의 물리적 LUT 구조에 의해 제한된다. TA 상태 수는 128 이상이면 정확도 향상이 거의 멈추며, 이는 상태가 충분히 많아 노이즈에 대한 내성이 확보되기 때문이다. 피드백 확률 P는 0.1~0.9 범위에서 수렴 속도에 차이를 보이지만 최종 정확도는 크게 달라지지 않는다. 이는 장기적으로 모든 TA가 충분히 강화·감소 기회를 얻어 최적 상태에 도달하기 때문이다.

하드웨어 구현 측면에서는 Xilinx XC7Z020 보드를 대상으로, 물리적 LUT를 쓰기 가능한 RAM(LUTRAM)으로 활용해 TA를 2ⁿ개의 엔트리를 갖는 n‑입력 LUT에 매핑한다. 2ⁿ개의 TA를 n‑입력 LUT 하나에 압축 구현함으로써 자원 효율을 극대화하고, 증감 연산은 단순한 비교·증가·감소 로직으로 구현한다. 또한, 확률적 피드백을 위한 의사난수 생성기는 경량화된 LFSR 기반으로 설계돼 전력 소모를 최소화한다.

성능 평가에서는 6개의 벤치마크(예: MNIST, UCI 데이터셋)에서 기존 WiSARD와 B‑bleaching, 그리고 최신 Tsetlin Machine, CNN 기반 가속기와 비교했다. 동일 모델 규모(같은 LUT 수)에서 TsetlinWiSARD는 평균 4.2 %~7.8 % 높은 정확도를 기록했으며, 학습 시간은 기존 WiSARD 가속기 대비 1,000배 이상 단축되었다. 자원 사용량은 22 % 감소, 지연시간은 93.3 % 감소, 전력 소모는 64.2 % 절감되었다. 특히, 프로세서 없이 순수 FPGA 로직만으로 학습을 수행함으로써 온칩 실시간 적응이 가능해졌다.

이러한 결과는 가중치‑없는 신경망이 FPGA와 같은 제한된 엣지 환경에서도 효율적인 학습을 수행할 수 있음을 증명한다. 또한, TA 기반 학습이 기존의 gradient‑based 방법보다 하드웨어 친화적이며, 확률적 피드백 메커니즘이 과적합을 방지하고 전역 최적해에 수렴하도록 돕는다는 중요한 통찰을 제공한다.