이진 시냅스와 숨은 상태를 활용한 효율적 지도학습

초록

이 논문은 이진 가중치를 갖는 퍼셉트론에 숨은(내부) 상태를 도입하고, 베일리프 전파에서 영감을 얻은 온라인 학습 알고리즘(BPI 및 확률적 변형 SBPI)을 제안한다. 제안된 알고리즘은 패턴 수가 시냅스 수에 비례하는 한계 용량에 가깝게 학습하면서, 수렴 시간은 시스템 규모에 대해 로그 혹은 그 이하로 증가한다. 특히 ‘barely correct’ 상황에서만 수행되는 메타‑플라스틱 규칙(R2)이 성능을 크게 향상시키며, 제한된 숨은 상태 수가 희소 코딩에서 최적이 된다. 또한 두 가지 가시 상태와 K개의 숨은 상태를 갖는 모델이 K가지 가시 상태만을 갖는 모델보다 잡음에 더 강인함을 보인다.

상세 분석

본 연구는 신경생물학적 현실성을 강조하면서도, 이진 시냅스가 갖는 계산적 어려움을 극복하기 위한 새로운 온라인 학습 프레임워크를 제시한다. 핵심 아이디어는 각 시냅스에 ‘숨은 변수’ hᵢ를 부여하고, 시냅스 가중치 wᵢ는 hᵢ의 부호에 의해 결정되는 이진값(±1)으로 제한한다는 점이다. 이렇게 하면 시냅스 자체는 단순히 두 가지 상태만을 가질 수 있지만, 내부 변수는 여러 단계(정수값)로 움직여 학습 과정에서 메타‑플라스틱성을 제공한다.

알고리즘은 크게 세 가지 규칙으로 구성된다. (R1) 총 입력 I가 1보다 큰 경우, 현재 출력이 충분히 안전하므로 어떠한 변화도 일어나지 않는다. (R2) I가 정확히 1, 즉 ‘barely correct’ 상황에서는, 현재 패턴에 기여한 시냅스 중 hᵢ·ξᵢ ≥ 1인 경우에만 hᵢ를 2·ξᵢ만큼 이동시켜 숨은 변수를 강화한다. 이는 출력이 한 번의 시냅스 플립으로 오류가 발생할 위험이 있음을 감지하고, 해당 시냅스가 현재 방향으로 더 강해지도록 메타‑플라스틱 조정을 가한다. (R3) I가 0 이하, 즉 오류가 발생한 경우에는 모든 시냅스의 hᵢ를 2·ξᵢ만큼 이동시켜 가중치를 교정한다.

특히 R2 규칙은 기존 퍼셉트론 학습(오류가 있을 때만 가중치를 수정)과는 달리, ‘정답이지만 경계에 가까운’ 경우에도 선택적으로 내부 변수를 조정함으로써 학습 속도와 용량을 크게 개선한다. 이를 확률적으로 적용한 SBPI는 R2를 확률 pₛ로 수행하도록 하여, pₛ≈0.3일 때 최적의 용량(α≈0.65)을 달성한다.

실험 결과는 다음과 같다. (1) 무한히 큰 숨은 변수 공간을 가정했을 때, BPI는 α≈0.3 정도에서 로그(N)¹·⁵에 비례하는 수렴 시간을 보이며, SBPI는 pₛ≈0.3일 때 α≈0.65까지 확장된다. (2) 숨은 변수를 유한 K값으로 제한하면, 희소 코딩(활성 뉴런 비율이 낮은 경우)에서는 K가 매우 작아도(예: K=3~5) 최적 용량에 도달한다. (3) 두 가지 가시 상태(±1)와 K개의 숨은 상태를 갖는 모델은, K가지 가시 상태만을 허용하는 모델에 비해 잡음(시냅스 플립) 내성에서 현저히 우수했다. 이는 메타‑플라스틱 메커니즘이 시냅스의 현재 상태를 안정화시키는 역할을 함을 시사한다.

알고리즘의 복잡도는 각 패턴당 O(N) 연산에 그치며, 전체 수렴 시간은 N에 대해 서브선형(대략 log N)이다. 따라서 대규모 신경망에서도 실시간 학습이 가능하고, 하드웨어 구현(디지털 회로 혹은 뉴로모픽 칩)에도 적합한 구조를 제공한다.

이러한 결과는 이진 시냅스가 실제 뇌의 시냅스와 유사한 이산적 변화를 보인다는 최신 실험적 증거와 일치하며, 메타‑플라스틱성이라는 추가적인 자유도가 학습 효율과 기억 보존에 핵심적인 역할을 할 수 있음을 뒷받침한다.