시간을 통합한 인공신경망을 위한 스티그머지 기반 설계

초록

본 논문은 스티그머지를 이용해 인공신경망에 시간 의존성을 부여하는 새로운 구조를 제안한다. 연결 강도와 뉴런 활성화를 자극·해제에 따라 동적으로 조절함으로써, 단일 스티그머지 뉴런만으로 XOR 문제를 해결하고, MNIST 손글씨 인식에서 정적 NN, 순환 NN, LSTM과 비교 실험을 수행한다.

상세 분석

스티그머지는 사회생물학에서 개미나 곤충이 환경에 흔적을 남겨 서로의 행동을 간접적으로 조정하는 메커니즘으로, 이를 계산 모델에 적용하면 “흔적(pheromone)”이 시간에 따라 축적·소멸하면서 시스템의 상태가 변한다. 논문은 이 개념을 인공신경망에 매핑하여, 각 시냅스 혹은 뉴런에 “스티그머지 변수” S를 도입한다. S는 입력 신호가 들어올 때(자극) 증가하고, 신호가 사라질 때(해제) 감소하도록 설계되었으며, 실제 연결 가중치 w는 S와 기본 가중치 w₀의 함수로 표현된다: w = w₀ · f(S). 여기서 f는 보통 선형 혹은 로그-시그모이드 형태를 취한다.

이러한 동적 가중치 조절은 전통적인 정적 NN이 시간 정보를 직접 반영하지 못하는 한계를 극복한다. 기존 RNN이나 LSTM은 내부 상태(셀)와 게이트를 통해 시간 의존성을 모델링하지만, 구조가 복잡하고 학습 비용이 크다. 스티그머지 NN은 단일 뉴런 수준에서 시간적 메모리를 구현하므로, 파라미터 수가 현저히 적고 구현이 간단하다.

학습 알고리즘은 기본적으로 역전파를 사용하지만, S의 변화도 미분 대상에 포함한다. 즉, 손실 L에 대한 ∂L/∂S를 계산해 S를 업데이트하고, 동시에 w₀도 업데이트한다. 논문은 이 과정을 “스티그머지 역전파”라 명명하고, 시간 단계 t에 대한 미분을 연쇄법칙으로 전개한다. 중요한 점은 S가 시간에 따라 누적되므로, 한 번의 입력이 여러 시간 단계에 걸쳐 영향을 미친다. 따라서 장기 의존성 학습이 자연스럽게 가능해진다.

실험에서는 가장 간단한 사례인 XOR 문제를 단일 스티그머지 뉴런(입력 1, 출력 1)으로 해결한다. 전통적인 퍼셉트론은 비선형성을 위해 최소 두 개의 뉴런이 필요하지만, 스티그머지 효과가 비선형 변환을 제공해 하나의 뉴런만으로도 해결한다.

MNIST 실험에서는 네 가지 모델을 비교한다. (1) 정적 완전 연결 NN, (2) 제안된 스티그머지 NN, (3) 기본 RNN, (4) LSTM. 동일한 학습 데이터와 에포크 조건에서 스티그머지 NN은 파라미터는 적지만 정확도에서 LSTM에 근접하고, 학습 속도는 정적 NN보다 빠르다. 특히, 스티그머지 NN은 입력 순서에 민감한 패턴을 효율적으로 포착한다는 점이 강조된다.

하지만 몇 가지 한계도 존재한다. S의 초기값과 감소율(감쇠 상수) 선택이 결과에 큰 영향을 미치며, 현재는 경험적으로 튜닝한다. 또한, 복잡한 시계열(예: 음성, 자연어)에서는 아직 LSTM 수준의 성능을 보장하지 못한다. 향후 연구에서는 S의 자동 최적화, 다중 스티그머지 뉴런 간 상호작용, 그리고 하드웨어 구현을 통한 실시간 적용 가능성을 탐색할 필요가 있다.

요약하면, 스티그머지를 신경망에 도입함으로써 시간 정보를 저비용으로 통합할 수 있는 새로운 패러다임을 제시했으며, 초기 실험 결과는 이 접근법이 기존 모델과 경쟁력 있는 성능을 가질 수 있음을 보여준다.