연속 온라인 시퀀스 학습을 위한 비지도 신경망 모델

초록

본 논문은 피라미드형 뇌 구조와 시냅스 가소성을 모방한 계층적 시간 기억(HTM) 시퀀스 메모리를 소개한다. HTM은 희소한 이진 코드를 사용해 무감독 Hebbian 학습으로 가변 차수의 시계열을 지속적으로 학습하고, 분기와 노이즈가 있는 데이터에서도 다중 예측을 유지한다. ARIMA, ELM, LSTM, ESN 등 기존 알고리즘과 비교했을 때 예측 정확도는 동등하거나 우수하며, 하이퍼파라미터 튜닝 없이도 실시간 스트리밍 데이터에 적용 가능하다.

상세 분석

HTM 시퀀스 메모리는 두 가지 핵심 메커니즘을 기반으로 한다. 첫째, 입력을 고차원 공간에 매핑하는 Sparse Distributed Representation(SDR)이다. SDR은 수천 개의 뉴런 중 극히 일부만 활성화되도록 설계돼, 잡음에 대한 내성을 제공하고 동일한 패턴이 다양한 맥락에서 재현될 때 겹치는 활성 뉴런을 통해 의미적 연관성을 보존한다. 둘째, Temporal Memory(TM) 모듈은 각 셀에 여러 개의 예측 상태(prediction state)를 할당함으로써 분기 시퀀스를 동시에 추적한다. 셀은 현재 활성화된 시점에 이전 타임스텝에서 예측된 셀과 연결을 강화하는 Hebbian‑like 규칙을 적용한다. 이 규칙은 시냅스 가중치를 0 또는 1로 이진화하고, 학습이 진행될수록 활성화된 시냅스는 영구적으로 유지되며, 비활성 시냅스는 점진적으로 약화된다.

가변 차수(sequence order) 학습은 TM이 “세포 집합(cell ensemble)”을 형성하고, 각 집합이 특정 컨텍스트를 기억하도록 함으로써 구현된다. 예를 들어, 입력 A‑B‑C‑D와 A‑B‑E‑F가 공유하는 앞부분(A‑B)에서는 동일한 셀 집합이 활성화되지만, 이후 단계에서 서로 다른 예측 셀을 선택한다. 이렇게 하면 모델은 동일한 초기 컨텍스트에서 여러 가능한 미래를 동시에 보존하고, 실제 관측이 들어올 때까지 다중 가설을 유지한다.

연속 온라인 학습 측면에서 HTM은 배치 학습이 필요 없는 순차적 업데이트 방식을 채택한다. 새로운 시퀀스가 들어올 때마다 해당 타임스텝의 활성화와 예측을 즉시 반영하고, 기존 시냅스 구조를 재조정한다. 이는 데이터 스트리밍 환경에서 메모리 사용량과 연산 복잡도를 일정하게 유지하면서도, 과거에 학습된 패턴을 망각하지 않게 만든다. 또한, HTM은 “활성화된 셀의 비활성화 비율”을 조절하는 파라미터(예: 활성화 비율, 연결 임계값)를 통해 노이즈에 대한 강인성을 조절한다. 실험에서는 센서 노이즈가 30 % 수준까지 증가해도 예측 정확도가 크게 떨어지지 않았으며, 이는 SDR의 중복성 및 TM의 다중 예측 메커니즘 덕분이다.

비교 대상 알고리즘과의 성능 차이를 살펴보면, ARIMA는 선형 가정과 고정 차수 모델에 제한돼 비선형·비정상 시계열에서 성능이 급격히 저하된다. ELM은 온라인 학습이 가능하지만, 은닉층 가중치를 무작위 초기화 후 고정하기 때문에 새로운 패턴이 등장하면 재학습이 필요하다. LSTM은 장기 의존성을 포착하는 데 강점이 있지만, 학습률, 배치 크기, 은닉 유닛 수 등 다수의 하이퍼파라미터 튜닝이 요구된다. ESN은 랜덤 리저버를 활용해 빠른 학습을 제공하지만, 리저버 규모와 스펙트럼 반경 조정이 필수적이다. 반면 HTM은 구조 자체가 뇌의 시냅스 가소성을 모방해 설계돼, 별도 파라미터 최적화 없이도 다양한 데이터셋에서 경쟁력 있는 정확도를 달성한다.

마지막으로, HTM은 이상 탐지와 시퀀스 분류에도 자연스럽게 확장될 수 있다. 예측 오류가 일정 임계값을 초과하면 “예측 오류 점수”를 계산해 이상 신호로 간주하고, 다중 예측 집합을 활용해 클래스별 특성을 학습함으로써 라벨이 없는 데이터에서도 군집화가 가능하다. 이러한 특성은 실시간 감시 시스템, 산업 IoT, 금융 시계열 분석 등 연속적인 데이터 흐름을 다루는 분야에 큰 장점을 제공한다.