내부 시계 기반 시공간 신경망을 이용한 동작 속도 인식

초록

본 논문은 스파이킹 신경망(SNN)에 내부 시계 메커니즘을 도입해 인간 동작의 속도를 인식하는 시스템을 제안한다. 스파이크 트레인 인코더, 패턴 변환 블록, 네트워크 동적 의존성 가소성(NDDP) 학습 블록으로 구성된 모델은 영상 데이터가 6개, 학습 시도 42회만으로도 만화와 실제 영상에서 각각 83.3%·75%의 정확도를 달성한다. ARM Cortex‑M4 기반 구현에서 학습 시간 0.844.35 s, 전력 33.26201 mW를 기록해 엣지 AI에 적합한 저전력·고속 학습 특성을 보인다.

상세 분석

이 연구는 “내부 시계”라는 개념을 스파이킹 신경망에 통합함으로써, 네트워크 자체가 입력 동작의 시간적 주파수를 자동으로 맞추어 속도 구분을 수행한다는 점에서 혁신적이다. 기존 SNN 기반 행동 인식은 주로 형태적 특징에 의존하거나, 외부 타이머를 사용해 시간 정보를 보강했지만, 본 논문은 뉴런 발화 패턴 자체가 내부 클럭 역할을 하게 설계했다. 구체적으로, 스파이크 트레인 인코더는 영상 프레임을 이벤트 스트림으로 변환하고, 이 스트림은 SNN에 입력되어 뉴런들의 발화 주기가 입력 속도에 비례하도록 조정된다. 내부 시계 주파수는 네트워크 가중치와 NDDP(네트워크 동적 의존성 가소성) 학습 규칙에 의해 동적으로 최적화된다. NDDP는 전통적인 STDP와 달리, 네트워크 전체의 동적 상태(예: 평균 발화율, 클럭 동기화 정도)를 고려해 가중치를 업데이트함으로써, 작은 데이터셋에서도 빠른 수렴을 가능하게 한다.

패턴 변환 블록은 SNN 출력 스파이크 시퀀스를 고정 길이 벡터로 변환해 전통적인 분류기(예: 소프트맥스)와 연결한다. 이 단계에서 시간 정보를 보존하면서도 차원 축소가 이루어져, 하드웨어 구현 시 메모리 요구량을 크게 낮출 수 있다. 실험에서는 만화 영상과 실제 촬영 영상을 각각 6개의 클래스(달리기, 걷기, 점프, 생각(워터링), 정지 등)로 구분했으며, 특히 “달리기 vs 빠른 걷기”처럼 미세한 속도 차이를 구분하는 데 83.3%와 75%의 정확도를 기록했다.

하드웨어 측면에서는 ARM Cortex‑M4 마이크로컨트롤러 위에 SNN을 구현해 학습 시간 0.844.35 초, 전력 소모 33.26201 mW를 측정했다. 이는 기존 딥러닝 기반 행동 인식 모델이 요구하는 수백 밀리와트 수준에 비해 현저히 낮은 수치이며, 엣지 디바이스에서 실시간 학습·추론이 가능한 환경을 제공한다. 다만, 정확도가 아직 90% 이상에 미치지 못하고, 데이터셋 규모가 극히 제한적이라는 점은 실용화에 앞서 보완이 필요하다. 또한, 내부 시계 주파수 조정 메커니즘이 복잡한 다중 인물·다중 동작 시나리오에서 어떻게 확장될지에 대한 추가 연구가 요구된다.

요약하면, 내부 시계 기반 SNN은 시간 정보와 형태 정보를 동시에 학습함으로써 작은 데이터와 저전력 환경에서도 동작 속도 구분이 가능한 새로운 패러다임을 제시한다. 향후 대규모 데이터와 다양한 환경에 대한 일반화, 하드웨어 가속기와의 통합, 그리고 멀티모달 센서(예: IMU, 라이다)와의 융합을 통해 실제 로봇·웨어러블 디바이스에 적용될 가능성이 크다.