스파이킹 신경망을 이용한 연속 제어: 엔드투엔드 모델 기반 학습

초록

본 논문은 Leaky‑Integrate‑and‑Fire(LIF) 기반 스파이킹 신경망(SNN)을 활용해 로봇 팔의 연속적인 토크 제어를 학습한다. 예측 모델과 정책 네트워크를 각각 스파이킹 형태로 구현하고, 서러게이트 그래디언트를 이용해 전역 최적화를 수행한다. 2‑D 평면 도달 과제와 6‑DOF Franka Emika Panda 시뮬레이션에서 비스파이킹 RNN 대비 유사한 성능을 보이며 파라미터 수를 크게 줄였다.

상세 분석

이 연구는 연속 제어 문제에 스파이킹 신경망을 적용하기 위한 두 가지 핵심 설계를 제시한다. 첫째, 전통적인 모델‑기반 제어 구조를 그대로 차용해 ‘예측 네트워크(Forward Model)’와 ‘정책 네트워크(Policy)’를 각각 완전 스파이킹 형태로 구현하였다. 두 네트워크는 LIF(또는 ALIF) 뉴런으로 구성되며, 각 뉴런의 시간 상수 τ와 적응 임계값을 학습 가능한 파라미터로 두어 시간적 동적 특성을 데이터에 맞게 최적화한다. 둘째, 비연속적인 스파이크 발생 함수를 미분 가능하게 만들기 위해 서러게이트 그래디언트(예: 빠른 sigmoid, 삼각형 함수)를 적용하고, 이를 통해 역전파‑통과(Backprop‑through‑time) 학습을 가능하게 했다.

학습 파이프라인은 다음과 같다. (1) 현재 상태 sₜ와 행동 uₜ를 입력으로 받아 Δŝₜ를 예측하는 예측 네트워크를 자동 회귀 방식으로 여러 타임스텝 전개한다. (2) 정책 네트워크는 현재 상태와 목표 상태 s*ₜ를 받아 연속적인 토크 uₜ를 출력한다. (3) 예측 네트워크가 생성한 가상 상태 궤적과 목표 위치 간의 거리 손실을 정책 네트워크에 대한 그래디언트로 역전파한다. 이때 예측 네트워크 자체도 손실에 포함되어 공동 최적화된다.

실험에서는 2‑D 평면 도달 과제와 6‑DOF Panda 로봇의 토크 제어를 대상으로, 동일한 예측‑제어 파이프라인을 적용한 비스파이킹 GRU/RNN과 비교하였다. 결과는 SNN이 평균 성공률·최종 오차 측면에서 거의 동등하거나 약간 우수했으며, 파라미터 수는 RNN 대비 4~6배 감소했다. 이는 스파이킹 네트워크가 높은 차원의 연속 제어에서도 효율적인 표현력을 가짐을 시사한다.

아벨레이션 연구에서는 (i) 초기 전압 및 전류의 ‘플럭투에이션‑드리븐 초기화’, (ii) 시간 상수와 적응 임계값을 학습 가능하게 하는 것, (iii) 잠재 공간 압축(중간 레이어 차원 축소) 및 (iv) 정규화(스파이크 비율, L2) 등을 단계별로 제거·변경하였다. 특히 시간 상수와 적응 임계값을 고정하면 학습이 불안정해지고, 초기화가 부적절하면 스파이크가 거의 발생하지 않아 손실이 전파되지 않는다. 반면 잠재 공간 압축은 파라미터 절감에 크게 기여했으며, 성능 저하 없이 효율성을 높였다.

이 논문은 스파이킹 신경망이 기존 ANN 기반 연속 제어와 경쟁할 수 있는 실증적 근거를 제공함과 동시에, 성공적인 학습을 위해 반드시 고려해야 할 ‘시간 역학 파라미터’, ‘초기화 전략’, ‘서러게이트 함수 선택’ 등의 설계 원칙을 정리한다. 또한, 모델‑기반 접근을 통해 정책 학습에 필요한 샘플 효율성을 향상시킬 수 있음을 보여주어, 향후 neuromorphic 하드웨어와 결합한 저전력 로봇 제어 시스템 구축에 중요한 이정표가 된다.