울트라디스크리타이제이션과 맥스플러스 대수로 구현한 초미분 가능 스파이킹 신경망

초록

본 논문은 스파이킹 신경망(SNN)의 비미분성 문제를 울트라디스크리타이제이션과 맥스플러스 대수를 이용해 해결한다. 로그-합-지수(soft‑max) 함수를 온도 파라미터 ε와 함께 연속적으로 근사함으로써, ε→0일 때 기존의 경계값(threshold) 연산과 동일하게 수렴한다. LIF 방정식 기반 UltraLIF와 확산 방정식 기반 UltraDLIF 두 종류의 뉴런을 제안하고, 이들 모델은 전방‑역전파 간 불일치 없이 표준 역전파로 학습 가능하다. 이론적 수렴 증명과 그래디언트 하한을 제공하고, 6개 데이터셋에서 기존 서러게이트 그래디언트 방식보다 높은 정확도와 에너지 효율을 달성한다.

상세 분석

UltraLIF 프레임워크의 핵심은 울트라디스크리타이제이션(ultradiscretization)이라는 수학적 변환이다. 이는 연속적인 실수 연산을 로그 변환 후 ε→0 극한을 취해 맥스플러스(max‑plus) 반대로 변환함으로써, “max” 연산이 자연스럽게 뉴런의 발화 임계값을 모델링한다는 점에 착안한다. 구체적으로, 로그‑합‑지수(log‑sum‑exp) 함수
\