동적 볼츠만 머신의 지연 가지치기 기반 정규화 기법

본 연구는 동적 볼츠만 머신(DyBM)의 과적합 문제를 해결하기 위해 ‘지연 가지치기(Delay Pruning)’라는 새로운 정규화 기법을 제안한다. DyBM은 기존 볼츠만 머신과 달리 시간 축으로 무한히 펼쳐지는 레이어 구조를 가지며, 각 뉴런 간 연결은 고정 길이 FIFO 큐를 통해 전도 지연을 구현한다. 이러한 구조는 생물학적 시냅스 전도 지연과 STDP(Spike‑Timing Dependent Plasticity) 메커니즘을 수학적으로 모델링한다는 점에서 독특하지만, 동시에 기존의 Dropout·DropConnect와 같은 무작위 유닛·가중치 삭제 기법을 적용하기 어렵게 만든다. ‘지연 가지치기’는 FIFO 큐의 길이를 무작위로 0(실질적으로 지연이 없는 상태)으로 축소하는 방식이다. 구체적인 절차는 다음과 같다. 먼저, 각 연결의 초기 지연 길이 d_ij를