스파이킹 오토인코더 기반 멀티모달 이미지 합성 및 역전파 기법
** 본 논문은 스파이킹 신경망(SNN)에서 막전위 기반 직접 역전파를 이용해 이미지·오디오를 압축된 시공간 스파이크 표현으로 변환하고, 이를 공유 표현으로 활용해 오디오 입력으로부터 MNIST 이미지를 고품질로 재생성하는 방법을 제시한다. MNIST·Fashion‑MNIST 재구성 실험에서 기존 ANN 수준의 손실을 달성했으며, TI‑46 음성→이미지 변환에서도 경쟁력 있는 성능을 보였다. **
저자: Deboleena Roy, Priyadarshini P, a
**
본 논문은 스파이킹 신경망(SNN)에서 시공간 정보를 보존하면서도 효율적인 학습을 가능하게 하는 새로운 역전파 기법과 이를 활용한 멀티모달 이미지 합성 프레임워크를 제시한다. 먼저, 저자들은 LIF(Leak‑Integrate‑and‑Fire) 뉴런 모델을 기반으로, 뉴런의 막전위(V_mem)를 직접 손실 함수에 사용한다. 전통적인 SNN 학습 방식인 STDP는 비지도 학습에 적합하지만 ANN 수준의 성능을 내기 어렵고, 평균 발화율 기반 손실은 시간 정보를 손실한다. 이에 반해, 본 연구는 출력 뉴런의 목표 막전위 O
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기