사인파 초기화: 딥러닝의 새로운 시작

초록

본 논문은 딥러닝 모델 학습의 핵심 요소인 가중치 초기화 방식을 혁신한 ‘사인파 초기화(Sinusoidal Initialization)‘를 제안합니다. 기존 Glorot, He 초기화가 무작위성에 의존해 가중치 분포가 불균일하고 뉴런 활성화가 치우치는 문제를 지적하며, 사인 함수를 이용해 구조화된 결정론적 가중치 행렬을 생성하는 방법을 소개합니다. 이 방법은 학습 초기부터 뉴런 활성화를 균형 있게 분포시켜 더 빠른 수렴, 높은 안정성, 그리고 향상된 최종 정확도를 보장하며, 합성곱 신경망, 비전 트랜스포머, 대규모 언어 모델 등 다양한 아키텍처에서 평균 4.9%의 정확도 향상과 20.9%의 수렴 속도 개선을 실험을 통해 입증했습니다.

상세 분석

이 논문이 제안하는 사인파 초기화의 기술적 핵심은 가중치 행렬 W ∈ R^(m×n)의 각 요소를 결정론적인 사인 함수로 정의하는 데 있습니다. 구체적으로, W