가중치 스케일링으로 빠르게 학습하는 사인 신경장

초록

본 논문은 사인 활성함수를 사용하는 신경장(SNF)의 초기 가중치를 일정 비율로 확대하는 “가중치 스케일링(weight scaling)” 기법을 제안한다. 기존의 신호 전파 기반 초기화가 학습 속도에 최적이 아님을 보이고, α≥1인 스케일링을 적용하면 훈련 단계가 최대 10배 빨라지면서도 일반화 성능은 크게 저하되지 않는다. 이 현상을 이론적으로는 활성분포 보존, 고주파 성분 강화, 최적화 궤적의 조건수 개선으로 설명하고, 다양한 데이터 도메인에서 실험적으로 검증하였다.

상세 분석

본 연구는 사인 활성함수를 갖는 다층 퍼셉트론, 즉 Sinusoidal Neural Field(SNF)의 초기화가 훈련 효율에 미치는 영향을 체계적으로 분석한다. 기존의 SNF 초기화는 각 층의 가중치를 입력 차원에 따라 √6/√d·ω h 로 스케일링하여 활성분포가 arcsin(−1,1) 형태를 유지하도록 설계되었으며, 이는 신호 전파 원칙에 기반한다. 그러나 저자들은 이 방식이 훈련 속도 측면에서는 최적이 아님을 발견하고, 모든 층(마지막 층 제외)의 가중치를 동일한 상수 α≥1 로 곱하는 간단한 “가중치 스케일링”이 훈련을 급격히 가속한다는 사실을 실험을 통해 입증한다.

이 현상의 핵심 원인은 세 가지 이론적·실증적 특성에 있다. 첫째, Proposition 1에 따르면 α를 확대해도 중간 층의 활성분포는 여전히 arcsin(−1,1) 형태를 유지한다. 즉, 신호 전파가 깨지지 않아 깊은 네트워크에서도 안정적인 전방 전파가 가능하다. 둘째, 스케일링은 각 층의 입력에 대한 주파수를 증가시킬 뿐 아니라 고차 조화 성분의 상대적 크기도 확대한다. Theorem 3은 이를 수학적으로 증명하며, 결과적으로 고주파 신호를 빠르게 학습할 수 있게 된다. 셋째, 가중치 스케일링은 파라미터 공간에서의 기울기와 헤시안 스펙트럼을 개선한다. 실험적으로 eigenspectrum 분석을 수행한 결과, 스케일링된 모델은 특이값이 더 고르게 분포하고 조건수가 낮아 최적화 궤적이 잘 정렬됨을 확인했다. 이는 “lazy training” 현상과는 대조적이다; ReLU 기반 네트워크에서는 큰 스케일링이 커널 영역에 머물러 일반화가 저하되지만, 사인 활성함수는 비선형성이 충분히 유지되어 빠른 수렴과 좋은 일반화가 동시에 가능하다.

또한, α의 선택은 데이터의 물리적 스케일(해상도, 모델 크기)과 강하게 연관된다. 실험에서는 이미지 복원, 3D 신호 재구성, 물리 기반 시뮬레이션 등 다양한 도메인에서 α≈1.5~2.5 구간이 최적의 속도-정밀도 트레이드오프를 제공한다는 공통된 패턴을 발견했다. 이 구간을 벗어나면 훈련 속도는 더 빨라지지만 테스트 PSNR이 급격히 감소한다. 따라서 저자들은 “speed(α)/speed(1) 최대화, 테스트 손실 제한”이라는 제약 최적화 문제를 제시하고, 경험적 튜닝 없이도 데이터 규모에 기반한 α 추정 방법을 제안한다.

결과적으로, 가중치 스케일링은 별도의 메타러닝이나 복잡한 아키텍처 변경 없이도 기존 SNF 구현에 1줄 코드만 추가하면 되며, 최신 고성능 NF 아키텍처보다도 빠른 학습을 달성한다. 이는 신경장 분야에서 초기화 설계가 아직 충분히 탐구되지 않았음을 시사하고, 향후 더 정교한 스케일링 전략이나 다른 비선형 활성함수에 대한 확장 가능성을 열어준다.