각도 기반 최적화 기법 AngularGrad: CNN 학습의 새로운 전환

초록

본 논문은 기존 최적화 기법이 그래디언트의 크기만을 활용하는 한계를 극복하고, 연속적인 그래디언트 사이의 각도 정보를 이용한 새로운 옵티마이저 AngularGrad를 제안한다. 탄젠트와 코사인 함수를 기반으로 한 두 변형을 도입해 각도 기반 스코어 ϕₜ를 계산하고, 이를 학습률에 곱해 단계 크기를 동적으로 조절한다. 이론적으로 Adam과 동일한 regret bound를 보이며, 실험 결과 CIFAR‑10, ImageNet 등에서 기존 최적화 기법보다 빠른 수렴과 향상된 정확도를 입증한다.

상세 분석

AngularGrad는 기존 적응형 옵티마이저(Adam, RMSProp 등)가 1차·2차 모멘트를 이용해 학습률을 조정하는 방식에서 한 걸음 더 나아가, 그래디언트 벡터 간의 방향 변화, 즉 각도 정보를 활용한다는 점이 가장 큰 차별점이다. 논문에서는 두 연속 그래디언트 gₜ와 gₜ₋₁ 사이의 각도 Aₜ를 tan⁻¹