최적 스케일링을 위한 핵심 인자 출력층 연산자 노름

초록

본 논문은 Adam과 Scion 옵티마이저에서 모델·데이터 규모를 확장할 때 최적 학습률‑배치 크기 조합이 동일한 출력층 연산자 노름을 유지한다는 “노름 전이” 현상을 발견한다. 이 노름은 최적화에 필요한 필요조건이지만 충분조건은 아니며, Scion에 대한 스케일링 법칙을 제시하고 레이어별 학습률 튜닝이 성능을 향상시킴을 실증한다.

상세 분석

논문은 최근 대규모 언어 모델(LLM) 훈련에서 하이퍼파라미터 전이 문제를 해결하기 위한 통합 원리를 찾고자 한다. 기존의 µP(Maximum Update Parametrization)와 경험적 스케일링 법칙은 모델 크기 혹은 데이터 양에 각각 적용되었지만, 두 축을 동시에 고려하는 일관된 기준은 없었다. 저자들은 “연산자 노름 기반 최적화”라는 최신 패러다임을 차용해, 각 레이어에 특정 노름을 할당하고 그에 맞는 듀얼리티 맵을 적용하는 Scion 옵티마이저를 중심으로 실험을 설계했다.

핵심 발견은 출력층에 적용되는 RMS→∞ 노름(정의 2)이 모델·데이터 규모가 변해도 최적(η*, B*) 조합에서 거의 일정한 값을 유지한다는 점이다. 이를 “노름 전이(Norm Transfer)”라 명명하고, 실험적으로 69M 파라미터부터 1.3B 파라미터까지, 그리고 2³³ 토큰부터 1.38×10¹¹ 토큰까지 다양한 설정에서 동일한 노름 값이 관측되었다. 이 현상은 필요조건으로 작용한다; 동일 노름을 달성하는 η‑B 조합이 여러 개 존재하지만, 실제 최저 손실을 내는 조합은 유일하다.

Scion에 대한 스케일링 법칙을 정량화한 결과, 최적 학습률 η는 배치 크기 B와 데이터 양 D에 대해 η ∝ B⁰·⁶²·D⁻⁰·⁵⁶ 형태이며, 이는 Adam의 알려진 √B·D⁻⁰·⁵⁶ 스케일링과 일치한다. 배치 크기 자체는 D⁰·⁴⁵ 정도로 증가하고, 고정 D에서 η와 B는 η ∝ √B 관계를 보이며, 최적 노름 근처에서는 손실 민감도가 낮아 계산 효율을 위한 배치 확대가 가능함을 시사한다.

또한 레이어 그룹별 학습률 비율을 1 : 1/8 : 1 (입력 : 숨김 : 출력) 로 설정하면 평균 6 % 정도의 상대 손실 감소를 얻었다. 특히 출력층은 학습률 변화에 가장 민감하고, 숨김 레이어는 낮은 학습률이, 입력 레이어는 기본 학습률이 거의 최적에 가깝다.

실험 인프라 측면에서 저자들은 Scion의 분산 구현인 Disco를 공개하고, 2,000회 이상의 훈련 로그를 WandB에 공유한다. 이는 대규모 LLM 훈련 동역학을 재현·확장하고, 노름 기반 분석을 보다 폭넓게 적용할 수 있는 기반을 제공한다.

전체적으로 이 연구는 “출력층 연산자 노름”이라는 단일 스칼라가 모델·데이터 스케일링을 연결하는 교량 역할을 함을 증명하고, 이를 활용한 실용적인 하이퍼파라미터 전이 및 레이어별 튜닝 전략을 제시한다.