셀프‑리스케일 동적 정규화 SeeDNorm: 입력 스케일을 보존하는 차세대 정규화 기법

초록

SeeDNorm은 RMSNorm의 고정 스케일링을 동적으로 바꾸어 입력 벡터의 노름 정보를 유지한다. 입력에 따라 학습 가능한 스케일 파라미터를 자동 조정함으로써 대규모 언어 모델과 비전 모델 모두에서 수렴 속도와 최종 성능을 향상시킨다.

상세 분석

SeeDNorm은 기존 RMSNorm이 “입력 벡터를 단위 구면으로 정규화하고 고정된 γ(스케일) 파라미터로 복원”하는 구조를 확장한다. 핵심 아이디어는 입력 x와 학습 가능한 벡터 β의 내적을 tanh(σ)로 비선형 변환한 뒤, 또 다른 학습 파라미터 α와 곱해 동적 스케일 행렬 s = σ(x·βᵀ)·α를 만든다. 최종 출력은 (s + γ) ⊙ x / RMS(x) 형태이며, 여기서 γ는 기존 RMSNorm과 동일하게 초기화한다.

1. 입력 노름 보존: RMSNorm은 정규화 단계에서 입력 노름을 완전히 버리지만, SeeDNorm은 σ(x·βᵀ)·α 항을 통해 입력 스케일 정보를 다시 반영한다. tanh는 출력 범위를