깊이 스케일링 역전 대부분 레이어 유사

초록

본 논문은 대형 언어 모델(LLM)에서 깊이가 손실에 미치는 영향을 정량화한다. 실험 결과, 대부분의 레이어가 서로 유사한 동작을 수행해 평균적으로 손실이 깊이에 대해 역비례(1/ℓ)로 감소한다는 것을 발견했다. 이는 레이어들이 개별적인 계층적 기능을 수행하기보다 앙상블 평균화 역할을 한다는 의미이며, 현재 잔차 네트워크 구조가 이러한 비효율적 사용을 촉진한다는 결론을 제시한다.

상세 분석

논문은 먼저 기존의 신경 스케일링 법칙이 파라미터 수와 데이터 양에만 초점을 맞추는 한계를 지적하고, 깊이와 폭을 별도로 분석할 필요성을 제기한다. 이를 위해 저자들은 LLM의 내부 표현을 층별로 추적하고, 각 층에서의 히든 상태 변화 각도(θ)를 측정한다. 실험에 사용된 Pythia‑410M 모델을 포함한 여러 규모의 모델에서 대부분의 토큰이 중간 층에서 거의 동일한 작은 각도로 점진적으로 변함을 확인했으며, 초기와 최종 층만이 큰 변화를 보였다. PCA 분석은 전체 토큰 중 99.6%가 “중간 균등 업데이트” 군집에 속함을 보여준다. 이러한 현상은 레이어들이 독립적인 계층적 기능을 수행하는 ‘조합적 어셈블리’가 아니라, 서로 유사한 변환을 반복해 오류를 평균화하는 ‘앙상블 평균화’ 혹은 ‘절차적 어셈블리’에 가까움을 시사한다. 특히, 인접 층 간 업데이트 방향의 상관각이 크게 나타나 매끄러운 동역학을 가정하는 신경 ODE 모델과는 차이가 있다. 손실 스케일링 측면에서는 기존의 전체 파라미터 기반 식을 폭(m)과 깊이(ℓ)로 분해하고, 실험 데이터에 대해 로그 손실을 최소화하는 회귀를 수행했다. 결과적으로 폭에 대한 지수 α_m≈1, 깊이에 대한 지수 α_ℓ≈1.2가 추정되었으며, 깊이 항은 ℓ⁻¹ 형태의 역비례 스케일링을 보였다. 저자들은 toy residual network 실험을 통해, 목표 함수가 매끄럽지 않거나 교사 가중치가 독립적인 경우에도 동일한 역스케일링이 나타나는 것을 확인했다. 전체적으로, 논문은 현재의 잔차 구조가 레이어를 효과적으로 활용하지 못하고, 대부분의 레이어가 잡음 억제용 앙상블 역할을 수행한다는 메커니즘을 제시한다. 이는 효율적인 모델 설계—특히 깊이를 활용한 계층적 표현 학습을 촉진하는 새로운 아키텍처—의 필요성을 강조한다.