LLM 파인튜닝의 차원 저주를 넘어: 곡률‑분산 관점에서 본 작은 인구 ES의 성공

초록

본 논문은 대규모 언어 모델을 무작위 가중치 교란 기반 진화 전략(ES)으로 파인튜닝할 때, 인구 규모가 수십 수준으로도 충분함을 설명한다. 핵심 가설은 파인튜닝 손실 표면이 ‘곡률 차원’이 낮아, 소수의 고곡률 방향만이 실질적인 개선을 주도한다는 것이다. 이러한 저차원 곡률 구조는 (i) 초기 급격한 성능 상승 후 고정된 잡음 수준에서 발생하는 ‘상승‑후‑감소’ 현상을 만들고, (ii) 작은 인구에서도 고곡률 방향을 충분히 탐색하게 해 ES가 수십억 파라미터 모델에 확장될 수 있게 한다. 실험은 GSM8K, ARC‑C, WinoGrande 등 세 가지 벤치마크와 0.5 B‑7 B 파라미터 Qwen2.5‑Instruct 모델을 대상으로 수행했으며, 곡률‑분산 프레임워크가 제시하는 스케일링 법칙을 정량적으로 검증한다.

상세 분석

이 연구는 두 가지 현상을 하나의 기하학적 메커니즘으로 통합한다. 첫 번째는 “차원의 축복”이라 부르는 현상으로, 파인튜닝 손실 함수 (J(\theta))의 헤시안 스펙트럼이 대부분 거의 0에 몰려 있는 대량의 평탄한 고유값과, 소수의 큰 고유값(고곡률 방향)으로 구성된다는 기존 연구를 기반으로 한다. 저차원 고곡률 서브스페이스의 차원 (d)는 전체 파라미터 차원 (D)와 무관하게 일정하거나 오히려 모델 규모가 커질수록 감소한다는 가정 하에, ES는 무작위 교란 (\epsilon\sim\mathcal N(0,I))를 통해 이 서브스페이스에 대한 샘플을 충분히 얻을 수 있다. 교란 규모 (\sigma)와 인구 크기 (N)가 결정하는 효과적 잡음 (\kappa=\sigma^{2}/N)가 충분히 작으면, 고곡률 방향에서 기대되는 상승 신호가 잡음보다 크게 남아 작은 인구(N≈30)만으로도 유의미한 그라디언트 추정 (\hat g)을 만든다.

두 번째 현상은 고정된 잡음 수준에서 관찰되는 “상승‑후‑감소” 곡선이다. 저차원 고곡률 서브스페이스와 고차원 평탄 서브스페이스 사이에 시간 스케일 차이가 존재한다. 초기 단계에서는 고곡률 방향이 아직 미사용 상태이므로, ES 업데이트가 이 방향을 따라 급격히 손실을 감소시킨다. 그러나 반복 업데이트가 진행되면서 고곡률 성분은 포화되고, 남은 평탄 방향에서는 순수한 확산(노이즈) 효과만 남는다. 이때 파라미터는 잡음에 의해 무작위로 퍼지면서 평균 보상이 감소하게 되며, 이는 “피크 이후 감소” 현상으로 나타난다. 논문은 이를 2‑블록(고/저 곡률) 헤시안을 갖는 2차 근사 모델 (J(\theta^{\star}+x)\approx J(\theta^{\star})-\frac12 x^{\top}C x)와 고정 스텝 노이즈를 포함한 선형 확산 방정식 (\theta_{t+1}=(I-\alpha C)\theta_t+\alpha\sigma\sqrt{N},\epsilon_t)로 수학적으로 분석한다. 해석 결과, 고곡률 고유값 (\lambda_h)와 저곡률 고유값 (\lambda_l) 사이의 비율이 클수록 피크가 뚜렷해지고, 잡음 수준 (\kappa)가 클수록 피크가 빨리 사라진다.

실험에서는 ES를 “기하학적 프로브”로 활용해, 다양한 모델 크기와 데이터셋에서 고곡률 방향에 해당하는 교란이 실제로 존재함을 확인한다. 구체적으로, 각 실험에서 30개의 교란 샘플 중 최소 하나가 평균보다 유의미하게 높은 보상을 제공하는 비율을 측정했으며, 이는 모델 규모가 커질수록 크게 감소하지 않고 일정 수준을 유지한다. 또한, 인구 크기와 교란 스케일을 변형하면서 피크 시점과 감소 정도가 예측된 대로 변함을 보여, 제안된 “곡률‑분산” 프레임워크가 실제 학습 역학을 설명한다는 점을 입증한다.

이 논문의 의의는 두fold이다. 첫째, 최악의 경우 차원 저주를 전제로 한 제로‑오더 이론과 달리, 실제 LLM 파인튜닝에서는 고차원 파라미터 대부분이 “무의미한” 평탄 방향으로 작용하므로, 작은 인구 ES도 충분히 효율적이다. 둘째, 고정된 잡음 하에서 발생하는 비단조 학습 곡선은 고곡률‑평탄 차원 간 시간 스케일 불균형에서 비롯된 현상이며, 이를 이해하면 학습 스케줄(예: 잡음 감소, 인구 확대) 설계에 직접적인 인사이트를 제공한다.