신경망 기반 스케일링 법칙 NeuNeu로 다운스트림 성능 예측 혁신

초록

본 논문은 기존 검증 손실 기반 로그스케일링 법칙이 다운스트림 태스크별 성능을 정확히 예측하지 못한다는 한계를 지적하고, 토큰 수준 손실 분포와 과거 정확도 궤적을 입력으로 활용하는 Transformer 기반 모델 NeuNeu를 제안한다. NeuNeu는 시계열 외삽 방식으로 미래 성능을 추정하며, 66개 태스크에서 평균 절대 오차(MAE)를 2.04%로 낮춰 기존 로그스케일링(3.29% MAE)보다 38% 개선한다. 또한 모델·파라미터·태스크 전반에 걸친 제로샷 일반화 능력을 입증한다.

상세 분석

이 논문은 언어 모델 스케일링 법칙 연구의 두 가지 근본적인 문제점을 명확히 제시한다. 첫째, 기존 연구가 검증 손실(또는 퍼플렉시티)의 평균값만을 사용해 다운스트림 성능을 예측하는데, 이는 토큰 수준 손실 분포가 갖는 중요한 통계적 정보를 소실한다는 점이다. 동일한 평균 손실이라도 손실 분포의 왜도·분산이 다르면 모델이 학습한 표현 능력이나 일반화 특성이 크게 달라질 수 있다. 둘째, 로그스케일링과 같은 단일 파라메트릭 함수는 ‘역스케일링’이라 불리는, 규모가 커질수록 성능이 정체되거나 감소하는 현상을 포착하지 못한다. 이러한 한계를 극복하기 위해 저자들은 스케일링 법칙 예측을 시계열 외삽 문제로 재구성하고, 토큰 수준 손실을 확률 형태(p_i = e^{-ℓ_i})로 변환한 뒤 CNN 기반 손실 인코더로 압축한다. 인코더는 1D 컨볼루션을 여러 층 적용해 계층적 다운샘플링을 수행하고, 최종 임베딩을 Transformer에 전달한다. Transformer는 과거 정확도 y_t와 계산 간격(g_t) 정보를 함께 입력받아, CLS 토큰을 통해 미래 정확도 y_{t+K}의 분포를 예측한다. 여기서 중요한 점은 양자 회귀(quantile regression)를 사용해 0.1, 0.25, 0.5, 0.75, 0.9 분위수를 동시에 출력함으로써 예측 불확실성을 정량화한다는 것이다. 학습 단계에서는 핀볼 손실(pinball loss)을 적용해 각 분위수에 대한 오차를 최소화한다.

데이터 측면에서 저자들은 HuggingFace에 공개된 6가지 모델 크기의 DataDecide 훈련 궤적을 활용한다. 각 모델은 3개의 시드와 다수의 체크포인트를 가지고 있으며, 매 체크포인트마다 66개의 다운스트림 태스크(OLMES 스위트)에서 정확도가 측정된다. 훈련 샘플은 일정 간격의 정확도·계산 간격 시퀀스를 무작위로 드롭아웃(dropout)시켜 생성함으로써, 모델이 불완전한 관측에서도 강건하게 예측하도록 만든다. 또한 토큰 손실을 256k 연속 토큰에 대해 평가하고, whitespace 토크나이징과 서브워드 확률 합산을 통해 모델 간 토큰화 차이를 최소화한다.

실험에서는 네 가지 제로샷 일반화 시나리오(시드 교체, C4 데이터셋 교체, Pythia 모델군, 미보유 태스크)에서 NeuNeu가 모든 경우에서 가장 낮은 MAE를 기록한다. 특히 파라미터 규모가 훈련 분포 밖에 있는 Pythia(70M~6.9B)에서도 평균 MAE 0.022 정도로 로그스케일링(≈0.036)보다 현저히 우수했다. Ablation 연구에서는 평균 손실만을 사용한 버전(Average)과 히스토그램 차이만을 사용한 버전(DiffHist)이 각각 성능이 크게 떨어짐을 보여, 토큰 수준 확률 분포 전체를 활용하는 것이 핵심임을 입증한다. 또한 ‘NoLoss’ 모델(손실 정보 없이 정확도만 사용)도 성능이 저하돼, 손실 정보가 예측에 필수적임을 확인한다.

이 논문의 주요 기여는 다음과 같다. (1) 파라메트릭 가정 없이 스케일링 법칙을 학습하는 최초의 신경망 모델 제안, (2) 양자 회귀를 통한 불확실성 추정 및 캘리브레이션, (3) 토큰 수준 손실 분포를 활용한 입력 설계와 이를 통한 성능 향상, (4) 공개 데이터만으로 재현 가능하고, 다양한 모델·데이터·태스크에 일반화 가능한 프레임워크 제공이다. 한계점으로는 현재 20M 파라미터 규모의 Transformer만 사용했으며, 더 큰 모델이나 멀티모달 데이터에 대한 확장성 검증이 부족하다는 점이다. 향후 연구에서는 손실 인코더를 더 깊게 설계하거나, 멀티태스크 메타러닝과 결합해 더욱 다양한 도메인에 적용할 수 있을 것이다.