날씨 에뮬레이션을 위한 연속 학습 기반 신경 스케일링 법칙

본 논문은 과학적 머신러닝, 특히 데이터 기반 날씨 예측 모델에 신경 스케일링 법칙을 적용하여 모델·데이터·컴퓨트 간의 관계를 체계적으로 분석한다. 연구자는 복잡한 도메인 특화 설계 대신, 범용적인 Swin Transformer 백본을 최소화된 형태로 채택하고, 이를 2‑D 공간 병렬화와 데이터 병렬화와 결합해 다양한 규모의 실험을 가능하게 한다. 모델 파라미터는 100 M에서 450 M까지, 데이터는 ERA5 0.25° 해상도(시간당 30만 샘플)로 구성하며, 총 FLOP 예산은 6 × 10¹⁷ ~ 6 × 10¹⁹ 범위에서 조정한다. 스케일링 실험의 핵심은 ‘연속 학습(Continual Training)’ 전략이다. 고정 학습률을 유지한 뒤, 목표 FLOP에 도달하기 직전 짧은 쿨다운(전체 학습 단계의 5 % 미만)으로 학습률을 급격히 0으로 낮춘다. 이 방식은 기존 코사인 학습률 스케줄과 동등하거나 더 나은 성능을 보이며, 체크포인트를 재활용해 동일 모델을 여러 FLOP 예산에 맞춰 재학습할 수 있어 실험 비용을 크게 절감한다. 쿨다운 단계는 단순히 학습률을 감소시키는 것에 그치지 않고, 두 가지 다운스트림 맞춤 손실을 적용하는 ‘재활용’ 구간으로 활용된다. 첫 번째는 Adjusted MSE(AMSE) 손실로, 기존 MSE가 저해상도 시간 샘플링으로 인해 고주파 정보를 손실하는 문제를 보완한다. AMSE는 스펙트럼 진폭과 위상 오류를 분리해 고해상도 대기 현상을 더 정확히 재현한다. 두 번째는 다중 단계 자동 회귀(AR) 롤아웃 손실로, 예측 단계가 늘어날수록 발생하는 분포 이동 오류를 완화한다. AR 손실은 훈련 시 여러 시간 스텝을 동시에 예측하도록 강제함으로써 장기 예측 정확도를 크게 향상시킨다. 이러한 쿨다운 재활용은 별도의 파인튜닝 스케줄을 설계할 필요 없이 동일 사전학습 모델을 다양한 응용에 맞출 수 있게 한다. 스케일링 결과는 전형적인 전력법칙 형태를 보인다. 모델 파라미터(N), 데이터 양(D), 총 FLOP(C) 각각에 대한 지수 α, β, γ를 추정한 결과, 손실은 N^‑α·D^‑β·C^‑γ 형태로 감소한다. 특히 각 FLOP 예산마다 최적의 모델 크기와 데이터 양이 존재함을 확인했으며, 이를 ‘Compute‑optimal’ 곡선이라고 부른다. 예산이 증가함에 따라 작은 모델보다 더 큰 모델이 효율적이며, 데이터 양도 일정 수준 이상이면 포화 현상이 나타난다. 최대 1.3 B 파라미터 모델을 2.25 × 10²¹ FLOP까지 확장한 실험에서는 손실 감소가 점차 완만해지는 포화 현상이 관찰되었다. 이는 현재 데이터 해상도와 시간 샘플링 간격이 더 이상 스케일링을 견인하지 못한다는 의미이며, 향후 성능 향상을 위해서는 데이터 해상도·시간 간격을 개선하거나 새로운 물리 기반 입력을 도입해야 함을 시사한다. 결론적으로, 논문은 (1) 최소화된 Swin Transformer와 연속 학습이 스케일링 실험을 비용 효율적으로 수행하게 함을, (2) 쿨다운 구간을 AMSE와 AR 손실로 재활용해 장기 예측 정확도와 고해상도 재현성을 동시에 개선함을, (3) IsoFLOP 기반의 컴퓨트‑옵티멀 분석이 모델·데이터·컴퓨트 간 균형을 정량적으로 제시함을 입증한다. 이러한 통찰은 대규모 과학 모델링에서 리소스 할당을 사전에 예측하고 설계하는 데 중요한 지침을 제공한다.