커리큘럼에 맞춰 성장하는 언어 모델: 효율적인 사전 학습의 새로운 패러다임

초록

대규모 언어 모델(LLM)의 사전 학습 비용이 증가함에 따라, 학습 효율성을 높이는 방법에 대한 관심이 커지고 있습니다. 이 연구는 인간의 인지 발달 과정에서 영감을 받아, 데이터의 난이도를 점진적으로 높이면서 동시에 모델의 층(layer)을 추가하는 ‘커리큘럼 가이드 레이어 스케일링(CGLS)’ 프레임워크를 제안합니다. GPT-2 Small(1억 파라미터) 및 LLaMA-3.2-1B(12억 파라미터) 규모의 실험에서, CGLS는 고정된 모델을 동일한 컴퓨팅 예산으로 학습시킨 기준 방법보다 다양한 지식 및 추론 기반 벤치마크(PIQA, ARC 등)에서 더 나은 일반화 성능과 제로샷 성능을 보였습니다. 이는 모델 용량과 데이터 복잡성을 동기화하여 점진적으로 확장하는 것이 사전 학습의 효율성과 효과성을 모두 높일 수 있음을 시사합니다.

상세 분석

본 논문이 제안하는 Curriculum-Guided Layer Scaling(CGLS)의 기술적 핵심은 ‘데이터 커리큘럼’과 ‘점진적 레이어 스택킹’이라는 두 축을 정교하게 동기화(synchronize)하는 데 있습니다. 기존의 커리큘럼 학습이나 점진적 스택킹이 각각 독립적으로 적용될 때 한계가 있었던 점을 극복하고자 합니다.

첫째, 데이터 커리큘럼 구성 방식이 매우 실용적입니다. 작은 규모(GPT-2) 실험에서는 TinyStories(간단한 이야기) -> BookCorpus -> 일반 웹 데이터(DCLM)처럼 완전히 다른 출처의 데이터셋을 사용한 반면, 큰 규모(LLaMA-3.2-1B) 실험에서는 단일 대규모 코퍼스(DataComp-LM) 내에서 복잡도를 계층화합니다. 이를 위해 GPT-4o로 레이블링한 소량의 데이터로 DistilBERT 분류기를 학습시켜 전체 문서를 ‘고등학교 수준’, ‘대학 학부 수준’, ‘대학원/전문가 수준’으로 분류합니다. 이는 별도의 메타데이터가 없는 방대한 웹 데이터에 커리큘럼을 적용하기 위한 현실적이고 확장 가능한 방법을 제시합니다.

둘째, 모델 확장 전략이 기존 학습 표현을 보호하도록 설계되었습니다. 새로운 레이어를 추가할 때마다 두 단계의 파인튜닝을 수행합니다: 1) 새 레이어만을 고정된 기존 모델 위에서 학습하는 ‘초기화 단계’, 2) 전체 모델을 함께 학습하는 ‘전체 조정 단계’. 이는 새로 추가된 랜덤 초기화 파라미터가 기존에 학습된 유용한 표현을 망가뜨리는 것을 방지하면서, 새 층이 이전 층의 출력을 효과적으로 처리하는 법을 먼저 배우도록 유도합니다.

가장 중요한 통찰은 ‘모델의 용량 증가만으로는 부족하며, 반드시 적절한 난이도의 학습 신호와 결합되어야 한다’는 것입니다. 저자들은 초기 실험에서 단순한 점진적 스택킹이 지식 암기형 작업에서 오히려 성능 하락을 보일 수 있음을 확인했습니다. CGLS는 이 문제를 데이터 커리큘럼이라는 ‘가이드’를 통해 해결합니다. 쉬운 데이터로 견고한 기초 표현을 구축한 후, 모델이 깊어지고 표현 능력이 풍부해지는 시점에 더 복잡하고 추상적인 데이터를 제공함으로써, 추가된 층이 고수준의 개념과 관계를 학습하는 데 전념할 수 있도록 합니다. 이는 마치 뇌의 신경 구조가 발달하면서 더 복잡한 사고를 학습하는 인간의 인지 발달 과정을 계산적으로 모방한 것이라 볼 수 있습니다. 실험 결과, 특히 지식이 많이 요구되는 QA 작업(ARC)에서의 큰 성능 향상은 이러한 접근법이 모델의 지식 습득과 추론 능력 향상에 효과적임을 강력히 시사합니다.