워밍업으로 추론 능력 강화: 데이터가 부족한 환경에서의 효율적 학습 전략

초록

본 논문은 제한된 도메인 데이터만 이용할 수 있는 상황에서, 간단한 논리 퍼즐인 Knights & Knaves(K&K)를 활용해 모델에 일반적인 추론 패턴을 사전 학습(워밍업)하고, 이후 소량의 목표 도메인 샘플에 대해 RLVR을 적용하는 두 단계 학습 방식을 제안한다. 실험 결과, 워밍업만으로도 다양한 벤치마크(MATH, HumanEval+, MMLU‑Pro)에서 성능이 크게 향상되며, 동일한 소량 데이터로 RLVR을 진행했을 때 워밍업된 모델이 베이스 모델을 지속적으로 앞선다. 또한 워밍업은 샘플 효율성을 높이고, 도메인 특화 RLVR 후에도 교차 도메인 일반화를 유지한다는 점을 확인하였다.

상세 분석

이 연구는 “메타‑학습” 관점에서 LLM의 추론 능력을 일반화 가능한 형태로 사전 학습시키는 전략을 제시한다. 핵심 아이디어는 도메인‑특정 지식이 거의 필요 없는 순수 논리 퍼즐인 Knights & Knaves(K&K)에서 장시간 체인‑오브‑생각(Long CoT)을 생성하고, 이를 교사 모델(Qwen‑32B)로부터 학생 모델(Qwen2.5‑3B 등)에 SFT 방식으로 증류(distillation)하는 것이다. K&K는 불리언 논리와 진리‑거짓 판단만을 요구하므로, 모델은 “자기 반성”, “가설 검증”, “오류 수정” 등 일반적인 추론 메커니즘을 학습하게 된다.

실험에서는 네 가지 베이스 모델(Qwen2.5‑3B, Qwen2.5‑1.5B‑Math, DeepSeek‑Math‑7B‑Base, Qwen2.5‑14B)을 대상으로 K&K 워밍업과 기존 고품질 Long‑CoT 데이터셋(s1K)와의 비교를 수행하였다. 결과는 K&K 워밍업이 s1K 대비 동등하거나 더 높은 성능 향상을 보이며, 특히 작은 모델에서 도메인‑특화 데이터가 오히려 성능 저하를 일으킬 수 있음을 보여준다. 이는 복잡한 도메인 지식보다 추론 패턴 자체가 모델의 전반적인 일반화에 더 큰 영향을 미친다는 점을 시사한다.

두 번째 단계인 RLVR(Verification‑based Reinforcement Learning)에서는 제한된 샘플(≤100개)만을 사용해 목표 도메인(수학, 코딩)으로 미세 조정한다. 동일한 RLVR 설정에서 워밍업된 모델은 학습 속도가 빨라 100 스텝 내에 베이스 모델 대비 5‑7%p 이상의 절대적 성능 향상을 달성했으며, 전체 7,500개 샘플을 사용한 기존 RLVR과 거의 동등한 결과를 얻었다. 이는 워밍업이 모델을 “메타‑리더” 상태로 전환시켜, 소량 데이터만으로도 효율적인 정책 탐색이 가능하게 함을 의미한다.

또한, 워밍업 후 RLVR을 진행했을 때 교차 도메인 성능 저하가 최소화되는 것을 확인하였다. 일반적인 RLVR은 특정 도메인에 최적화되면서 다른 분야에서의 추론 능력이 감소하는 경향이 있지만, 사전 워밍업을 거친 모델은 MMLU‑Pro(물리·역사 등)에서도 높은 점수를 유지했다. 이는 워밍업이 모델에 “도메인‑불변” 추론 스키마를 내재화시켜, 이후 특화된 파인튜닝이 전체적인 일반화 능력을 해치지 않게 만든다.

마지막으로, 다양한 교사 모델(Qwen‑32B, DeepSeek‑R1)과 다른 모델 패밀리(DeepSeek‑Base)에서도 동일한 워밍업 효과가 재현되었으며, 짧은 CoT(추론 메타데이터가 결여된)로 증류했을 경우 성능이 급격히 떨어지는 등, “추론 행동 자체”가 핵심 요인임을 실험적으로 입증하였다. 전체적으로 이 논문은 제한된 데이터 환경에서 LLM의 추론 능력을 효율적으로 확장할 수 있는 실용적인 파이프라인을 제시하고, 워밍업 단계가 메타‑학습과 샘플 효율성 측면에서 중요한 역할을 한다는 새로운 통찰을 제공한다.