모방에서 판별로: 크로스 도메인 추론 과제를 향한 일반화된 커리큘럼 이점 메커니즘

초록

이 논문은 강화 학습 기반 대형 언어 모델 훈련에서 양수와 음수 이점 신호를 초기부터 혼합하는 기존 방식의 문제점을 지적합니다. 이를 해결하기 위해 ‘CAPO’라는 새로운 커리큘럼 학습 메커니즘을 제안합니다. CAPO는 먼저 양수 샘플만으로 모방 학습을 진행해 안정적인 기반을 다진 후, 음수 샘플을 추가하여 판별 능력을 키우는 2단계 방식을 채택합니다. 이 방법은 GRPO, PPO 등 다양한 최적화 알고리즘과 호환되며, 수학 추론 및 멀티모달 GUI 추론 과제에서 모두 일관된 성능 향상을 보여줍니다.

상세 분석

본 논문이 제안하는 CAPO(Curriculum Advantage Policy Optimization)의 핵심 기술적 통찰은 ‘이점(Advantage)’ 신호 자체를 동적 커리큘럼의 지표로 활용한다는 점입니다. 기존 커리큘럼 학습이 작업 난이도나 외부 주석과 같은 정적 휴리스틱에 의존했다면, CAPO는 모델의 현재 성능을 직접 반영하는 내재적 신호인 이점 값을 기반으로 학습 단계를 조정합니다. 이점 값이 양수인 샘플은 모델이 기대보다 잘 수행한 경우, 음수인 샘플은 기대보다 못한 경우를 의미합니다.

CAPO의 두 단계 메커니즘은 분산-편향 트레이드오프 관점에서 이론적으로 정당화됩니다. 1단계 ‘모방 단계’에서는 음수 이점 샘플을 제외함으로써 그래디언트 추정의 분산을 크게 줄여 초기 학습의 안정성을 보장합니다. 이는 편향을 도입하는 대가이지만, 불안정한 초기 학습 위험을 감수하는 것보다 효과적입니다. 2단계 ‘판별 단계’에서는 모든 샘플을 사용해 추정기의 편향을 제거함으로써 최종 모델의 일반화 성능을 극대화합니다. 이처럼 학습 초기에는 ‘안정성’을, 후기에는 ‘일반화’를 각 단계의 주요 목표로 설정한 점이 설계의 핵심입니다.

실험 결과에서 주목할 점은 CAPO가 특정 알고리즘에 국한되지 않는 일반적인 ‘프레임워크’로서의 유연성을 입증했다는 것입니다. GRPO, PPO, RLOO, Reinforce++ 등 서로 다른 이점 추정 방식을 가진 알고리즘들에 CAPO를 적용했을 때 모두 일관된 성능 향상(+1.7~+4.0 점)을 기록했습니다. 이는 CAPO의 메커니즘이 알고리즘의 세부 사항보다는 ‘이점 신호의 활용 방식’이라는 보다 근본적인 문제를 해결했기 때문으로 해석됩니다. 또한, 수학적 추론 도메인에서 검증된 이 메커니즘이 시각-언어-행동이 결합된 복잡한 GUI 기반 추론 과제로도 효과적으로 전이되었다는 점은 CAPO의 강력한 일반화 능력을 시사합니다. 요약하면, CAPO는 모델의 능력 진화에 맞춰 학습 신호의 조합을 스마트하게 조절하는 ‘메타 학습 전략’을 제안함으로써, 강화 학습 기반 모델 훈련의 효율성과 안정성을 동시에 높인 혁신적인 접근법입니다.