테스트셋 오염이 생성 평가에 미치는 영향 정량화

초록

본 논문은 웹 규모 사전학습 데이터에 수학 문제 벤치마크(MATH)를 포함시켜 발생하는 테스트셋 오염이 생성형 평가에 미치는 영향을 전 단계에 걸쳐 정량적으로 분석한다. 모델 크기와 오염 정도를 다양하게 조절한 사전학습 실험에서 오염이 성능을 향상시키지만, 이는 실제 일반화가 아니라 정답을 암기한 결과임을 재구성된 테스트와 스케일링 법칙을 통해 입증한다. 추가 학습(과다 학습 및 감독 미세조정)과 추론 시 온도·문장 길이 조절이 오염 효과를 완화하거나 강화할 수 있음을 보이며, 평가 라이브러리의 버그도 발견·수정한다.

상세 분석

이 연구는 생성형 평가, 특히 수학 문제 풀이와 같은 장문 생성 과제에 테스트셋 오염이 어떤 메커니즘으로 작용하는지를 체계적으로 파헤친다. 먼저, 34 M에서 344 M까지 5가지 규모의 트랜스포머 모델을 Qwen‑3 아키텍처 기반으로 사전학습하고, 웹 크롤링 데이터에 MATH 테스트셋을 0부터 3162 복제까지 로그 스케일로 삽입한다. 사전학습 단계에서는 모델 파라미터 수와 FLOP(6 N D)라는 컴퓨팅 비용을 기준으로 스케일링 법칙 L(C,R)=E(R)+C₀(R)·C^{−α(R)}를 피팅한다. 결과는 두드러진 세 가지 인사이트를 제공한다. 첫째, 오염 복제 수가 100 정도가 되면 성능 급증을 보이며, 이는 기존의 판별형 평가에서 관찰된 “임계점”과 유사하지만, 생성형 평가에서는 정답 길이가 수십~수백 토큰에 달해 메모리 효율이 크게 달라진다. 둘째, 스케일링 분석에 따르면 단 하나의 복제만 삽입해도 비오염 데이터에서 기대되는 불가피한 오류(irreducible error)보다 낮은 교차 엔트로피를 달성한다. 이는 전통적인 스케일링 가정(무한히 확장 가능한 일반화)과 충돌하며, 모델이 실제 수학적 추론을 학습하기보다 정확히 동일한 문자열을 암기한다는 강력한 증거가 된다. 셋째, 오염 효과는 추가 학습 단계에서 크게 변한다. 신선한 데이터로 과다 학습(overtraining)하면 오염 비율이 희석돼 성능이 감소하고, 특히 대형 모델일수록 오염 이점이 빠르게 사라진다. 반면, 감독 미세조정(SFT)은 오염 수준에 따라 양극화된 영향을 미친다. 낮은 오염에서는 SFT가 일반화된 패턴을 강화해 성능을 끌어올리지만, 높은 오염에서는 이미 암기된 정답을 강화해 오히려 일반화 능력을 저해한다. 추론 단계에서는 샘플링 온도가 핵심 변수로 작용한다. 온도 0(그리디)에서는 모델이 암기된 경로에 고정돼 “Deterministic Lock‑In” 상태에 머무르지만, 온도를 높이면 “Truth Serum” 효과가 나타나 오염된 정답과 무관하게 더 다양하고 일반화된 출력을 생성한다. 또한, 문제 해결 길이가 길어질수록 메모리 비용이 지수적으로 증가해 암기된 정답을 재현하기 어려워진다. 이는 짧은 선택형 문제와는 달리, 생성형 과제에서 오염이 미치는 위험이 문제 길이에 따라 크게 달라진다는 점을 시사한다. 마지막으로, 연구팀은 널리 사용되는 EleutherAI LM Evaluation Harness의 Math Verify 구현에 버그를 발견하고 수정함으로써, 기존 연구에서 보고된 성능이 실제보다 낮게 평가된 가능성을 제시한다. 전체적으로 이 논문은 테스트셋 오염이 생성형 평가에 미치는 영향을 정량화하고, 모델 설계·학습·평가 전 과정에서 이를 어떻게 완화하거나 감지할 수 있는지에 대한 실용적인 가이드를 제공한다.