벤치마크 점수는 단어 겹침 정도로 예측된다

초록

본 논문은 사전학습 코퍼스와 평가 벤치마크 간의 단어 수준 unigram 교차 엔트로피와 단어 빈도 통계를 이용해 데이터 겹침을 정량화하고, 10개의 제로샷 벤치마크와 4개의 사전학습 데이터셋(8.5 B60 B 토큰), 400 M3 B 파라미터 모델을 대상으로 실험한다. 결과는 교차 엔트로피가 낮을수록(즉, 단어 분포가 유사할수록) 벤치마크 성능이 향상되는 강한 역상관관계를 보여준다. 동일 교차 엔트로피 조건에서 사전학습 토큰량을 늘리면 추가적인 성능 향상이 관찰돼, 단어 빈도 통계도 중요한 역할을 함을 시사한다. 따라서 많은 표준 벤치마크는 사전학습 코퍼스와 크게 out‑of‑distribution 이 아니며, 간단한 단어 겹침 지표만으로도 성능을 예측할 수 있다.

상세 분석

이 연구는 “벤치마크가 실제 모델 일반화 능력을 측정하는가?”라는 근본적인 질문에 대해 데이터 수준의 겹침을 정량화함으로써 새로운 관점을 제공한다. 저자들은 두 가지 단어‑레벨 메트릭, 즉 사전학습 코퍼스의 단어 분포를 사용한 unigram 교차 엔트로피와 단순 단어 빈도 통계를 도입한다. 교차 엔트로피는 KL 발산과 동일한 형태이므로, 두 데이터셋 간의 마진 분포 차이를 순수하게 측정한다. 토크나이저 의존성을 배제하기 위해 whitespace 기반 단어 분할과 Laplace 스무딩을 적용했으며, 이는 서브워드 토크나이저가 초래할 수 있는 인위적 편향을 최소화한다.

실험 설계는 4개의 사전학습 코퍼스(FineWeb‑Edu, DCLM, C4, OpenWebText)를 8.5 B, 26 B, 60 B 토큰 규모로 확장하고, LLaMA 기반 모델을 400 M, 1.33 B, 3.36 B 파라미터로 학습시킨 뒤, ARC Easy/Challenge, Hellaswag, MMLU, SciQ 등 10개의 제로샷 벤치마크에 평가한다. 결과는 거의 모든 조합에서 교차 엔트로피가 낮을수록(즉, 사전학습 코퍼스가 벤치마크 단어 분포를 더 잘 예측할수록) 정확도가 상승한다는 일관된 역상관을 보여준다. 특히, 동일 교차 엔트로피 수준에서 토큰량을 늘리면 성능이 추가로 향상되는 현상은 단어 빈도(롱테일 단어의 존재 비율 등)가 모델의 일반화에 미치는 영향을 강조한다.

이러한 발견은 현재 널리 사용되는 벤치마크가 실제로는 사전학습 데이터와 높은 lexical overlap을 가지고 있음을 의미한다. 따라서 “진정한 OOD”를 측정하고자 할 때는 단순히 단어 수준 겹침을 넘어, 구문·문맥·추론 수준의 차이를 포착할 수 있는 메트릭이 필요하다. 또한, 본 연구는 영어 위주의 데이터와 whitespace 토크나이저에 국한돼 있어, 다른 언어·스크립트에 대한 일반화 가능성은 추가 검증이 요구된다.

한계점으로는 (1) 단어‑레벨만을 고려함으로써 의미적·구조적 차이를 충분히 반영하지 못한다는 점, (2) 제로샷 설정에만 초점을 맞추어 파인튜닝·인-컨텍스트 학습 상황에서의 OOD 특성을 탐색하지 않은 점, (3) 모델 규모가 3 B 이하로 제한돼 최신 대형 모델(예: 70 B 이상)과의 비교가 부족하다는 점을 들 수 있다. 그럼에도 불구하고, 사전학습 데이터 선택이 벤치마크 성능에 미치는 영향을 정량적으로 보여준 점은 데이터 엔지니어링과 벤치마크 설계 모두에 중요한 인사이트를 제공한다.