다국어와 다작업 NLP 평가의 불확실성 정량화

초록

본 논문은 다국어·다작업 NLP 벤치마크에서 모델과 데이터 양쪽의 변동성을 동시에 고려한 재표본(resampling) 기반 방법을 제안한다. 부트스트랩과 시드 변동을 이용해 언어별·작업별 분산을 분해하고, 이를 통해 리더보드 순위, 모델 간 차이 등 복합 지표의 복제 불확실성을 정량화한다.

상세 분석

이 연구는 다국어·다작업 NLP 평가를 계층적 확률 모델로 공식화하고, 기존 연구가 주로 데이터 측면(테스트 셋 부트스트랩) 혹은 모델 측면(다중 학습 시드) 중 하나만 고려해 왔던 한계를 극복한다. 저자들은 M개의 모델을 L개의 언어·작업에 대해 R번 복제한 데이터를 3‑레벨 트리 구조(모델 → 언어 → 복제)로 표현하고, 전체 분산 V