전략적 모델 제출과 복제 방지: AI 아레나 순위 메커니즘의 새로운 설계

AI 아레나는 사용자들이 두 모델의 출력을 비교해 선호도를 표시하는 쌍별 투표 방식을 통해 모델들의 상대적 성능을 순위화한다. 이러한 시스템은 실제 사용 상황을 반영한다는 장점이 있지만, 투표 수가 제한적이고 승률 차이가 미미한 경우 통계적 노이즈가 크게 작용한다. 저자들은 이러한 노이즈를 악용해 동일 모델을 여러 번 제출(‘클론’)함으로써 순위를 인위적으로 끌어올릴 수 있는 위험성을 이론적으로 분석한다. 먼저, 논문은 현재 대부분의 AI 아레나가 채택하고 있는 브래들리‑터리(BT) 모델을 기반으로 한 최대우도 추정 방식을 수학적으로 정형화한다. 각 모델 j는 잠재 품질 R_j ≥ 0를 가지고, 사용자 투표는 독립적인 베르누이 시행으로 모델 j가 모델 j′보다 우위에 있을 확률을 exp(R_j)/