엘로 레이팅 시스템의 데이터 기반 파라미터 최적화

초록

본 논문은 엘로(Elo) 레이팅 시스템의 핵심 파라미터(K‑factor와 단계 구분 임계값)를 실제 경기 데이터와 시뮬레이션 데이터를 이용해 예측 정확도를 최대화하도록 경험적으로 튜닝하는 방법론을 제시한다. 로지스틱 회귀 기반의 예측 모델을 활용해 파라미터 조합을 평가하고, 최적 조합을 도출함으로써 전통적인 가정에 의존하던 파라미터 설정을 데이터‑드리븐 방식으로 대체한다.

상세 분석

이 연구는 기존 엘로 시스템이 “K‑factor”라는 단일 민감도 상수를 사용해 모든 플레이어에게 동일하게 적용하거나, 경험치에 따라 단계적으로 감소시키는 방식을 채택하고 있다는 점을 비판한다. 저자는 K‑factor를 초기, 중기, 후기 3단계로 구분하고 각각에 대해 서로 다른 값(Kₐ, K_b, K_c)과 단계 전이 임계값(n_c₁, n_c₂)을 설정한다. 이러한 파라미터 공간을 전역 탐색하기 위해, 경기 전 레이팅 차이를 입력 변수로 하는 로지스틱 회귀 모델을 구축하고, 각 파라미터 조합에 대해 모델의 F1‑Score를 측정한다.

실험은 두 종류의 데이터셋을 사용한다. 첫 번째는 7개의 봇이 184,000번의 3‑다이 2‑플레이어 루도 게임을 수행한 시뮬레이션 데이터이며, 두 번째는 2024년 2개월간 320,978명의 실제 플레이어가 4,640,765번의 게임을 진행한 실 데이터이다. 파라미터 후보군으로는 (60,30,16), (30,30,30), (30,16,8), (100,50,25) 네 가지 K‑factor 조합과, (5,10), (q₁₀+1,q₂₅+1), (q₂₅+1,q₅₀+1) 세 가지 임계값 조합을 고려하였다.

실제 데이터에 대한 실험 결과, (60,30,16)과 (30,16,8) 조합이 F1‑Score 0.554로 가장 높은 예측 성능을 보였으며, 이는 초기 K값이 크고 이후 단계에서 급격히 감소하는 형태가 초반 학습 속도를 높이면서도 후기 안정성을 유지한다는 것을 시사한다. 또한 레이팅 차이가 60~100 구간에 이를 때 정확도가 59%로 상승하고, 200 이상에서는 75%까지 향상되는 등, 레이팅 차이가 클수록 승패 예측이 유의미하게 개선됨을 확인했다.

통계적으로는 로지스틱 회귀의 회귀계수가 매우 유의미(p < 0.001)하며, 레이팅 차이 변수의 계수 0.0046은 승률이 레이팅 차이 1점당 약 0.46%씩 증가한다는 해석을 가능하게 한다. 이는 전통적인 엘로의 로짓 함수(스케일링 팩터 D=400)와 비교했을 때, 실제 데이터에 기반한 경험적 함수가 더 정확한 승률 추정을 제공한다는 근거가 된다.

이와 같이 파라미터를 데이터‑드리븐 방식으로 최적화하면, 게임 특성(예: 초반 학습 곡선, 플레이어 이탈률, 매치 메이킹 정책)과 맞춤형 K‑factor 설계가 가능해진다. 저자는 이 방법론이 엘로뿐 아니라 Glicko, TrueSkill 등 파라미터가 유한한 모든 레이팅 시스템에 일반화될 수 있음을 강조한다.