성능 기반 순위 이론의 기초

초록

본 논문은 알고리즘·모델 등 다양한 엔터티의 성능을 확률적 객체로 정의하고, ‘만족도’와 ‘중요도’ 변수를 도입해 응용별 선호를 반영한 순위 체계를 수학적으로 정립한다. 전순서(preorder) 기반의 성능 순서를 공리화하고, 이를 만족하는 파라메트릭 점수군인 ‘ranking scores’를 제시한다. 이론을 이진 분류에 적용해 정확도·재현율·정밀도·F1 등 기존 지표를 포함하면서, 일부 흔히 쓰이는 지표는 공리를 위배함을 보인다.

상세 분석

논문은 성능을 단순한 실수값이 아니라 확률 측정(P)으로 모델링함으로써, 불확실성을 자연스럽게 포함한다. 이를 위해 공통 측정공간 (Ω,Σ) 위에 정의된 모든 성능을 동일한 확률 공간에 놓고, 전순서 “≲” 를 도입해 ‘동등·열등·우월·비교불가’ 관계를 형식화한다. 전순서는 반사성과 전이성을 만족하므로, ≲ 로부터 동등(~), 우월(>), 열등(<), 무관(⊥) 관계를 유도할 수 있다.

작업(task)은 만족도 변수 S:Ω→ℝ 로 표현되며, 사용자는 각 결과 ω에 대해 의미 있는 만족값을 할당한다. 만족값의 최소·최대를 s_min, s_max 로 정의해, 성능 간 비교가 만족도 기대값에 기반함을 보인다. 평가 함수 Φ는 엔터티 집합 E 를 확률 측정으로 매핑하는 eval: E→P(Ω,Σ) 로 정의되고, Φ:2^P→2^P 로서 성능 집합의 폐쇄성을 보장한다(멱등성 Φ∘Φ=Φ).

점수 X는 성능을 실수값으로 변환하는 함수이며, 중요도 변수 I는 응용별 선호를 확률적 가중치로 모델링한다. 논문은 세 가지 공리(A1‑A3)를 제시한다. A1은 전순서와 만족도 사이의 일관성, A2는 점수가 전순서를 보존함을 요구하고, A3는 중요도가 점수에 적절히 반영될 때 순위가 정의됨을 보장한다.

이 공리를 만족하는 충분조건을 세 정리로 제시하고, 이를 기반으로 파라메트릭 가족인 ranking scores 를 정의한다. ranking scores 는 두 파라미터 α,β∈