분포 기반 효율적 순위 예측을 위한 새로운 방법

초록

본 논문은 전체 순위 상황에서 비정규화 점수의 상한을 이용한 기존 보수적 방법의 한계를 극복하고, 캘리브레이션 아이템의 절대 순위가 조건부 음의 초등분포(Negative Hypergeometric)를 따른다는 사실을 이용해 정확한 비정규화 점수 분포를 유도한다. 이를 기반으로 제안된 Distribution‑informed Conformal Ranking(DCR)은 기존 TCPR보다 평균 예측 집합 크기를 최대 36%까지 감소시키면서도 교환 가능성 가정 하에 유효한 커버리지를 보장한다.

상세 분석

본 연구는 “전체 순위(full ranking)”라는 특수한 설정에서 순위 모델의 불확실성을 정량화하기 위해 컨포멀 예측(conformal prediction)을 적용하려는 시도이다. 기존 방법인 TCPR은 캘리브레이션 아이템의 절대 순위를 직접 관측할 수 없기 때문에, 순위의 상한·하한을 확률적 보장 수준(1‑δ)으로 추정하고, 이 구간을 이용해 비정규화 점수의 최악 경우값을 계산한다. 그러나 이러한 상한 기반 접근은 두 가지 주요 원인으로 과도하게 보수적이다. 첫째, 순위 구간 자체가 넓어 실제 비정규화 점수보다 크게 부풀려진다; 둘째, 목표 오류율 α에 δ를 더해 보정함으로써 추가적인 여유가 생긴다. 결과적으로 예측 집합이 불필요하게 커져 실용성이 떨어진다.

DCR은 이러한 문제를 근본적으로 해결한다. 핵심 아이디어는 교환 가능성(exchangeability) 가정 하에 캘리브레이션 아이템의 상대 순위 (R_{c,i})가 주어지면, 해당 아이템보다 낮은 테스트 아이템 수 (R_{t,i})가 정확히 Negative Hypergeometric(N, m, (R_{c,i})) 분포를 따른다는 점을 증명한다(정리 3.1). 여기서 N=n+m은 전체 아이템 수, m은 테스트 셋 크기이다. 따라서 절대 순위 (R_{c,i}+R_{t,i})는 이동된 Negative Hypergeometric 분포를 가지며, 이 분포를 이용해 비정규화 점수 (S_i=s(X_i,R_{c,i}+R_{t,i}))의 조건부 누적분포함수 (F_i(t)=P(S_i\le t\mid R_{c,i}))를 정확히 계산할 수 있다.

DCR은 각 캘리브레이션 아이템에 대해 이러한 (F_i(t))를 구하고, 전체 캘리브레이션 점수의 평균 CDF인 혼합 CDF (F_{\text{mix}}(t)=\frac1n\sum_{i=1}^n F_i(t))를 정의한다. 이 혼합 CDF는 관측 가능한 상대 순위만을 조건으로 한 비정규화 점수의 평균 분포를 의미한다. 이후 목표 커버리지 (1-\alpha)를 만족하도록 최소 t값을 찾아 임계값 (s^)를 결정하고, 테스트 아이템에 대해 (s(X_{n+j},r)\le s^)인 모든 절대 순위 r을 포함하는 예측 집합을 만든다.

이론적으로 DCR은 기존 TCPR보다 기대값 차원에서 더 작은 예측 집합을 제공함을 증명한다. 구체적으로, 동일한 α에 대해 DCR의 임계값은 TCPR의 상한 기반 임계값보다 작으며, 이는 비정규화 점수 분포를 정확히 활용했기 때문이다. 또한, 교환 가능성 가정만으로도 마진 커버리지를 보장한다(정리 2.3의 확장).

실험에서는 LambdaMart, RankNet 등 다양한 최신 순위 모델과 ESOL, synthetic 데이터 등 여러 벤치마크에 대해 DCR과 TCPR을 비교하였다. 결과는 평균 예측 집합 길이가 57.6% 수준으로, TCPR의 72.5%에 비해 15%p 이상 감소했으며, 커버리지는 목표 90%를 초과하였다. 캘리브레이션 셋 크기가 커질수록, 혹은 테스트 셋이 작아질수록 DCR의 실현 커버리지는 목표에 더욱 근접한다는 추가 분석도 제시한다.

또한, 대규모 데이터에 대한 계산 복잡도를 낮추기 위해 Monte‑Carlo 기반 변형인 MDCR을 제안한다. MDCR은 샘플링을 통해 혼합 CDF를 근사하지만, 이론적 마진 커버리지는 유지한다.

요약하면, DCR은 “비정규화 점수의 정확한 분포를 이용한다”는 혁신적인 접근을 통해 전체 순위 문제에서 기존 보수적 방법의 비효율성을 크게 개선했으며, 실험적으로도 그 효율성과 신뢰성을 입증하였다.