리콜 신뢰구간 추정의 새로운 베타 이항 접근법

초록

본 논문은 대규모 문서 집합에서 무작위 표본을 이용해 추정한 리콜(Recall)의 신뢰구간을 평가한다. 기존의 정규 근사법이 낮은 커버리지를 보이는 문제를 지적하고, 베타-이항 사후분포를 이용한 몬테카를로 추정법을 제안한다. 제안 방법은 다양한 시나리오와 TREC Legal Track 데이터에 대해 평균 커버리지가 명목 수준에 가깝고, 구간 폭도 최소화되는 등 전반적으로 가장 정확한 성능을 보인다.

상세 분석

논문은 먼저 리콜을 “전체 관련 문서 중 검색된 문서 비율”로 정의하고, 전체 코퍼스가 너무 커서 전수 평가가 불가능한 상황에서 두 개의 서브셋(검색된 문서와 검색되지 않은 문서) 각각에서 무작위 표본을 추출해 관련 문서 비율을 추정한다. 표본 비율을 이용한 점추정은 비편향이지만, 비율 자체가 두 개의 이항변수(검색된 문서의 관련 문서 수와 전체 관련 문서 수)의 비로 표현되므로 그 분포는 정규분포를 따르지 않는다. 기존 연구에서 흔히 사용되는 정규 근사법은 특히 낮은 prevalence와 작은 표본에서 심각한 언더커버리지를 초래한다는 점을 실험적으로 확인한다.

이를 보완하기 위해 저자는 세 가지 베이지안 접근을 검토한다. 첫 번째는 단순 베타 사후분포(Jeffreys prior)를 적용한 이항 비율 추정이며, 두 번째는 하이퍼지오메트릭 분포의 공액분포인 베타-이항을 이용한다. 베타-이항은 표본이 모집단의 전체 크기에 비례할 때 발생하는 의존성을 정확히 모델링한다. 특히, 하이퍼파라미터를 (0.5, 0.5)로 고정한 ‘half prior’를 사용하면 사전 정보가 최소화되면서도 과도한 보수성을 피할 수 있다.

제안된 방법은 다음과 같이 구현된다. ① 검색된 구간과 비검색 구간 각각에 대해 베타-이항 사후분포를 계산한다. ② 사후분포에서 다수의 샘플을 Monte‑Carlo 방식으로 추출하고, 각 샘플에 대해 리콜 = R₁/(R₁+R₀) 를 계산한다. ③ 얻어진 리콜 분포의 α/2와 1‑α/2 분위수를 신뢰구간 한계값으로 채택한다.

실험에서는 네 가지 평가 기준(평균 커버리지, 커버리지 표준오차, 상하 초과 비율 균형, 구간 폭 최소화)을 설정하고, 세 가지 시나리오(중립적 분포, e‑discovery 환경, 작은 모집단·큰 표본)에서 기존 방법(정규 근사, 조정된 정규, 비율 기반 이항)과 비교한다. 결과는 베타-이항 half prior가 모든 시나리오에서 가장 근접한 평균 커버리지를 제공하고, 구간 폭도 가장 짧으며, 상하 초과 비율이 균형을 이룬다는 것을 보여준다. 또한 TREC Legal Track 데이터에 적용했을 때, 공식적으로 보고된 정규 근사 구간보다 훨씬 안정적이고 정확한 구간을 제공한다.

이 논문은 표본 설계 측면에서도 중요한 통찰을 제공한다. 검색된 구간과 비검색 구간에 대한 표본 비율을 최적화하면 전체 구간 폭을 크게 줄일 수 있으며, 특히 낮은 prevalence를 가진 비검색 구간에 충분한 표본을 할당하는 것이 핵심이다. 최종적으로 저자는 베타-이항 기반 신뢰구간이 현재 실무에서 널리 사용되는 정규 근사법을 대체할 충분한 근거가 있음을 주장한다.