계층부트스트랩 순위 안정성 검정 패키지

초록

Stratified Bootstrap Test(SBT)는 그룹별 평균 순위의 안정성을 비모수적 부트스트랩으로 평가한다. 관측을 그룹 내에서 재표집해 상위 아이템이 반복적으로 유지되는지를 비포함(non‑containment) 지수로 정량화하고, 동일한 재표집 절차로 평균 순서 가설을 검정한다. R 구현 함수인 SingleStratifiedBootstrap()와 GetSBT()를 제공하며, 설문·아이템 응답·AI 공정성 감시 등 다양한 분야에 적용 가능하다.

상세 분석

본 논문은 다변량 설문·평가 데이터에서 “그룹‑특정 상위 아이템이 실제로도 상위에 머무르는가”라는 질문을 정량화하기 위해 비모수적 재표집 기법을 도입한 점이 가장 큰 특징이다. 기존의 ANOVA·t‑test와 달리 평균값 자체의 절대 차이가 아니라 순위 구조 자체에 초점을 맞추어, 관측된 순위가 우연에 의한 것인지 혹은 모집단 수준에서 의미 있는 차이인지 판단한다. 이를 위해 저자들은 두 가지 핵심 개념을 제시한다. 첫째, “비포함 지수(non‑containment index)”는 목표 상위 i 개의 아이템 집합이 부트스트랩 샘플에서 얼마나 자주 전체 상위 i 에 포함되는지를 1‑비율로 나타낸다. 값이 0에 가깝다면 순위가 매우 안정적이며, 1에 가까울수록 불안정함을 의미한다. 둘째, “순서 가설 검정”은 그룹 평균들의 부분 순서(예: μ₁ > … > μ_g > μ_{g+1} > … > μ_G) 혹은 전체 순서를 검정한다. 여기서는 부트스트랩을 이용해 “min μ_i > max μ_j” 형태의 이벤트가 재표집에서 얼마나 자주 발생하는지를 Monte Carlo 확률 p̂ 로 추정한다.

통계적 원리는 간단하면서도 강력하다. 데이터 행렬 X (행 = 응답자, 열 = 아이템)와 그룹 인덱스 I_g 를 정의하고, 각 그룹‑아이템 평균 \bar{x}_{g,j} 를 계산한다. 이후 각 부트스트랩 반복 b 에 대해 그룹별 표본을 교체 추출하고 평균을 다시 구한다. 순위 기반 통계량(예: top‑i 집합, 전체 순서 위배 여부)을 부트스트랩마다 기록하고, 전체 B 번 반복 후 비포함 비율 혹은 순서 가설의 p‑값을 산출한다.

패키지 구현은 R 함수 두 개에 집중한다. SingleStratifiedBootstrap()은 특정 열 집합(예: top‑k 인덱스)이 부트스트랩된 top‑k 집합에 포함되지 않은 비율을 반환한다. 인자 summary_fun, replace, decreasing 등을 통해 평균·중앙값·가중 평균 등 다양한 요약 함수를 지정할 수 있다. GetSBT()는 그룹 레벨과 응답 행렬을 입력받아 전체 평균 테이블과 비포함 매트릭스를 동시에 제공한다. 특히 Likert, binary, numeric 등 응답 유형에 맞는 매핑 옵션을 제공해 실무 적용성을 높였다.

실험 예시에서는 100명 규모의 Likert 설문을 시뮬레이션하고, “Woman”·“Man” 두 그룹에 대해 n_boot = 500 으로 검정을 수행한다. 결과는 그룹 평균 테이블과 top‑1 ~ top‑5 비포함 지수를 출력한다. 저자는 작은 그룹(예: <10)에서는 부트스트랩 추정이 불안정할 수 있음을 경고하고, min_group_size 파라미터로 최소 그룹 크기를 설정하도록 권고한다.

이 방법의 장점은 (1) 분포 가정이 필요 없으며, (2) 순위 자체에 대한 직접적인 불확실성 추정이 가능하고, (3) 다중 아이템·다중 그룹 상황에서도 동일한 프레임워크로 확장 가능하다는 점이다. 반면 계산 비용이 B = 10 000 정도일 때 상당히 높아질 수 있어, 병렬 처리( n_cores )와 메모리 관리가 필수적이다. 또한, “비포함” 지수가 실제 의미하는 바가 도메인 전문가와의 해석 협의 없이는 오해될 위험이 있다.

전반적으로 SBT는 순위 기반 데이터 분석에 새로운 비모수적 도구를 제공하며, 특히 AI 공정성 감시·설문 데이터 정제·아이템 반응 이론(IRTs) 등에서 “어떤 그룹이 특정 항목을 일관되게 선호하는가”를 정량화하는 데 유용하다. 향후 연구에서는 부트스트랩 샘플링 전략(예: 블록 부트스트랩·시계열 부트스트랩)과 다중 비교 보정, 그리고 베이지안 부트스트랩과의 연계 가능성을 탐색할 여지가 있다.