순위 기반 고차 비판을 활용한 희소 이상 탐지 방법

초록

본 논문은 서로 다른 참조분포에서 얻은 다중 관측값을 대상으로, 순위 변환만을 이용한 고차 비판(Higher Criticism) 통계량을 제안한다. 비모수적 가정 하에 이상 현상의 존재 여부를 검출하며, 검정의 정확도와 강건성을 이론적으로 분석하고 시뮬레이션 및 실제 제조 공정 데이터에 적용한다.

상세 분석

이 연구는 고차 차원에서 희소한 이상을 탐지하기 위해 기존의 스캔 통계가 요구하는 강력한 모델 가정을 완화하고, 순위 기반의 고차 비판(Higher Criticism, HC) 통계량을 도입한다. 핵심 아이디어는 각 참조분포 (F_{0j}) 내에서 관측값을 순위로 변환함으로써, 분포 형태에 무관한 비모수적 검정을 가능하게 하는 것이다. 순위 변환은 중대한 장점을 제공한다. 첫째, 무거운 꼬리를 갖는 분포에 대해서도 강건성을 확보한다; 둘째, 순위의 분포는 표본 크기와 순위 위치만에 의존하므로, Monte‑Carlo 혹은 순열 기반으로 정확한 유한표본 임계값을 사전 계산할 수 있다.

논문은 먼저 관측 행렬 (X_{ij}) 를 정의하고, 영가설 (H_0) 하에서는 모든 관측이 독립이며 각 열 (j) 에 대해 동일한 미지의 누적분포 (F_{0j}) 를 따른다고 가정한다. 대립가설 (H_1) 에서는 소수의 주체 (i\in S) 에 대해 (F_{ij}\neq F_{0j}) 인 이상 분포가 존재한다. 이때 이상 분포가 반드시 좌우 대칭이거나 평균이 큰 방향으로만 치우쳐야 한다는 제한은 두지 않는다.

순위 기반 HC 통계량은 각 주체 (i) 에 대해 (t) 개의 순위 (R_{ij}) 을 구하고, 이를 정규화한 값 (U_{ij}=R_{ij}/(n+1)) 를 사용한다. 각 주체에 대한 누적 빈도 (V_i(p)=\frac{1}{t}\sum_{j=1}^t \mathbf{1}{U_{ij}\le p}) 를 정의한 뒤, 전역적인 HC 통계량을
\