계층적 참조 집합을 이용한 강인한 무감독 이상치 탐지

초록

본 논문은 IoT 데이터에서 산발적 스캐터러와 밀집형 클러스터러를 동시에 탐지하기 위해 자연 이웃(Natural Neighbor) 기반의 이중 참조 집합(지역‑전역) 구조를 제안한다. 자연 이웃 서브셋(NRS)에서 지역 이상치 지수(LAI)를, 서브셋 간 그래프(GRS)에서 서브셋 이상치 지수(SAI)를 계산해 두 지수를 결합함으로써 마스킹 효과를 완화하고, 다양한 베치 실험에서 기존 방법들을 크게 능가함을 입증한다.

상세 분석

이 논문은 IoT 환경에서 흔히 발생하는 두 종류의 이상치, 즉 주변 데이터와 거리상 멀리 떨어진 산발적 스캐터러와, 서로 가깝지만 전체 데이터 분포에서는 이질적인 마이크로 클러스터인 클러스터러를 동시에 탐지하는 문제에 초점을 맞춘다. 기존의 전역 기반 방법은 전체 데이터 분포에 대한 강한 가정을 필요로 하며, 지역 기반 k‑NN 방법은 이웃 수 k를 고정해야 하는 한계가 있다. 특히 클러스터러는 높은 지역 밀도를 가지므로 k‑NN 기반 로컬 방법으로는 마스킹 현상이 발생해 탐지가 어려워진다.

논문은 이러한 한계를 극복하기 위해 ‘자연 이웃(Natural Neighbor)’ 개념을 도입한다. 자연 이웃은 서로가 서로의 k‑NN 안에 포함되는 쌍으로 정의되며, λ라는 자동 조정 파라미터에 의해 각 샘플마다 적절한 이웃 수가 동적으로 결정된다. 이를 기반으로 데이터 전체를 자연 이웃 서브셋(NRS)으로 분할한다. NRS는 고밀도 지역을 내부적으로 강하게 결합하고, 서로 다른 NRS 간에는 희소한 연결만 존재한다는 특성을 가진다.

지역 수준에서는 각 NRS 내부에서 샘플의 ‘지역 이상치 지수(LAI)’를 계산한다. LAI는 해당 샘플의 지역 밀도 ρ와 NRS 내 평균 밀도의 비율로 정의되며, 클러스터러 내부에서는 밀도가 비슷해 마스킹이 최소화된다. 전역 수준에서는 NRS들을 정점으로 하는 그래프(GRS)를 구성하고, 정점 간 연결 강도(Link Strength, LS)를 기반으로 ‘서브셋 이상치 지수(SAI)’를 산출한다. 클러스터러는 소수의 NRS로 이루어지고 다른 NRS와 연결이 약하기 때문에 SAI가 크게 나타난다.

두 지수를 가중 평균(β)하여 최종 이상치 점수를 얻음으로써, 스캐터러는 낮은 LAI와 낮은 SAI를, 클러스터러는 높은 SAI와 중간 정도의 LAI를 동시에 반영한다. 이중 참조 구조는 마스킹 효과를 크게 완화하고, 파라미터 λ를 제외하고는 사실상 무파라미터 방식이므로 하이퍼파라미터 민감도가 낮다.

실험에서는 32개의 공개 벤치마크 데이터셋과 실제 IoT 센서 데이터에 대해 기존 LOF, IF, CBLOF, GNAN 등과 비교하였다. 평균 AUC, F1‑score, PR‑AUC 모두에서 제안 방법이 유의미하게 우수했으며, 특히 클러스터러 비중이 높은 데이터셋에서 성능 격차가 크게 나타났다. 또한, 이상치를 사전 제거한 후 수행한 클러스터링 실험에서 ARI와 NMI가 향상되어, 제안 방법이 다운스트림 작업에도 긍정적 영향을 미침을 확인했다.

알고리즘 복잡도는 자연 이웃 탐색 단계에서 O(n log n) 정도이며, 그래프 구축 및 LAI/SAI 계산은 선형에 가깝다. 따라서 대규모 IoT 스트림에도 실시간 적용이 가능하다. 전체 코드는 GitHub에 공개돼 재현성을 확보했으며, 논문 부록에 파라미터 민감도 분석과 Ablation Study를 제공해 각 구성 요소의 기여도를 명확히 검증하였다.

요약하면, 이 논문은 자연 이웃 기반의 계층적 참조 집합을 통해 스캐터러와 클러스터러를 동시에, 그리고 강인하게 탐지하는 새로운 프레임워크를 제시했으며, 이론적 설계와 실증적 검증 모두에서 기존 방법들을 뛰어넘는 성과를 보여준다.