산재 데이터에 최적화된 지역 거리 기반 이상치 탐지 기법

초록

본 논문은 산재(분산)된 실세계 데이터에서 기존 방법이 보이는 한계를 극복하기 위해 “지역 거리 기반 이상치 지수(LDOF)”를 제안한다. LDOF는 객체와 이웃 집단 간 상대적 위치를 이용해 이상치 정도를 정량화하며, 하한값 및 오탐 확률에 대한 이론적 분석을 제공한다. 파라미터 설정이 복잡한 기존 기법과 달리 Top‑n LDOF는 파라미터에 대한 민감도가 낮아 실무 적용이 용이하고, 실험을 통해 KNN·LOF 대비 산재 데이터에서 뛰어난 검출 성능을 입증한다.

상세 분석

본 연구는 ‘산재된(real-world scattered)’ 데이터라는 특수한 상황을 명확히 정의하고, 기존 이상치 탐지 기법이 이 상황에서 왜 성능이 급격히 저하되는지를 분석한다. 전통적인 K‑Nearest‑Neighbour(KNN) 기반 방법은 거리 자체만을 기준으로 하여 데이터가 고르게 퍼져 있지 않을 경우 정상 객체와 이상치 사이의 거리 차이를 충분히 드러내지 못한다. LOF(Local Outlier Factor)는 밀도 비율을 이용하지만, 이 역시 이웃 수(k)와 데이터 밀도 변동에 크게 의존해 파라미터 튜닝이 어려운 점이 있다.

LDOF는 이러한 문제를 해결하기 위해 “객체와 이웃 평균 거리”와 “이웃들 간 평균 거리”의 비율을 정의한다. 구체적으로, 대상 객체 p에 대해 k‑이웃 집합 N(p)를 구하고,
 avgDist(p) = (1/k) Σ_{o∈N(p)} dist(p,o)
 avgDist(N(p)) = (2/(k(k‑1))) Σ_{o_i,o_j∈N(p), i<j} dist(o_i,o_j)
라 할 때 LDOF(p) = avgDist(p) / avgDist(N(p)) 로 계산한다. 이 비율이 1에 가까우면 p는 이웃과 유사한 위치에 있음을 의미하고, 1보다 크게 될수록 이웃 집단에 비해 상대적으로 멀리 떨어져 있음을 나타낸다.

이론적 분석에서는 LDOF의 하한값이 1임을 증명하고, 데이터가 완전히 균일하게 분포된 경우 LDOF가 1에 수렴함을 보인다. 또한, 정규분포를 가정한 경우 LDOF가 특정 임계값을 초과할 확률을 Chernoff‑bound 형태로 유도하여 오탐(false‑positive) 확률을 정량화한다. 이러한 분석은 파라미터 k가 충분히 크면서도 전체 데이터 규모에 비해 과도하게 크지 않을 때 LDOF가 안정적인 통계적 특성을 유지한다는 결론을 도출한다.

알고리즘 측면에서는 “Top‑n LDOF” 전략을 채택한다. 즉, 전체 객체에 대해 LDOF 값을 계산한 뒤, 값이 높은 상위 n개를 이상치 후보로 선정한다. 이 방식은 임계값을 직접 설정할 필요가 없으며, n만 적절히 정하면 파라미터 k에 대한 민감도가 크게 감소한다. 실험에서는 k를 5~30 사이, n을 전체 데이터의 0.5%~5% 수준으로 변동시켰음에도 검출 정확도가 크게 변하지 않음을 확인했다.

실험 결과는 합성 데이터와 실제 비즈니스 로그, 네트워크 트래픽, 센서 스트림 등 다양한 산재형 데이터셋에 대해 수행되었다. Top‑n LDOF는 기존 Top‑n KNN 및 Top‑n LOF 대비 ROC‑AUC가 평균 8~12% 상승했으며, 특히 클러스터가 희소하게 분포하고 노이즈가 많은 상황에서 오탐률이 현저히 낮았다. 또한, 계산 복잡도는 O(N·k·logk) 수준으로, k가 작을 경우 실시간 스트리밍 환경에서도 충분히 적용 가능함을 보였다.

결론적으로 LDOF는 “거리 대비 이웃 간 거리”라는 직관적인 비율을 통해 산재 데이터의 구조적 특성을 효과적으로 포착하고, 파라미터 설정의 부담을 크게 경감한다는 점에서 실무 적용 가치가 높다. 향후 연구에서는 다차원 가중치 적용, 동적 k 선택, 그리고 비유클리드 거리 함수와의 결합을 통해 더욱 일반화된 프레임워크를 구축할 여지가 있다.