향상된 유전적 케이평균을 이용한 이상치 탐지

초록

본 논문은 클러스터링과 이상치 탐지를 동시에 수행하는 두 단계 알고리즘을 제안한다. 첫 단계에서는 유전 알고리즘 기반의 개선된 케이평균(IGK)으로 초기 클러스터 중심을 효율적으로 추정하고, 두 번째 단계에서는 각 데이터가 속한 클러스터 중심으로부터의 거리를 기준으로 이상치를 반복적으로 제거한다. 실험 결과, 기존 방법에 비해 클러스터 품질과 이상치 탐지 정확도가 향상됨을 보인다.

상세 분석

제안된 알고리즘은 크게 두 부분으로 구성된다. 첫 번째 단계인 개선된 유전적 케이평균(IGK)은 전통적인 케이평균이 초기 중심 선택에 민감하고 지역 최적에 머무르는 문제를 유전 알고리즘(GA)과 결합해 보완한다. 구체적으로, 개체군은 무작위로 생성된 여러 개의 초기 중심 집합으로 구성되며, 각 개체는 클러스터 내 평균 제곱 오차(SSE)를 적합도 함수로 사용한다. 선택, 교차, 돌연변이 연산을 통해 적합도가 높은 개체가 다음 세대로 전달되고, 이를 통해 전역 탐색 능력을 확보한다. 또한, IGK는 동적 클러스터 수 조정 메커니즘을 도입해 데이터 분포에 따라 K값을 자동으로 조정한다는 점이 특징이다. 이러한 과정은 클러스터 중심의 추정 정확도를 크게 높이며, 이후 단계에서 이상치를 효과적으로 구분할 수 있는 기반을 제공한다.

두 번째 단계는 “거리 기반 이상치 제거”이다. IGK가 도출한 최종 클러스터 중심을 기준으로 각 데이터 포인트와 소속 클러스터 중심 사이의 유클리드 거리를 계산한다. 거리 값이 사전에 정의된 임계값(예: 평균 거리의 2배)보다 크게 벗어나는 포인트는 이상치 후보로 간주한다. 이 과정을 반복하면서 이상치 후보를 데이터 집합에서 제거하고, 남은 데이터에 대해 다시 IGK를 실행하거나 기존 중심을 재조정한다. 반복 종료 조건은(1) 이상치 비율이 일정 이하가 되거나, (2) 클러스터 중심 변화가 미미해질 때이다.

핵심 통찰은 클러스터링 과정 자체가 이상치에 대한 민감도를 낮추는 방향으로 설계되었다는 점이다. 기존 방법들은 클러스터링 후 별도의 이상치 탐지 모듈을 적용하는 경우가 많아, 초기 클러스터링이 왜곡될 위험이 있었다. 반면, IGK는 전역 탐색을 통해 견고한 중심을 찾고, 거리 기반 제거 단계는 이러한 견고한 중심을 기준으로 이상치를 판별한다. 실험에서는 인공 데이터와 실제 데이터(예: KDD CUP, 이미지 색상 데이터)에서 평균 제곱 오차와 정밀도·재현율 지표가 기존 GA‑K‑means, DBSCAN, LOF 등에 비해 현저히 개선되었다.

하지만 몇 가지 한계도 존재한다. 첫째, GA 기반 최적화는 계산 비용이 높아 대규모 데이터셋에 적용하려면 병렬화 혹은 샘플링 전략이 필요하다. 둘째, 거리 임계값 설정이 데이터 특성에 따라 민감하게 작용하므로 자동화된 파라미터 튜닝 기법이 요구된다. 셋째, 다차원 고밀도 데이터에서 유클리드 거리만으로는 복잡한 구조를 충분히 포착하기 어려울 수 있다. 향후 연구에서는 차원 축소와 결합한 하이브리드 모델, 적응형 임계값 학습, 그리고 GPU 기반 GA 가속을 통한 실시간 적용 가능성을 탐색할 여지가 있다.