얇은 경계 탐지를 위한 유전 알고리즘 강화 다층 퍼셉트론 기반 새로운 이상 유형 검출

초록

본 논문은 기존의 점, 맥락, 집합 이상 탐지 체계에 ‘집합 정상 이상(Collective Normal Anomaly, CNA)’과 ‘집합 점 이상(Collective Point Anomaly, CPA)’이라는 두 새로운 이상 유형을 정의하고, 얇은 경계 문제를 해결하기 위한 프레임워크를 제시한다. 데이터 전처리·특징 선택·정규화·클러스터링을 통해 라벨링된 데이터셋을 구성한 뒤, 다층 퍼셉트론(MLP)을 유전 알고리즘(GA)으로 최적화하여 얇은 경계 구역에서의 탐지 정확도를 향상시킨다. 실험 결과, 제안 방법은 기존 MLP 대비 테스트 오류가 감소하고, 다양한 벤치마크에서 향상된 정밀도를 보였다.

상세 분석

이 논문은 이상 탐지 분야에서 가장 난해한 문제 중 하나인 ‘얇은 경계(thin boundary)’ 현상을 중심으로 연구를 전개한다. 기존 연구는 점 이상(Point Anomaly), 맥락 이상(Contextual Anomaly), 집합 이상(Collective Anomaly)으로 분류했지만, 실제 데이터에서는 정상 데이터와 집합 이상 사이, 점 이상과 그 하위 집합 사이에 경계가 매우 모호하게 존재한다는 점을 강조한다. 이를 해결하기 위해 저자들은 두 가지 새로운 유형을 정의한다. 첫 번째는 ‘Collective Normal Anomaly(CNA)’으로, 정상 데이터 군집 내에서 표준편차 밀도가 전체 군집 평균보다 크거나 같은 군집을 의미한다. 이는 정상 데이터와의 경계가 얇아 군집화가 가능하다는 전제 하에 설계되었다. 두 번째는 ‘Collective Point Anomaly(CPA)’로, 점 이상 중에서도 이웃 반경이 평균 점 이상보다 작아 군집화가 어려운 경우를 지칭한다. 이러한 정의는 수식(1)~(8)으로 구체화되며, 특히 이웃 반경과 평균 거리의 비교를 통해 CPA와 PA를 구분한다.

프레임워크는 크게 다섯 단계로 구성된다. ① 특징 선택 단계에서는 전체 k개의 특성 중 구분력이 높은 l개의 특성을 선택하고, 정규화와 가중치 부여를 통해 스케일을 맞춘다. ② 라벨링된 데이터셋을 클래스별로 서브셋으로 분할하고, 비라벨 데이터는 클러스터링을 적용한다. ③ 정의된 CNA와 CPA를 포함한 다양한 이상 유형에 라벨을 부여한다. ④ 정규화를 다시 수행해 서브셋 간 스케일 차이를 최소화하고, ⑤ 모든 서브셋을 통합한다. 이 과정에서 사용된 가중치 공식(9)·(10)은 각 샘플·특성에 대한 상대적 중요도를 반영한다.

핵심 알고리즘은 MLP‑NN을 유전 알고리즘으로 강화하는 부분이다. 두 개의 동일 초기 가중치를 가진 MLP를 각각 일반 학습과 GA의 피트니스 함수로 활용한다. GA는 가중치·바이어스의 탐색 공간을 0~1 구간으로 제한하고, 적합도는 MSE(Mean Squared Error)를 최소화하는 방향으로 진행한다. 은닉층은 10개의 뉴런, 활성화 함수는 Tansig(하이퍼볼릭 탄젠트)으로 설정해 비선형 경계 학습을 가능하게 한다. 학습 알고리즘은 Scaled Conjugate Gradient(Trainscg)를 사용해 빠른 수렴을 도모한다. 이러한 설계는 기존 MLP가 에폭마다 가중치 초기화와 지역 최적해에 빠지는 문제를 완화하고, 얇은 경계 구역에서의 정밀도·재현율을 동시에 끌어올린다.

실험에서는 KDD‑Cup, NSL‑KDD, 그리고 여러 공개 데이터셋을 대상으로 기존 MLP, SVM, Isolation Forest 등과 비교했다. 결과는 제안 GA‑MLP가 테스트 오류를 평균 12% 이상 감소시키고, 특히 CPA와 CNA와 같은 미세 경계 이상을 탐지할 때 F1‑score가 0.85 이상으로 기존 방법을 크게 앞섰음을 보여준다. 또한 차원 수가 증가해도 효율성(시간 복잡도)과 확장성(Scalability)이 유지되는 점을 도표(2·3)로 시각화하였다. 다만, 논문은 실험 설정이 비교적 제한적이며, GA 파라미터 튜닝 비용이 높다는 점을 한계로 인정한다.

전체적으로 이 연구는 ‘얇은 경계’라는 개념을 정량화하고, 새로운 이상 유형을 도입함으로써 기존 탐지 기법이 놓치기 쉬운 미세한 이상을 포착한다는 점에서 의미가 크다. 특히 GA를 통한 MLP 최적화는 비선형 경계 학습에 강점을 제공하며, 라벨링된·비라벨 데이터 모두에 적용 가능한 통합 프레임워크를 제시한다. 향후 연구에서는 GA의 연산 비용을 줄이기 위한 하이브리드 최적화 기법과, 실시간 스트리밍 환경에서의 적용 가능성을 탐색할 필요가 있다.