문자열 데이터 이상치 탐지 알고리즘 비교

초록

본 논문은 문자열 데이터를 대상으로 두 가지 이상치 탐지 기법을 설계·비교한다. 첫 번째는 레벤슈타인 편집거리를 기반으로 밀도‑기반 LOF(Local Outlier Factor)를 변형한 방법이며, 계층적 문자 클래스 가중치를 도입해 거리 측정을 튜닝한다. 두 번째는 계층적 좌측 정규표현식 학습기(Hierarchical Left Regular Expression learner)를 이용해 기대 문자열 집합을 정규표현식으로 모델링하고, 모델에 부합하지 않는 문자열을 이상치로 판별한다. 다양한 합성·실제 데이터셋에서 두 알고리즘의 탐지 성능을 ROC‑AUC 등으로 평가한 결과, 구조가 뚜렷한 데이터에서는 정규표현식 기반이, 편집거리 차이가 큰 경우에는 가중 레벤슈타인‑LOF가 우수함을 확인하였다.

상세 분석

이 논문은 문자열 이상치 탐지라는 비교적 미개척 영역에 두 가지 상보적인 접근을 제시한다. 첫 번째 접근은 전통적인 k‑최근접 이웃 기반 LOF 알고리즘을 문자열에 적용하기 위해 레벤슈타인 편집거리를 거리 함수로 채택하고, 문자 클래스(예: 알파벳, 숫자, 특수문자)를 계층적으로 정의해 가중치를 부여한다. 이를 통해 동일한 편집 횟이라도 의미상 큰 변화를 반영하도록 설계했으며, k값 선택과 임계점 설정에 대한 실험적 가이드라인을 제공한다. 두 번째 접근은 HiLRE(Hierarchical Left Regular Expression) 학습기를 활용해 데이터 전체를 하나의 정규표현식으로 압축한다. 학습 과정에서 최소 매칭 횟수와 트리 깊이 같은 파라미터를 조정함으로써 과적합을 방지하고, 기대 문자열 집합의 구조적 특성을 명시적으로 포착한다. 실험에서는 합성 데이터(정규표현식 구조가 명확한 경우)와 실제 데이터(우편번호, 전화번호, 지명 등) 두 종류를 사용했으며, 정규표현식 기반은 구조적 차이가 큰 이상치를 높은 정밀도로 탐지했지만, 문자열 길이와 복잡도가 증가하면 학습 비용이 급증한다. 반면 가중 레벤슈타인‑LOF는 편집거리 차이가 뚜렷한 경우에 강인한 성능을 보이며, k와 가중치 파라미터를 적절히 조정하면 다양한 도메인에 일반화 가능하다. 두 방법 모두 ROC‑AUC 0.85 이상을 기록했지만, 데이터 특성에 따라 우세가 교차한다는 점이 핵심 인사이트이다. 또한, 본 논문은 문자열 데이터에 대한 이상치 정의를 “구조적·편집거리적 이질성”으로 명확히 구분하고, 평가 지표 선택과 실험 설계에 대한 상세한 절차를 제공함으로써 향후 연구의 표준 베이스라인을 제시한다.