관계 시퀀스 학습을 위한 특징 구축 및 선택

초록

본 논문은 라벨이 부착된 관계 시퀀스 집합에서 의미 있는 패턴을 추출해 특징 벡터로 변환하고, 나이브 베이즈 분류기를 내장한 확률적 로컬 서치를 이용해 최적의 특징 부분집합을 선택함으로써 다중 클래스 관계 시퀀스 분류 성능을 향상시키는 방법을 제안한다. 실험 결과, 제안 방식은 HMM, Fisher kernel, CRF 등 기존 모델보다 높은 정확도를 보였다.

상세 분석

이 연구는 관계형 데이터베이스에서 추출된 시퀀스 데이터를 다중 클래스 분류 문제에 적용하기 위해 두 단계의 파이프라인을 설계하였다. 첫 번째 단계는 “특징 구축(feature construction)”으로, 기존의 관계 시퀀스(예: 이벤트 로그, 생물학적 상호작용)에서 논리적 패턴을 탐색한다. 저자들은 ILP(Inductive Logic Programming) 기반의 패턴 마이닝 기법을 변형해, 각 시퀀스에 포함된 원자 관계와 시간적 순서를 결합한 복합 서브그래프를 생성한다. 이러한 서브그래프는 고유한 식별자를 갖는 이산형 특성으로 변환되어, 전통적인 머신러닝 알고리즘이 처리할 수 있는 고차원 이진 벡터를 만든다.

두 번째 단계는 “특징 선택(feature selection)”이다. 여기서는 모든 구축된 특성이 반드시 유용하지 않으며, 불필요하거나 상관관계가 높은 특성은 모델의 일반화 능력을 저해한다는 점에 주목한다. 저자들은 래퍼(wrapper) 접근법을 채택했는데, 이는 선택된 특성 집합을 직접 분류 성능으로 평가한다는 의미이다. 구체적으로, 나이브 베이즈(Naïve Bayes) 분류기를 기본 모델로 두고, 특성 집합을 탐색하기 위해 확률적 로컬 서치(stochastic local search, SLS)를 적용한다. SLS는 현재 특성 집합에서 무작위로 하나의 특성을 추가하거나 제거하고, 교차 검증을 통해 얻은 정확도 향상을 기준으로 수용 여부를 결정한다. 이 과정은 메타휴리스틱인 Simulated Annealing과 Tabu Search의 요소를 혼합해, 지역 최적에 빠지는 위험을 감소시키면서도 탐색 효율성을 유지한다.

특징 선택 과정에서 나이브 베이즈를 사용한 이유는 두 가지이다. 첫째, 베이즈 모델은 고차원 이진 특성에 대해 계산 비용이 낮고, 조건부 독립 가정 하에 빠르게 확률을 추정한다. 둘째, 베이즈의 로그우도는 특성 집합의 정보량을 직접 반영하므로, 선택 기준으로 활용하기에 적합하다. 실험에서는 선택된 특성 수가 전체 특성의 5~10% 수준으로 크게 축소되었음에도 불구하고, 분류 정확도는 오히려 향상되는 현상이 관찰되었다.

비교 실험에서는 전통적인 관계 시퀀스 모델인 Hidden Markov Model(HMM), Fisher Kernel 기반 SVM, Conditional Random Field(CRF)를 동일 데이터셋에 적용하였다. 제안 방법은 평균 정확도 87.3%를 기록했으며, HMM(78.1%), Fisher Kernel(81.5%), CRF(83.2%)보다 유의미하게 앞섰다. 특히 클래스 불균형이 심한 경우에도 로컬 서치 기반 특성 선택이 과적합을 방지하고, 소수 클래스에 대한 재현율을 크게 끌어올렸다.

이 논문의 핵심 기여는 (1) 관계 시퀀스에서 의미 있는 논리 패턴을 자동으로 추출해 고차원 특징 벡터로 변환하는 체계적인 프레임워크, (2) 확률적 로컬 서치를 활용한 효율적인 특성 선택 메커니즘, (3) 실험을 통한 기존 관계 시퀀스 학습 방법 대비 성능 우위 입증이다. 또한, 제안된 파이프라인은 도메인에 특화된 관계 규칙을 사전에 정의하지 않아도 되므로, 다양한 분야(예: 의료 기록 분석, 행동 로그 마이닝, 화학 반응 경로 예측)에서 바로 적용 가능하다는 실용적 장점도 갖는다. 향후 연구에서는 더 복잡한 베이즈 네트워크나 딥러닝 기반 시퀀스 모델과의 하이브리드 구조를 탐색하고, 대규모 스트리밍 데이터에 대한 온라인 특성 선택 알고리즘을 개발하는 방향이 제시된다.