양성·미표시 데이터만으로 배우는 배깅 SVM

초록

양성(Positive)과 라벨이 없는(Unlabeled) 데이터만으로 이진 분류기를 학습하는 PU 학습 문제에 대해, 저자는 무작위로 선택한 미표시 샘플과 양성 샘플을 구분하는 여러 개의 SVM을 훈련시킨 뒤, 이들을 배깅 방식으로 결합하는 간단하면서도 효율적인 방법을 제안한다. 인덕티브와 트랜스덕티브 두 설정 모두에서 기존 방법과 동등하거나 더 나은 성능을 보이며, 계산 속도 역시 크게 향상된다.

상세 분석

본 논문은 PU(Positive‑Unlabeled) 학습이라는 특수한 지도학습 상황을 다룬다. 전통적인 이진 분류는 양성·음성 라벨이 모두 존재해야 하지만, 실제 많은 응용에서는 음성 라벨을 확보하기 어렵다. 저자는 이러한 제약을 완화하기 위해 “bagging SVM”이라는 프레임워크를 고안했다. 핵심 아이디어는 미표시 데이터 집합에서 무작위로 작은 서브셋을 추출하고, 이를 음성(negative) 샘플로 가정해 양성 샘플과 구분하는 SVM을 학습하는 것이다. 이 과정을 여러 번 반복해 다수의 SVM 모델을 얻고, 각 모델의 예측을 평균하거나 다수결로 결합한다. 이렇게 하면 개별 모델이 미표시 샘플 중 실제 음성을 포함할 확률이 낮아지면서, 전체 앙상블은 잡음에 강인해진다.

인덕티브 설정에서는 학습된 앙상블을 새로운 테스트 샘플에 직접 적용한다. 트랜스덕티브 설정에서는 미표시 데이터 자체를 테스트 대상으로 삼아, 각 모델이 해당 샘플을 양성으로 분류한 비율을 최종 점수로 사용한다. 이는 기존 PU 학습에서 흔히 쓰이는 “biased SVM”이나 “two‑step” 접근법과 달리, 별도의 사전 추정 단계 없이 바로 확률적 라벨링을 수행한다는 장점이 있다.

이론적으로는 부트스트랩 샘플링이 모델 다양성을 확보하고, 과적합 위험을 감소시킨다는 일반적인 배깅 원리를 차용한다. 또한, 미표시 데이터가 대규모일 경우 서브샘플 크기를 조절함으로써 계산 복잡도를 선형에 가깝게 유지할 수 있다. 실험에서는 시뮬레이션 데이터, 유전자 발현 데이터, 그리고 텍스트 검색 데이터에 대해 기존 PU 방법(예: Spy, PU‑SVM, Elkan‑Noto)과 비교했으며, 정확도·AUC·F1 점수에서 동등하거나 우수한 결과를 얻었다. 특히, 전체 학습 시간이 기존 방법 대비 2~5배 빠른 것으로 보고되어, 대규모 실무 적용 가능성을 강조한다.