반감학습을 위한 라벨 전파와 서포트 벡터 머신의 하이브리드 접근법

초록

본 논문은 라벨 전파(Label Propagation)와 서포트 벡터 머신(SVM)을 결합한 하이브리드 반감학습 프레임워크를 제안한다. 라벨 전파로 얻은 확률 행렬과 SVM의 예측이 일치하는 경우에만 비지도 데이터를 라벨링하고, 이를 반복적으로 학습에 반영한다. 12개의 다양한 데이터셋에 대해 실험한 결과, 기존 라벨 전파 단독 방식보다 평균 F‑measure가 거의 두 배 향상되었으며, SVM 기반 모델이 로지스틱 회귀보다 뛰어난 성능을 보였다. 또한 직렬·병렬 구현을 비교해 병렬 버전에서 학습 시간이 크게 단축됨을 확인하였다.

상세 분석

이 연구는 반감학습(Inductive Semi‑Supervised Learning) 분야에서 두 가지 전통적 접근법—그래프 기반 라벨 전파와 경계 기반 서포트 벡터 머신—을 통합함으로써 각각의 약점을 보완한다는 점에서 의미가 크다. 라벨 전파는 데이터 간 유사도 그래프를 이용해 비지도 샘플에 확률적 라벨을 할당하지만, 그래프 구조가 부정확하거나 클래스 간 경계가 모호할 경우 라벨 오염(label noise)이 발생한다. 반면 SVM은 마진을 최대화하여 결정 경계를 명확히 하지만, 라벨이 충분히 확보되지 않으면 일반화 성능이 급격히 저하된다. 논문은 이 두 방법을 “동의 기반 라벨링”(agreement‑based labeling) 메커니즘으로 결합한다. 구체적으로, 매 반복마다 (1) 전체 학습 데이터를 이용해 라벨 전파를 수행해 각 비지도 샘플에 대한 클래스 확률 행렬을 얻고, (2) 현재 라벨된 데이터만으로 SVM을 학습한다. 이후 (3) SVM이 예측한 클래스와 라벨 전파가 제시한 확률이 사전 정의된 임계값(threshold) 이상으로 일치하면 해당 샘플을 라벨링하고 라벨된 집합에 추가한다. 이 과정을 라벨이 더 이상 증가하지 않을 때까지 반복한다.

핵심적인 설계 선택은 “양쪽 모델이 동의할 때만 라벨을 부여한다”는 점이다. 이는 라벨 전파가 과도하게 라벨을 부여하는 경우를 억제하고, SVM이 라벨 전파의 노이즈에 의해 오염되는 것을 방지한다. 실험에서는 라벨 전파만 사용했을 때와 비교해 F‑measure가 평균 2배 이상 상승했으며, 특히 라벨링 비율이 020% 수준으로 낮아도 0.670.9 사이의 높은 성능을 유지했다. 이는 소량의 라벨만으로도 대표성을 갖는 샘플을 효과적으로 선택함을 의미한다.

알고리즘 구현 측면에서는 직렬 버전과 병렬 버전을 모두 제공한다. 병렬 버전은 라벨 전파와 SVM 학습을 별도 프로세스로 실행하고, 비라벨 샘플을 여러 작업(task)으로 분할해 동시에 라벨링 검증을 수행한다. 실험 결과, 데이터 규모가 10,000건을 초과하는 경우 병렬화로 학습 시간이 30~50% 가량 감소했으며, 정확도에는 영향을 미치지 않았다.

비교 대상으로는 Zhu et al.