라벨과 비라벨 데이터를 활용한 반지도학습: 기법·편향·도메인 종합 연구

초록

본 논문은 다양한 반지도학습 기법을 여러 데이터셋에 적용해 라벨·비라벨 데이터 비율, 특성 독립성, 노이즈, 그리고 라벨링 과정에서 발생하는 선택 편향(MCAR, MAR, MNAR)의 영향을 체계적으로 실험한다. 기존 방법인 Co‑training, Re‑weighting, ASSEMBLE, Common‑Component Mixture와 새로 도입한 Bivariate Probit 및 Sample‑Select를 비교하고, 각 기법이 편향을 교정하거나 강화하는 메커니즘을 분석한다. 실험 결과는 편향 종류와 데이터 특성에 따라 기법별 성능 차이가 크며, 특히 MNAR 상황에서는 Bivariate Probit이 유의미한 개선을 보인다.

상세 분석

이 연구는 반지도학습 분야에서 가장 흔히 간과되는 라벨링 편향 문제를 세 가지 통계적 메커니즘(MCAR, MAR, MNAR)으로 명확히 구분하고, 각 메커니즘이 학습 알고리즘에 미치는 영향을 정량화한다. MCAR(완전 무작위 결측) 가정 하에서는 기존 기법인 Co‑training과 Common‑Component Mixture가 비교적 안정적인 성능을 보이며, 라벨과 비라벨 데이터가 동일 분포를 공유한다는 전제 하에 라벨링 정보를 효과적으로 전파한다. MAR(조건부 무작위 결측) 상황에서는 Re‑weighting과 ASSEMBLE이 라벨링 확률이 특성 x에 의존한다는 점을 활용해 가중치를 재조정함으로써 라벨 부족 문제를 완화한다. 그러나 가장 도전적인 MNAR(비무작위 결측)에서는 라벨링 확률이 클래스 y와도 연관되므로 단순 가중치 재조정만으로는 편향을 제거할 수 없다. 논문은 이때 경제학에서 차용한 Bivariate Probit 모델을 적용해 라벨링 선택 방정식과 결과 방정식을 동시에 추정함으로써 선택 편향을 보정한다. 실험 결과, Bivariate Probit은 특히 라벨링이 높은 신용점수 구간에만 집중되는 신용 스코어링 데이터와 같이 y‑의존적 선택 편향이 강한 경우에 AUC를 평균 5~7% 상승시켰다. 또한 Sample‑Select 기법은 선택 편향을 추정하는 별도 모델을 사전 학습한 뒤, 그 확률을 가중치로 사용해 기존 반지도학습 파이프라인에 삽입함으로써 비슷한 수준의 개선을 보였다.

특징 독립성에 대한 실험에서는, Co‑training이 두 개의 독립적인 특성 서브셋을 가정하지만 실제 데이터에서는 완전한 독립성이 드물어 성능이 불안정해지는 것을 확인했다. 반면 Common‑Component Mixture는 EM 기반 혼합 모델을 사용해 잠재적인 공통 구조를 학습하므로, 특성 간 상관관계가 존재해도 비교적 견고했다. 노이즈 실험에서는 라벨 노이즈 비율이 20% 이상일 때 모든 반지도학습 기법이 순수 지도학습보다 낮은 AUC를 기록했으며, 특히 Re‑weighting은 노이즈에 민감해 과적합 현상이 나타났다.

전체적으로 논문은 라벨링 편향을 명시적으로 모델링하고 교정하는 것이 반지도학습 성능을 좌우한다는 핵심 메시지를 제시한다. 또한 다양한 도메인(텍스트 분류, 신용 평가, 마케팅, 약물 설계)에서 동일한 실험 프로토콜을 적용함으로써 기법 간 일반화 가능성을 검증했다.