라벨 없는 데이터가 예측 모델에 미치는 영향

초록

본 논문은 반지도학습에서 라벨이 없는 데이터가 회귀와 분류 모델의 예측 정확도를 어떻게 향상시킬 수 있는지를 통계적 관점에서 체계적으로 고찰한다. 샘플링 설계, 사전 분포 설정 등 전통적인 통계 개념을 재조명하고, 라벨 없는 데이터의 구조적·기하학적 특성이 모델 추정에 미치는 영향을 정량화한다. 실제 데이터 사례 두 건을 통해 이론적 결과를 실증적으로 검증한다.

상세 분석

논문은 먼저 반지도학습(semi‑supervised learning)의 통계적 기초를 명확히 정의한다. 라벨이 있는 데이터와 라벨이 없는 데이터가 동일한 모집단에서 추출된다는 가정 하에, 두 데이터 집합을 결합한 전체 샘플이 ‘완전 샘플링’으로 간주될 수 있음을 보여준다. 이때 라벨 없는 데이터는 사전 정보(prior information) 역할을 수행하며, 베이지안 프레임워크에서 사전 분포를 구체화하는 데 활용된다. 저자는 특히 ‘조건부 독립성’과 ‘클래스-조건부 밀도 일치’라는 두 가지 핵심 가정을 제시한다. 첫 번째 가정은 라벨 없는 데이터가 입력 변수 X의 분포를 정확히 반영한다는 것이며, 두 번째 가정은 클래스별 조건부 밀도 p(X|Y) 가 라벨 없는 데이터에서도 동일하게 유지된다는 점이다. 이러한 가정이 충족될 경우, 라벨 없는 데이터는 파라미터 추정의 효율성을 향상시켜, 최소 분산 불편 추정량(MVUE) 혹은 베이지안 사후 평균과 같은 최적 추정량에 근접하게 만든다.

다음으로 저자는 기존 문헌에서 주로 다루어진 기하학적 접근—예를 들어, 그래프 기반 라플라시안 정규화, 저차원 매니폴드 가정—을 확률론적 관점으로 재해석한다. 라벨 없는 데이터가 형성하는 데이터 매니폴드가 실제로는 입력 변수의 확률 분포를 근사하는 ‘밀도 추정기’ 역할을 한다는 점을 강조한다. 따라서 매니폴드 학습은 본질적으로 비모수 밀도 추정과 동일시될 수 있다. 이와 더불어, 라벨 없는 데이터가 충분히 풍부할 경우, 사후 분포는 라벨 있는 데이터에만 의존하는 경우보다 훨씬 좁아지며, 이는 예측 불확실성 감소와 직접 연결된다.

실증 부분에서는 두 개의 실제 데이터셋—하나는 의료 이미지 분류, 다른 하나는 경제 지표 회귀—을 사용한다. 첫 번째 사례에서는 라벨 없는 이미지 10배를 추가함으로써, 기존 지도학습 모델 대비 AUC가 3~5% 상승하였다. 두 번째 사례에서는 라벨 없는 시계열 데이터를 활용해 회귀 계수의 표준 오차가 20% 이상 감소했으며, 교차 검증에서 평균 제곱 오차(MSE)가 현저히 낮아졌다. 이러한 결과는 라벨 없는 데이터가 모델의 일반화 능력을 강화하고, 특히 데이터가 희소하거나 라벨링 비용이 높은 상황에서 큰 가치를 제공함을 입증한다.

마지막으로 저자는 라벨 없는 데이터 활용에 있어 위험 요소도 지적한다. 라벨 없는 데이터가 모집단을 제대로 대표하지 못하거나, 클래스-조건부 밀도 일치 가정이 깨질 경우, 오히려 편향이 증폭될 위험이 있다. 따라서 데이터 수집 단계에서 샘플링 설계와 사전 검증이 필수적이며, 베이지안 모델링을 통한 사전-사후 검증 절차가 권장된다.