라벨이 없는 데이터를 활용한 앙상블 다양성 향상

초록

본 논문은 라벨이 없는 데이터를 이용해 앙상블 학습의 다양성을 증진시키는 새로운 반지도 학습 방법인 UDEED를 제안한다. 기존 방법이 라벨이 없는 데이터에 대해 의사 라벨을 부여해 학습 데이터를 확대하는 데 초점을 맞춘 반면, UDEED는 라벨이 있는 데이터에서 각 기본 학습기의 정확도를 최대화하고, 라벨이 없는 데이터에서는 학습기들 간의 예측 차이를 늘려 다양성을 강화한다. 실험 결과, UDEED는 여러 벤치마크 데이터셋에서 기존 반지도 앙상블 기법과 비교해 경쟁력 있는 성능을 보이며, 특히 라벨이 부족한 상황에서 큰 이점을 제공한다.

상세 분석

UDEED는 두 가지 목표 함수를 동시에 최적화한다는 점에서 기존 반지도 앙상블과 근본적으로 차별화된다. 첫 번째 목표는 라벨이 있는 데이터(L)에서 각 기본 학습기(h_i)의 손실을 최소화하여 개별 정확도를 높이는 것이며, 이는 전통적인 지도 학습과 동일한 방식으로 구현된다. 두 번째 목표는 라벨이 없는 데이터(U)에서 학습기들 간의 예측 분산을 최대화함으로써 다양성을 촉진한다. 구체적으로, U에 대한 예측 결과를 이용해 각 학습기 쌍 사이의 상관관계를 측정하고, 이를 최소화하는 정규화 항을 손실에 추가한다. 이 정규화 항은 “다양성 손실(diversity loss)”이라 불리며, 학습기들이 동일한 오류 패턴을 공유하지 않도록 유도한다.

UDEED의 핵심 아이디어는 라벨이 없는 데이터가 실제 레이블 정보를 제공하지 않더라도, 서로 다른 학습기들이 동일한 입력에 대해 서로 다른 출력을 내도록 강제함으로써 앙상블 전체의 일반화 능력을 향상시킬 수 있다는 점이다. 이는 “의사 라벨”을 추정하는 과정에서 발생할 수 있는 라벨 노이즈 문제를 회피하게 해준다. 또한, 다양성 손실은 라벨이 없는 데이터의 양이 많을수록 더 강력하게 작용하므로, 라벨이 극히 제한된 상황에서도 충분히 활용 가능하다.

실험 설계에서는 UDEED를 다양한 기본 학습기(예: 결정 트리, SVM, 신경망)와 결합하고, 라벨 비율을 10%에서 50%까지 변화시키며 성능을 평가하였다. 비교 대상은 기존 반지도 앙상블 기법인 SemiBoost, Co-Training 기반 방법, 그리고 단순히 라벨이 없는 데이터를 의사 라벨링해 학습에 포함시키는 방식이다. 결과는 UDEED가 특히 라벨 비율이 낮을 때 정확도 향상이 두드러졌으며, 라벨 비율이 높아질수록 기존 방법들과 비슷한 수준을 유지한다는 점을 보여준다.

또한, 다양성 측정 지표(예: Q‑statistic, disagreement measure)에서도 UDEED가 다른 방법들보다 높은 다양성을 유지함을 확인하였다. 이는 다양성 손실이 실제로 학습기 간 예측 차이를 효과적으로 확대한다는 증거이다. 마지막으로, 계산 복잡도 측면에서 UDEED는 기존 방법과 비슷하거나 약간 낮은 수준이며, 라벨이 없는 데이터에 대한 추가 연산이 크게 부담되지 않는다.

요약하면, UDEED는 라벨이 없는 데이터를 “정확도 향상”이 아닌 “다양성 증진”의 도구로 활용함으로써, 라벨 부족 문제를 새로운 관점에서 해결한다. 이 접근법은 기존 의사 라벨링 기반 반지도 학습의 한계를 보완하고, 앙상블 학습의 두 핵심 요소인 정확도와 다양성을 동시에 최적화하려는 연구자들에게 유용한 설계 원칙을 제공한다.