희소 라벨을 활용한 통합 변분 오토인코더

본 연구는 “희소 라벨을 활용한 통합 변분 오토인코더”라는 이름으로, 기존 변분 오토인코더(VAE)에 분류 레이어를 추가하고 라벨이 있는 샘플에만 교차 엔트로피 손실을 적용하는 간단하면서도 강력한 반지도 학습 프레임워크를 제안한다. 모델 구조는 기본 VAE와 거의 동일한데, 인코더의 최상위 층에 소프트맥스 분류 레이어 π를 연결하고, 샘플링된 잠재 변수 z와 π를 결합해 디코더에 입력한다. 손실 함수는 전통적인 ELBO에 라벨이 존재할 경우에만 적용되는 L_cl (교차 엔트로피 손실)을 가중치 α(y)와 함께 더한 형태이며, α(y)는 라벨이 없을 때 0, 있을 때 1로 설정한다. 배치당 라벨 수를 고정하고 라벨·비라벨 샘플을 1:1 비율로 섞어 학습 안정성을 확보한다. 이 설계는 두 가지 핵심 효과를 만든다. 첫째, 디코더가 입력 재구성을 강제함으로써 인코더가 보다 의미 있는 고차원 표현을 학습하도록 정규화한다. 이는 라벨이 부족한 상황에서도 과적합을 방지하고, 분류 정확도를 향상시킨다. 둘째, 라벨이 일부라도 존재하면 π 레이어가 고수준 특징을 직접 학습하게 되므로, 잠재 공간이 라벨 정보와 정렬된다. 결과적으로 비라벨 데이터에 대한 재구성 품질이 개선되고, 이상 탐지와 같은 비지도 작업에서도 라벨이 제공하는 도메인 지식이 활용된다. 논문은 Kingma et al.의 M2 모델과 비교해 차별점을 명확히 제시한다. M2는 z와 y를 동시에 추정하는 복합 인코더를 사용하고, 라벨이 없는 경우 y를 marginalize한다. 반면 제안 모델은 z와 y를 완전히 분리해 z는 x만을 기반으로, y는 π 레이어를 통해 직접 예측한다. 이는 구현 복잡성을 크게 낮추고, 기존 순수 VAE를 그대로 재사용하면서 π 레이어와 손실만 추가하면 바로 반지도 학습이 가능하도록 만든다. 실험은 세 가지 데이터셋(MNIST, Fashion‑MNIST, UCI‑HAR)을 대상으로 수행되었다. (1) 반지도 분류 정확도 평가에서는 100개 라벨(≈0.2 %의 라벨)만 사용해도 순수 지도 모델보다 높은 정확도와 낮은 로그 손실을 기록했으며, 1 000개 라벨(≈1.7 %)에서도 동일한 경향이 유지되었다. (2) 전지도 상황에서는 전체 라벨을 사용했을 때, 디코더가 포함된 모델이 로그 손실에서 50 % 이상 개선되는 효과를 보였으며, 이는 디코더가 정규화 역할을 수행함을 시사한다. (3) 라벨이 일부일 때 이상 탐지 성능을 평가한 결과, 라벨이 없는 순수 VAE 대비 평균 AUC 가 약 4 % 상승했으며, 라벨 비율을 1 %에서 99 %까지 변화시켜도 성능이 일정 수준 유지되는 점을 확인했다. 특히, 라벨이 전혀 없는 경우보다 라벨이 조금이라도 존재하면 비정상 데이터에 대한 재구성 오류가 크게 증가해 탐지 정확도가 향상된다. 또한, 베타‑VAE를 이용한 잠재 공간의 분리도 평가했으며, 라벨이 추가될수록 β‑VAE 점수가 향상되어 라벨이 잠재 표현의 구조화에 기여함을 입증했다. 결론적으로, 이 논문은 VAE에 최소한의 구조적 변형만으로 반지도·전지도·비지도 학습을 하나의 프레임워크로 통합하는 실용적인 방법을 제시한다. 구현이 간단하고 기존 모델에 바로 적용 가능하다는 점에서 라벨링 비용이 높은 산업 현장이나 데이터가 풍부하지만 라벨이 희소한 도메인에 특히 유용할 것으로 기대된다.