반지도 학습을 위한 커널 PCA 확장

초록

본 논문은 라벨이 일부만 제공된 데이터에 대해 커널 주성분 분석(KPCA)을 확장하는 세 가지 방법을 제안한다. MV‑KPCA는 클래스 내 분산을 최소화해 Fisher 판별과 유사한 목표를 구현하고, LSKPCA는 최소제곱 회귀와 KPCA를 결합한다. 마지막으로 LR‑KPCA는 라벨된 샘플에 시그모이드 손실을 적용하도록 가중치를 반복적으로 재조정한다. 이들 방법에 대한 일반화 위험 경계와 실험 결과를 통해 기존 무감독 KPCA 대비 라벨 정보를 효과적으로 활용함을 입증한다.

상세 분석

KPCA는 비선형 데이터 구조를 고차원 특징공간으로 매핑한 뒤, 그 공간에서 주성분을 추출함으로써 차원 축소와 데이터 시각화를 수행한다. 그러나 전통적인 KPCA는 완전 무감독 방식이기 때문에, 라벨이 일부만 존재하는 반지도 학습 상황에서 정보 활용도가 낮다. 논문은 이 한계를 극복하기 위해 세 가지 새로운 목표 함수를 설계한다. 첫 번째인 MV‑KPCA는 클래스별 평균 사이의 거리(클래스 간 분산)를 최대화하고, 클래스 내부의 분산을 최소화하는 Fisher 판별식과 유사한 정규화를 도입한다. 이는 커널 매트릭스 K에 라벨 기반 가중치 행렬 W를 곱해 변형된 공분산 행렬을 구성하고, 그 고유벡터를 구함으로써 구현된다. 두 번째인 LSKPCA는 라벨이 있는 샘플에 대해 최소제곱 회귀 손실을 추가한다. 구체적으로, 목표 함수는 ‖Y‑Kα‖² + λ‖α‖² 형태이며, 여기서 Y는 라벨 벡터, α는 커널 공간에서의 계수이다. 이 회귀 항은 라벨된 데이터가 특정 방향으로 정렬되도록 유도하면서, 동시에 KPCA의 비감독 성분을 유지한다. 세 번째인 LR‑KPCA는 LSKPCA의 회귀 손실을 시그모이드 형태의 로지스틱 손실로 대체하고, 라벨된 샘플에 대한 가중치를 반복적으로 재조정한다. EM‑like 절차를 통해 각 반복마다 현재 예측 확률에 기반한 가중치를 업데이트함으로써, 최종 목표는 라벨이 있는 데이터에 대해 확률적 분류 경계를 학습하는 것이다. 이 과정은 손실 함수가 볼록하지 않음에도 불구하고, 가중치 재조정이 손실을 점진적으로 감소시키는 특성을 보인다. 이론적으로는 Rademacher 복잡도와 커널의 유한 차원을 이용해 일반화 위험에 대한 상한을 도출했으며, 라벨 비율이 낮을수록 위험 상한이 크게 완화되는 것을 확인했다. 실험에서는 MNIST, USPS와 같은 이미지 데이터와 인공적으로 만든 2‑D 토양 데이터에 대해 기존 KPCA, 라벨 전파 기반 반지도 방법, 그리고 제안된 세 모델을 비교하였다. 결과는 특히 라벨이 5% 이하인 경우 MV‑KPCA와 LR‑KPCA가 분류 정확도와 시각적 군집화 측면에서 현저히 우수함을 보여준다. 전체적으로 이 논문은 커널 기반 차원 축소와 라벨 정보 통합을 동시에 달성하는 새로운 프레임워크를 제시하며, 반지도 학습 분야에 실용적인 도구를 제공한다.