비지도 학습을 위한 교차 검증

초록

본 논문은 비지도 학습, 특히 주성분 분석에서 차원 수를 선택하는 문제에 교차 검증을 적용하는 방법을 제시한다. 잠재 요인 모델을 기반으로 목표 함수를 정의하고, 시뮬레이션과 이론적 분석을 통해 교차 검증이 데이터의 내재 차원을 추정하는 데 유용함을 입증한다.

상세 분석

이 연구는 비지도 학습 분야에서 교차 검증(CV)의 적용 가능성을 체계적으로 탐구한다는 점에서 의미가 크다. 기존에 CV는 주로 지도 학습에서 모델 복잡도와 일반화 오차를 추정하는 도구로 사용되어 왔으며, 레이블이 없는 데이터에 직접 적용하기는 어려웠다. 저자는 이러한 한계를 극복하기 위해 잠재 요인(latent factor) 모델을 도입한다. 데이터 행렬 (X\in\mathbb{R}^{n\times p})를 저차원 요인 (Z\in\mathbb{R}^{n\times d})와 로딩 행렬 (L\in\mathbb{R}^{p\times d})의 곱으로 근사하고, 잔차 제곱합을 최소화하는 전통적인 PCA와 동일한 목표를 갖지만, 차원 (d)를 선택하는 기준을 명시적으로 정의한다.

핵심 아이디어는 훈련 데이터와 검증 데이터를 무작위로 분할한 뒤, 각각에 대해 잠재 요인 모델을 추정하고, 검증 데이터에 대한 재구성 오차를 측정하는 것이다. 여기서 사용된 목표 함수는
\