가우시안 프로세스를 활용한 자기지도 학습

초록

본 논문은 긍정·부정 쌍을 명시적으로 생성하지 않고, 가우시안 프로세스(GP) 사전분포를 이용해 표현 공간의 부드러움을 강제하는 자기지도 학습 프레임워크(GPSSL)를 제안한다. VICReg의 분산·공분산 손실을 유지하면서 GP의 공분산 함수가 유사한 샘플을 자연스럽게 끌어당기도록 설계했으며, 일반화 베이지안 추론을 변분 방식으로 근사한다. 실험 결과, 기존 SSL 방법보다 정확도와 불확실성 정량화에서 우수함을 보였다.

상세 분석

GPSSL은 기존 자기지도 학습(SSL)에서 핵심이 되는 ‘양성 쌍’ 생성 과정을 커널 기반의 유사도 측정으로 대체한다는 점에서 혁신적이다. 구체적으로, 저자는 각 입력 x에 대해 f_z(x) 라는 J차원 임베딩 함수를 정의하고, 이 함수에 대해 평균 0, 커널 k(·,·) 을 갖는 가우시안 프로세스 사전분포를 부여한다. GP의 공분산 구조는 입력 공간에서 가까운 샘플들의 임베딩을 자동으로 유사하게 만들며, 이는 VICReg에서 사용되는 ‘인버리언스 손실’과 동일한 역할을 수행한다. 따라서 양성 쌍을 명시적으로 만들 필요가 없어 데이터 증강이 어려운 시계열·표형·텍스트 등 다양한 도메인에 적용 가능하다.

손실 함수 ℓ(Z) 는 VICReg의 분산 손실 ℓ_var 과 공분산 손실 ℓ_cov 만을 포함하고, 인버리언스 손실은 GP 사전으로 대체한다. 일반화 베이지안 프레임워크에 따라 사후분포 \tilde p(f_z|X) ∝ p(f_z) exp{−ℓ(Z)} 를 정의하고, 변분 추론을 통해 인덕팅 포인트 (U_x, U_z) 를 도입한 가우시안 변분 분포 q(U_z) 로 근사한다. 이때 ELBO는 기존 GP 회귀의 ELBO와 형태가 동일하지만, 로그우도 대신 ℓ 이 들어가므로 손실 기반 학습이 가능하다.

연결성 분석에서는 두 가지 중요한 관점을 제시한다. 첫째, GP 사전이 양성 쌍을 암묵적으로 제공함으로써 VICReg와 수학적으로 동등함을 보였으며, 커널 k(x_i, x_j)=1 if x_j is x_i′ (양성 쌍) 인 경우 로그 사전 확률이 ∑ z_i^T z_i′ 형태의 인버리언스 손실과 일치함을 증명한다. 둘째, GPSSL을 커널 PCA와 연결시켜, GP 사후 평균이 커널 PCA의 첫 번째 주성분과 동일한 최적화를 수행한다는 점을 제시한다. 이는 SSL이 단순히 차원 축소와 동일시될 수 있음을 이론적으로 뒷받침한다.

실험에서는 이미지(CIFAR‑10/100), 표형 데이터(UCI), 시계열 데이터 등 다양한 베치에서 GPSSL을 적용했다. 정확도 측면에서 SimCLR, BYOL, VICReg 등을 능가했으며, 특히 테스트 시 불확실성 추정이 가능한 베이지안 출력 덕분에 오버컨피던스가 크게 감소했다. 또한, 커널 선택에 따라 성능 변동이 있음을 확인했으며, RBF 커널이 대부분의 경우 좋은 결과를 보였다.

한계점으로는 변분 근사의 복잡도와 인덕팅 포인트 수에 대한 민감도가 있다. 대규모 데이터셋에서는 인덕팅 포인트 최적화가 병목이 될 수 있으며, 커널 파라미터 튜닝이 필요하다. 향후 연구에서는 스파스 GP, 랜덤 특징 근사 등을 도입해 확장성을 높이고, 비정형 데이터에 특화된 커널 설계와 자동화된 하이퍼파라미터 탐색을 진행할 여지가 있다.