마스크드 자기지도 회귀의 랜덤 행렬 이론

초록

본 논문은 마스크드 자기지도 학습(SSL)에서 다수의 마스크 패턴을 집계해 얻는 행렬형 예측기 ˆA 의 고차원 통계적 특성을 무작위 행렬 이론(RMT)으로 분석한다. 샘플 수와 차원이 비례적으로 커지는 비례 한계에서 일반화 오차와 훈련 오차의 정확한 극한식을 도출하고, 스펙트럼 구조를 통해 BBP‑type 위상 전이를 보인다. 특히, 스파이크 공분산 모델에서는 PCA가 우수하지만, AR(1) 모델에서는 마스크드 SSL이 PCA를 능가함을 증명한다.

상세 분석

논문은 먼저 마스크드 자기지도 회귀(SSR) 문제를 선형 리지 회귀의 좌표별 독립적인 최적화로 정의하고, 각 좌표 k 에 대해 â_k 를 구한 뒤 이를 열벡터로 모아 ˆA =