비대조 자기지도 학습의 이중 관점 정지 그래디언트와 이동 평균의 최적화와 동역학

초록

본 논문은 비대조 자기지도 학습에서 널리 사용되는 정지 그래디언트(SG)와 지수 이동 평균(EMA) 기법을 최적화 관점과 동역학 시스템 관점에서 동시에 분석한다. 두 기법이 원래 목적함수나 다른 매끄러운 함수들을 최소화하지는 않지만, 일반적인 상황에서 표현 붕괴를 방지한다는 것을 증명한다. 특히 선형 모델을 가정한 경우, 원래 목적함수를 그대로 최소화하면 반드시 붕괴가 발생함을 보이고, SG와 EMA가 형성하는 동역학의 평형점들을 대수적 다양체로 명시하며 이 평형점들이 대체로 점근적으로 안정함을 제시한다. 실험을 통해 이론적 결과를 검증한다.

상세 분석

논문은 먼저 비대조 SSL에서 사용되는 기본 목표함수 (\bar E(\theta,\psi)=\mathbb{E}_{x,y}