신경 집단 인포맥스를 이용한 빠르고 견고한 비지도 학습 프레임워크

본 논문은 ‘신경 집단 인포맥스’를 기반으로 한 비지도 표현 학습 프레임워크를 제안한다. 저자들은 대규모 신경 집단(N≫K)의 상호정보량을 정확히 근사하는 식을 도출하고, 이를 최적화 문제의 목표함수로 채택한다. 구체적으로, 입력 변수 X와 뉴런 응답 R 사이의 Shannon MI를 \(I(X;R) \approx \frac12\ln\det\bigl(G(x)/(2\pi e)\bigr)+H(X)\) 로 근사한다. 여기서 \(G(x)=J(x)+P(x)\)는 Fisher 정보 행렬 J와 입력 사전분포의 곡률 P의 합이며, J는 뉴런 응답 모델의 파라미터에 따라 선형 결합 형태로 표현된다. 직관적으로는 ‘정보가 많이 흐르는’ 변환을 찾는 것이 목표이다. 하지만 목표함수가 비볼록이므로 초기값 선택이 최적화 성공에 결정적이다. 이를 해결하기 위해 저자들은 두 단계의 계층적 인포맥스(Hierarchical Infomax) 전략을 고안한다. 첫 번째 단계는 입력 X를 선형 변환 Y=WᵀX 로 매핑하면서 \(I(X;\tilde Y)\) 를 최대화한다. 여기서 \(\tilde Y\)는 Y에 가우시안 잡음이 추가된 버전이다. 이 단계는 사실상 입력 데이터의 공분산을 화이트닝하고, 저차원(또는 저랭크) 직교 행렬 C를 통해 선형 변환을 수행한다. 최적 가중치 행렬은 \(W = a\,U_0 \Sigma_0^{-1/2} C\) 로 주어지며, \(U_0\Sigma_0U_0^T\)는 입력 공분산의 고유분해 결과이다. \(\alpha_k\) (각 파라미터 클래스의 비율)는 균등하게 설정되어 \(\sum_k \alpha_k =1\) 을 만족한다. 이 과정은 입력 차원 K와 출력 차원 K₁ 사이에 저랭크 구조를 만들며, 과적합을 방지한다. 두 번째 단계는 비선형 활성함수 \(\tilde f(y;\tilde\theta_k)\) 를 최적화해 \(I(Y;R)\) 를 최대화한다. 저자들은 포아송 스파이크 모델을 채택하고, 전위 y에 가우시안 잡음 Z를 추가해 \(\tilde Y = Y+Z\) 로 만든다. 이렇게 하면 마코프 사슬 \(X\rightarrow Y\rightarrow\tilde Y\rightarrow\bar Y\rightarrow R\) 가 형성되고, 각 단계에서 정보 손실을 최소화하도록 설계된다. 특히 잡음이 존재하면 최적해가 더 견고해져 과적합을 억제하고, 입력 변동에 대한 내성을 제공한다. 최종 목표함수는 \(Q