비선형 주성분 분석을 위한 자동연관 모델과 투사추구 알고리즘

초록

본 논문은 PCA를 일반화한 자동연관 모델을 제안하고, 데이터셋을 위상적 특성을 갖는 저차원 매니폴드로 근사하는 투사추구 알고리즘을 설계한다. 단계별 잔차 노름이 감소하고 유한 단계 내 수렴함을 증명했으며, 선형 경우 PCA와 동일함을 보이고, 비선형 회귀 함수 추정 방법과 신경망과의 관계도 논의한다.

상세 분석

이 논문은 고차원 데이터의 비선형 구조를 탐색하기 위해 “자동연관(auto‑associative) 모델”이라는 새로운 프레임워크를 도입한다. 자동연관 함수 Fₙ은 d개의 단위 정규벡터 a₁,…,a_d(주축)와 연속적으로 미분 가능한 회귀 함수 s₁,…,s_d 로 구성되며, 각 축에 대한 투사 P_{a_k}와 회귀 s_k가 서로 역함수 관계 P_{a_j}∘s_k=δ_{jk} Id를 만족한다. 이러한 정의는 Fₙ(x)=0인 해집합이 d‑차원 매니폴드임을 보장한다(정리 1). 따라서 데이터 X는 Fₙ(x)=0 매니폴드와 잔차 ε=Fₙ(X) 로 분해될 수 있고, σ²(ε) 는 매니폴드 외부의 분산을 의미한다.

핵심 알고리즘은 “투사‑추구‑회귀‑업데이트” 네 단계(A‑P‑R‑U)로 구성된다. 단계 A에서는 현재 잔차 R_{k‑1}에 대해 지정된 지표 I(예: 투사 분산)를 최대화하는 새로운 축 a_k를 찾는다. 단계 P에서는 해당 축에 대한 투사 Y_k=P_{a_k}(R_{k‑1})를 계산하고, 단계 R에서는 조건부 기대 s_k(t)=E