저차원 이웃 표현을 이용한 LLE 개선

초록

본 논문은 기존 LLE가 이웃 가중치를 고차원 데이터 구조에 맞추어 계산함으로써 잡음에 취약하고, 결국 선형 투영에 수렴하는 문제를 지적한다. 이를 해결하기 위해 이웃을 저차원 공간에 투사한 뒤 가중치를 구하는 방법을 제안하고, 이 방식이 잡음에 대한 민감도를 이론적으로 감소시키며 정규화 필요성을 없앰을 증명한다. 실험을 통해 기존 LLE의 왜곡 현상과 제안 방법의 개선 효과를 확인한다.

상세 분석

LLE는 두 단계로 구성된다. 첫 번째 단계에서는 각 데이터 포인트 (x_i)를 K개의 최근접 이웃 ({x_{i1},\dots,x_{iK}})의 선형 결합으로 재구성하고, 재구성 오차를 최소화하는 가중치 (w_{ij})를 구한다. 두 번째 단계에서는 이 가중치를 보존하도록 저차원 임베딩 ({y_i})를 찾는다. 기존 LLE는 고차원 공간에서 직접 가중치를 계산하기 때문에, 이웃 집합이 실제 저차원 매니폴드를 따라 배열되어 있더라도 고차원 좌표의 잡음이나 불필요한 자유도가 가중치에 크게 영향을 미친다. 즉, 가중치 벡터는 매니폴드의 곡률이나 비선형 구조를 반영하기보다, 고차원 데이터의 노이즈와 차원 초과에 의해 왜곡된다.

이러한 왜곡은 두 가지 심각한 부작용을 만든다. 첫째, 가중치가 잡음에 민감해지면서 작은 변동에도 재구성 오차가 크게 증가한다. 이는 정규화 파라미터 (\epsilon)를 도입해야 하는 이유이며, (\epsilon)의 선택이 결과에 큰 영향을 미친다. 둘째, 가중치가 실제 매니폴드 구조를 반영하지 못하면, 두 번째 단계에서 최소화되는 비용 함수는 결국 데이터의 공분산 행렬에 대한 선형 변환을 찾는 문제와 동등해진다. 따라서 LLE는 비선형 매니폴드 학습이라는 목표를 상실하고, 단순한 선형 투영에 수렴한다.

논문은 이 문제를 해결하기 위해 “저차원 이웃 표현”이라는 아이디어를 도입한다. 구체적으로, 각 데이터 포인트 (x_i)에 대해 K개의 이웃을 먼저 고차원 PCA 혹은 SVD를 이용해 (d)차원(보통 매니폴드 차원) 하위공간으로 투사한다. 이 투사된 좌표 (\tilde{x}{ij})는 실제 매니폴드의 국소 구조를 더 정확히 반영한다. 이후 (\tilde{x}{ij})를 사용해 가중치 (w_{ij})를 최소화하면, 잡음이 고차원 차원에 남아 있더라도 가중치 계산 과정에서 크게 영향을 주지 않는다.

이 접근법의 핵심 이론적 기여는 두 가지 정리이다. 첫 번째 정리는 고차원 잡음이 (\sigma) 수준일 때, 기존 LLE의 가중치 오차가 (\mathcal{O}(\sigma))에 비례하지만, 저차원 이웃 표현을 사용하면 오차가 (\mathcal{O}(\sigma^2)) 이하로 감소함을 보인다. 두 번째 정리는 이웃 수 (K)가 입력 차원 (D)보다 커도 정규화 항이 필요 없으며, 가중치 행렬이 항상 풀랭크를 유지한다는 것이다. 이는 기존 LLE에서 정규화가 필수였던 상황을 완전히 해소한다.

실험 부분에서는 두 가지 시나리오를 제시한다. 첫 번째는 고차원 잡음이 추가된 스위스롤(Swiss roll) 데이터셋으로, 기존 LLE는 잡음이 5% 수준만 증가해도 매니폴드가 크게 왜곡되고, 임베딩이 거의 선형 평면에 머문다. 반면 제안 방법은 동일 잡음에서도 원래의 스위스롤 형태를 거의 복원한다. 두 번째는 얼굴 이미지 데이터셋(ORL)으로, 이웃 수를 30~50으로 늘렸을 때 기존 LLE는 정규화 파라미터에 따라 결과가 크게 달라졌지만, 제안 방법은 정규화 없이도 안정적인 2차원 임베딩을 제공한다.

결과적으로, 논문은 LLE의 근본적인 약점인 “고차원 구조에 의존하는 가중치 계산”을 저차원 이웃 표현으로 대체함으로써, 잡음에 대한 강인성을 크게 향상시키고, 비선형 매니폴드 복원이라는 원래 목표를 회복한다는 중요한 메시지를 전달한다. 또한 제안 방법은 기존 LLE와 동일한 알고리즘 흐름을 유지하면서도 추가적인 복잡도는 PCA 단계 하나뿐이므로 실용성도 높다.