데이터 차원 축소와 저차원 구조 탐색

초록

본 논문은 고차원 데이터 집합 S 내에서 점들의 밀집도가 가장 높은 저차원 부분집합 Lₖ (k ≪ N)를 찾는 새로운 차원 축소 알고리즘을 제시한다. 기존의 주성분 분석(PCA)과 달리, 이 방법은 데이터가 특정 저차원 매니폴드에 근접해 있는지를 직접 탐색하며, 각 차원 k 에 대해 최적의 Lₖ 를 정의한다. 알고리즘은 지역 밀도 평가, 후보 저차원 구조 생성, 그리고 점들의 포함 여부를 판단하는 반복 과정을 통해 구현된다. 실험 결과는 제안 기법이 복잡한 비선형 구조를 효과적으로 포착하고, 차원 축소 후에도 원 데이터의 핵심 정보를 보존함을 보여준다.

상세 분석

이 논문이 제시하는 차원 축소 기법은 고차원 공간 Rᴺ 내에 존재하는 점 집합 S 를 분석하여, 특정 차원 k (1 ≤ k ≪ N) 에 대해 “점들의 밀집도가 최대”인 저차원 부분집합 Lₖ 를 찾아내는 절차를 중심으로 한다. 전통적인 PCA는 데이터 전체의 공분산 행렬을 기반으로 선형 변환을 찾아 주성분을 추출하지만, 이는 데이터가 선형 서브스페이스에 근접해 있다는 가정에 크게 의존한다. 반면 본 알고리즘은 데이터가 비선형 매니폴드에 분포하거나, 여러 개의 서로 다른 저차원 구조가 혼재하는 경우에도 적용 가능하도록 설계되었다.

핵심 아이디어는 “지역 밀도”와 “근접성”을 동시에 고려하는 것이다. 먼저 전체 데이터 영역 D 를 격자 혹은 임의의 샘플 포인트 cᵢ (중심점) 로 분할한다. 각 중심점 cᵢ 에 대해 반경 r 내에 포함되는 점들의 집합 Sᵢ 를 정의하고, 이 집합에 대해 차원 k 에 대한 최적의 저차원 선형(또는 비선형) 근사 Lᵢₖ 를 구한다. 여기서 근사는 최소 제곱 오차를 최소화하는 것이 아니라, 포함 점 수를 최대화하는 방향으로 최적화된다. 즉, Lᵢₖ 위에 투영된 점들의 개수가 가장 많도록 하는 k‑차원 평면(또는 곡면)을 찾는 것이 목표이다.

구체적인 최적화는 다음과 같은 두 단계로 이루어진다.

1. 후보 구조 생성: 주어진 Sᵢ 에 대해, k‑차원 서브스페이스를 무작위 혹은 SVD 기반으로 초기화한다. 비선형 경우에는 커널 PCA, 로컬 선형 임베딩(LLE) 등으로 매니폴드의 접선 공간을 추정한다.
2. 포함 점 최대화: 현재 후보 Lᵢₖ 에 대해, 각 점 xⱼ 이 Lᵢₖ 에 ‘가깝다’는 기준(예: 거리 ≤ ε) 를 적용한다. 그런 점들의 집합 Cᵢₖ 를 구하고, Cᵢₖ 의 크기를 목표 함수로 삼아 Lᵢₖ 를 반복적으로 조정한다. 조정 방법은 경사 상승법, EM‑like 절차, 혹은 이산 최적화(시뮬레이티드 어닐링) 등을 사용할 수 있다.

이 과정을 모든 중심점 cᵢ 에 대해 수행한 뒤, 전체 데이터에 대해 가장 많은 점을 포함하는 Lₖ 를 선택한다. 선택 기준은 단순히 포함 점 수뿐 아니라, 점들의 분포 균일성(예: 포인트 클러스터링 정도)과 구조의 복잡도(차원 k 에 대한 정규화) 등을 가중합으로 조정할 수 있다.

알고리즘의 복잡도는 중심점 수 M, 각 지역의 점 수 평균 n̄, 차원 k 에 따라 대략 O(M·n̄·k·I) (여기서 I 는 반복 횟수) 로 추정된다. 이는 전통적인 PCA(단일 SVD)보다 높은 비용을 요구하지만, 지역적 비선형 구조를 포착한다는 점에서 트레이드오프가 존재한다. 또한, 병렬화가 용이해 GPU 혹은 클러스터 환경에서 효율적으로 구현 가능하다.

실험에서는 합성 데이터(다중 스위스 롤, 토러스, 나선형 클러스터)와 실제 고차원 데이터(이미지 피처, 유전자 발현) 두 가지를 대상으로 성능을 평가하였다. 평가 지표는 (1) 포인트 포함 비율, (2) 재구성 오차, (3) 시각적 매니폴드 보존 정도이다. 결과는 제안 기법이 특히 비선형 매니폴드가 섞여 있는 경우에 PCA보다 높은 포인트 포함 비율(≈ 85 % → 95 %)과 낮은 재구성 오차를 달성함을 보여준다. 또한, 차원 k 을 증가시켜도 과적합이 크게 발생하지 않아, 적절한 k 선택이 비교적 자유롭다.

이 논문의 주요 기여는 (1) “점들의 밀집도가 최대인 저차원 구조”라는 새로운 최적화 목표를 제시한 점, (2) 지역 밀도와 근접성을 결합한 반복 최적화 프레임워크, (3) 비선형 매니폴드에 대한 적용 가능성을 실험적으로 입증한 점이다. 한계점으로는 파라미터 r, ε, I 등의 설정이 결과에 민감할 수 있다는 점과, 매우 큰 데이터셋에서는 초기 중심점 선택이 전체 성능을 좌우한다는 점이 있다. 향후 연구에서는 자동 파라미터 튜닝, 딥러닝 기반 후보 구조 생성, 그리고 차원 k 에 대한 베이지안 모델 선택 등을 탐구할 여지가 있다.