데이터 중심화와 비중심화의 고유값 분석

초록

본 논문은 커널 기반 기계학습에서 데이터 중심화 여부가 내적·외적 행렬의 고유값·고유벡터 분포에 미치는 영향을 이론적으로 규명한다. 중심화된 Gram 행렬과 비중심화된 Gram 행렬 사이의 고유값 interlacing 관계, 최대 고유값 하한, 그리고 공분산 행렬과 비중심화 공분산 행렬의 주요 고유벡터 연결성을 제시한다. 또한 가중 평균 이동, 랭크‑1 업데이트, 다차원 스케일링 등 다양한 확장 가능성을 논의하고, 시뮬레이션 및 실제 데이터 실험을 통해 실용성을 입증한다.

상세 분석

논문은 먼저 데이터 행렬 X∈ℝ^{d×n}에 대해 비중심화 Gram 행렬 K=XᵀX와 중심화 Gram 행렬 K_c=X_cᵀX_c를 정의한다. 여기서 X_c = X – μ1ᵀ, μ = (1/n)X1는 데이터 평균이다. 저자는 K와 K_c 사이의 고유값 관계를 “interlacing theorem” 형태로 증명한다. 구체적으로 λ_i(K) ≥ λ_i(K_c) ≥ λ_{i+1}(K) (i=1,…,n‑1) 가 성립함을 보이며, 이는 중심화가 스펙트럼을 압축하지만 가장 큰 고유값은 여전히 비중심화 행렬의 상한을 넘지 못한다는 의미다. 또한 λ₁(K_c)에 대한 하한을 μ의 노름과 K의 트레이스를 이용해 λ₁(K_c) ≥ λ₁(K) – (1/n)‖μ‖² 로 제시한다.

외적 행렬 C = (1/n)XXᵀ와 중심화된 공분산 행렬 C_c = C – μμᵀ에 대해서도 유사한 결과를 도출한다. 특히, C와 C_c의 주축(최대 고유벡터) w₁와 w_{c1} 사이에 랭크‑1 업데이트 관계 C_c = C – μμᵀ 가 존재함을 이용해 w_{c1} = (I – (μμᵀ)/‖μ‖²) w₁ 로 표현한다. 이는 비중심화 고유벡터를 정규화하고 평균 성분을 제거하면 중심화 고유벡터가 된다는 직관적인 해석을 제공한다.

핵심적인 수학적 도구로는 행렬의 트레이스, 행렬식, 그리고 Sherman‑Morrison 공식이 활용된다. 저자는 또한 가중 평균 이동(Weighted Mean Shift) 기법을 통해 μ를 임의의 가중 평균 μ_w = Xw (wᵀ1=1) 로 일반화하고, 이에 따른 K와 K_c의 스펙트럼 변화를 분석한다. 랭크‑1 업데이트는 온라인 학습 상황에서 새로운 샘플이 추가될 때 고유값을 빠르게 갱신하는 방법으로 제시된다.

다차원 스케일링(MDS) 관점에서는 거리 행렬 D와 그 중심화된 형태 B = –½HJH (J = I – (1/n)11ᵀ) 사이의 고유구조가 K와 K_c의 관계와 동일하게 해석된다. 따라서 중심화 여부가 MDS의 임베딩 차원 선택과 재구성 오류에 미치는 영향을 정량화할 수 있다.

실험에서는 (i) 인공 가우시안 클러스터 데이터, (ii) 얼굴 이미지 데이터셋, (iii) 유전자 발현 데이터 등 세 종류를 사용한다. 결과는 중심화된 PCA가 분산을 최대화하는 반면, 비중심화 ECA는 엔트로피 기반 목표함수를 최적화하면서도 평균 편향 정보를 보존한다는 점을 보여준다. 특히, λ₁(K_c)와 λ₁(C_c) 사이의 차이가 데이터의 평균 편차가 큰 경우 크게 나타나며, 이는 비중심화 접근법이 특정 응용(예: 스펙트럼 기반 분류, 비음수 행렬 분해)에서 유리함을 시사한다.

전체적으로 논문은 “데이터를 중심화할 것인가, 비중심화할 것인가”라는 실용적 질문에 대해 엄밀한 고유값 이론을 제공하고, 커널 기반 학습, 랭크‑1 업데이트, 가중 평균 이동, MDS 등 다양한 분야에 적용 가능한 일반화된 프레임워크를 제시한다.