다중소스 데이터의 안정적인 공유 표현 학습을 위한 분포강건 PCA

초록

StablePCA는 여러 출처에서 수집된 고차원 데이터를 대상으로, 최악의 혼합 분포에서 설명된 분산을 최대화함으로써 공통된 저차원 구조를 추출한다. 고정된 랭크 제약을 판토프(Fantope) 완화하여 볼록화하고, Mirror‑Prox 알고리즘으로 효율히 해결한다. 데이터‑종속 인증서와 완화가 정확히 일치하는 충분조건을 제시해 원문 비볼록 문제와의 차이를 정량화한다.

상세 분석

본 논문은 다중소스 환경에서 “공유된” 저차원 표현을 찾는 문제를 분포강건 최적화(min–max) 관점에서 재정의한다. 기존 PCA는 단일 분포에 대한 기대 설명 분산 ⟨Σ,P⟩을 최대화하지만, 소스 간 배치 효과나 샘플 크기·노이즈 차이로 인해 일반화가 제한된다. 저자들은 모든 소스 분포의 혼합을 포함하는 불확실성 집합 C = {∑ₗ ωₗ T^{(l)} | ω∈Δ_L}을 도입하고, 최악의 혼합에 대해 설명 분산을 최대로 하는 P∈𝒫_k를 찾는다(식 (4)→(5)). 이때 𝒫_k는 랭크‑k 투영 행렬 집합이며, 비볼록성은 고정된 랭크 제약에서 비롯된다.

비볼록성을 극복하기 위해 판토프(Fantope) 완화 𝔽_k = {P ∈ ℝ^{d×d} | 0 ≼ P ≼ I, tr(P)=k}를 사용한다. 완화된 문제는 \