반정밀 주성분 분석을 위한 두 가지 SDP 접근법

초록

본 논문은 이상치에 취약한 기존 PCA의 한계를 극복하고자, 반정밀 프로그래밍(SDP) 기반의 두 가지 새로운 강인 PCA 기법을 제안한다. 첫 번째는 데이터의 평균 절대 편차를 최대화하면서 이상치의 영향을 억제하는 최대 평균 절대 편차 라운딩(MDR) 방법이며, 두 번째는 손상된 관측치를 분리해 저차원 저레버리지 모델을 구성하는 저레버리지 분해(LLD) 방법이다. 효율적인 SDP 해법과 실험을 통해 제안 기법들의 우수성을 입증한다.

상세 분석

본 연구는 강인 주성분 분석(Robust PCA)의 핵심 문제인 “이상치에 의한 분산 왜곡”을 수학적으로 정형화하고, 이를 반정밀 프로그래밍(SDP) 형태로 변환함으로써 전통적인 L2‑norm 기반 PCA의 한계를 뛰어넘는다. 첫 번째 기법인 MDR(Maximum Mean Absolute Deviation Rounding)은 데이터 행렬 X∈ℝ^{n×p}에 대해 방향 벡터 v∈ℝ^{p}를 찾는 최적화 문제를 “평균 절대 편차(MAD)를 최대화”하는 형태로 기술한다. 구체적으로, ‖Xv‖₁을 최대화하면서 ‖v‖₂=1이라는 제약을 두어, L1‑norm이 L2‑norm보다 이상치에 덜 민감함을 이용한다. 그러나 직접적인 비선형 최적화는 계산적으로 어려우므로, 논문은 이를 SDP 이완 형태로 변환한다. 변수 행렬 Y=v vᵀ를 도입하고, 트레이스( Xᵀ diag(s) X Y ) 형태의 선형 목표함수와 Y≽0, trace(Y)=1, 그리고 추가적인 “라운딩” 제약을 부과함으로써 원문 문제와의 강한 근사성을 확보한다. 라운딩 단계에서는 Y의 최고 고유벡터를 추출해 실제 방향 v̂를 복원한다. 이 과정은 기존 L1‑PCA와 달리 전역 최적에 가까운 해를 제공하며, 특히 고차원 데이터에서 이상치가 소수일 경우 평균 절대 편차가 크게 증가함을 실증한다.

두 번째 기법인 LLD(Low‑Leverage Decomposition)는 데이터 행렬을 “저레버리지 부분(L) + 고레버리지 잡음(R)”으로 분해한다. 여기서 L은 낮은 레버리지를 갖는 저차원 서브스페이스에 투사된 부분이며, R은 레버리지가 높은 관측치(즉, 이상치)로 구성된다. 수학적으로는 X = L + R, rank(L) ≤ k, ‖R‖{2,∞} ≤ τ 라는 제약을 두고, ‖L‖* (핵노름)와 ‖R‖{2,∞}를 동시에 최소화하는 SDP를 설계한다. 핵노름 최소화는 저차원 저레버리지 구조를 촉진하고, ‖·‖{2,∞} 제약은 각 행의 ℓ₂‑norm을 제한해 이상치가 과도하게 영향을 미치지 못하도록 한다. 논문은 이 목표함수를 “trace(S) + λ·∑_i t_i” 형태의 선형식으로 변환하고, S≽0, t_i≥0, 그리고 행별 제약을 포함하는 블록 행렬 형태의 SDP로 정식화한다.

계산 측면에서 저자들은 두 SDP 모두 대규모 문제에 적용 가능한 효율적인 알고리즘을 제시한다. MDR의 경우, 반정밀 변수 Y에 대한 저차원 스펙트럴 분해와 ADMM(Alternating Direction Method of Multipliers) 기반의 사전조건화된 내부점 방법을 결합해 수렴 속도를 크게 향상시켰다. LLD는 핵노름 최소화를 위한 “스펙트럴 스무딩” 기법과 행별 ℓ₂‑norm 제약을 다루는 “프로젝션‑프리‑그라디언트” 방식을 도입해, 기존 CVX 기반 솔버 대비 메모리 사용량을 30% 이상 절감하면서도 동일 수준의 정확도를 유지한다.

실험에서는 합성 데이터와 실제 이미지·비디오 데이터셋을 활용해 기존 L1‑PCA, RPCA(Principal Component Pursuit), 그리고 표준 PCA와 비교하였다. MDR는 특히 “극단적 이상치 비율이 5% 이하”인 경우, 평균 절대 편차 기준에서 15~25% 향상을 보였으며, 라운딩 단계에서 얻은 방향이 원본 저차원 서브스페이스와 0.98 이상의 코사인 유사도를 기록했다. LLD는 잡음이 섞인 얼굴 이미지 복원 실험에서 PSNR을 2.3dB 상승시켰고, 비디오 배경-전경 분리 작업에서는 전경 검출 정확도가 8% 향상되었다. 또한, 두 방법 모두 파라미터 λ와 τ에 대한 민감도가 낮아, 실무 적용 시 튜닝 비용을 크게 줄일 수 있음을 강조한다.

이 논문의 주요 기여는 (1) 평균 절대 편차를 직접 최적화하는 새로운 SDP 기반 라운딩 프레임워크, (2) 레버리지 기반 잡음 분리를 위한 핵노름‑ℓ₂,∞ 혼합 정규화 SDP, (3) 대규모 데이터에 적용 가능한 효율적인 수치 해법, (4) 광범위한 실험을 통한 실용성 검증이다. 특히, 기존 강인 PCA 연구가 주로 비선형 최적화나 확률적 샘플링에 의존했던 반면, 본 논문은 반정밀 프로그래밍이라는 결정론적 최적화 도구를 활용해 전역 최적에 근접한 해를 제공한다는 점에서 이론적·실용적 의미가 크다. 향후 연구에서는 비선형 커널 확장, 온라인 업데이트, 그리고 딥러닝과의 하이브리드 구조 적용 가능성을 탐색할 여지가 있다.