아웃라이어 추적을 통한 강인한 주성분 분석

초록

본 논문은 전체 데이터 포인트가 완전히 오염될 수 있는 상황에서, 핵심 저차원 서브스페이스와 오염된 포인트를 동시에 복원하는 새로운 볼록 최적화 알고리즘 ‘Outlier Pursuit’를 제안한다. 핵심 아이디어는 행렬을 저랭크 성분과 희소한 컬럼 오염 성분으로 분해하고, 핵심 서브스페이스를 정확히 회복함으로써 기존 PCA의 이상치 민감성을 극복한다.

상세 분석

Outlier Pursuit은 기존의 Robust PCA가 각 샘플의 일부 좌표만이 손상된 경우에 초점을 맞춘 것과 달리, 전체 샘플이 완전히 손상될 수 있는 ‘컬럼 아웃라이어’ 상황을 모델링한다. 이를 위해 관측 행렬 M을 두 부분으로 분해한다. 첫 번째는 저랭크 행렬 L으로, 이는 정상 데이터가 저차원 서브스페이스에 투사된 결과이며, 두 번째는 희소한 컬럼 행렬 C로, 이는 완전히 오염된 포인트들을 나타낸다. 핵심 목표는 L의 열공간을 정확히 복원하고, C의 비영(非零) 컬럼을 식별하는 것이다.

수학적으로는 다음과 같은 볼록 프로그램을 풀어낸다.
min ‖L‖* + λ ‖C‖{2,1} subject to M = L + C
여기서 ‖·‖*는 핵심노름(핵심값 합)이며, ‖C‖{2,1}=∑_j‖C_j‖_2는 컬럼별 ℓ2-노름을 합한 형태로, 컬럼 단위의 희소성을 촉진한다. λ는 두 정규화 항의 균형을 조절하는 파라미터이다.

핵심 정리는 ‘incoherence’와 ‘sparsity’ 조건이다. 정상 데이터가 생성되는 저차원 서브스페이스는 표준 PCA 가정과 동일하게, 그 기저벡터들이 표준 기저와 크게 정렬되지 않아야 한다(즉, incoherence). 또한 오염된 컬럼의 비율이 전체 컬럼 수에 비해 충분히 작아야 한다. 이러한 가정 하에, 저자들은 확률적 모델링과 정밀한 기하학적 분석을 통해, 위 최적화 문제가 정확히 L의 열공간과 C의 지원(support)을 복구한다는 것을 증명한다.

알고리즘 구현 측면에서는, 가변 라그랑주 승수법(ADMM) 또는 가속화된 프로시저를 이용해 대규모 데이터에도 효율적으로 적용 가능하도록 설계되었다. 실험에서는 합성 데이터와 실제 바이오인포매틱스·금융 데이터셋에 대해, 기존 Robust PCA, RPCA‑Alt, 그리고 표준 PCA 대비 뛰어난 복원 정확도와 오염 포인트 탐지율을 보였다. 특히, 전체 컬럼이 완전히 손상된 경우에도 서브스페이스를 정확히 회복함으로써, 데이터 전처리 단계에서의 이상치 제거 비용을 크게 절감할 수 있음을 입증한다.

이 논문의 주요 기여는 다음과 같다. 첫째, ‘컬럼 아웃라이어’라는 새로운 이상치 모델을 정식화하고, 이를 해결하기 위한 볼록 최적화 프레임워크를 제시했다. 둘째, 기존 행렬 복원 이론이 ‘정확한 행렬 복구’를 목표로 하는 반면, 여기서는 ‘열공간 복구’라는 구조적 목표에 맞는 새로운 최적성 증명 기법을 개발했다. 셋째, 실용적인 알고리즘 구현과 광범위한 실험을 통해 이론적 결과가 실제 응용에 바로 적용 가능함을 보여주었다. 이러한 점은 고차원 데이터 분석, 협업 필터링, 유전체 데이터 정제 등 다양한 분야에서 강인한 차원 축소와 이상치 탐지를 동시에 수행해야 하는 상황에 큰 영향을 미칠 것으로 기대된다.