다중 서브스페이스 분할을 위한 일반화 주성분 분석

초록

본 논문은 데이터가 존재하는 여러 서브스페이스를 알 수 없는 개수와 차원으로 자동 구분하는 일반화 주성분 분석(GPCA) 방법을 제시한다. 서브스페이스를 다항식 형태로 모델링하고, 해당 다항식의 도함수를 이용해 각 점이 속한 서브스페이스의 법선 벡터를 얻는다. 서브스페이스 수가 알려진 경우, 다항식 계수를 선형적으로 추정할 수 있어 한 점만 선택하면 전체 분할이 가능해진다. 선택된 대표점은 거리 함수 최소화를 통해 잡음에 강인하게 결정한다. 이후 각 서브스페이스의 보완 공간을 표준 PCA로 복원한다. 고차원 데이터와 서브스페이스 수가 미지인 경우에 대한 확장도 제시하며, 얼굴 클러스터링·영상 구간 분할·다중 시점 3D 움직임 분할 등 다양한 컴퓨터 비전 과제에 적용해 기존 대수적 방법보다 우수한 성능을 보인다.

상세 분석

GPCA는 기존의 서브스페이스 클러스터링이 직면한 두 가지 핵심 난제, 즉 “서브스페이스 수와 차원의 비가시성”과 “잡음에 대한 민감성”을 동시에 해결한다. 핵심 아이디어는 데이터가 속한 각 서브스페이스를 하나의 동차 다항식 집합으로 표현한다는 점이다. 여기서 다항식의 차수 d는 전체 서브스페이스 개수와 동일하며, 각 다항식은 모든 서브스페이스를 포함하는 초곡면을 정의한다. 중요한 점은 이 다항식들의 편미분이 각 데이터 포인트에서 해당 서브스페이스의 법선 벡터 집합을 제공한다는 사실이다. 따라서 다항식 계수를 선형 시스템으로부터 최소제곱 추정하면, 모든 점에 대한 법선 정보가 동시에 얻어진다.

서브스페이스 수가 사전에 알려진 경우, 전체 다항식 계수는 N개의 데이터에 대해 선형 방정식 Ax = b 형태로 구성된다. 여기서 A는 각 데이터의 모노미얼 벡터를 행으로 갖는 행렬이며, b는 0벡터이다. 이 시스템은 일반적인 선형 대수 기법(예: SVD)으로 해결 가능하고, 해는 다항식 계수의 최소노름 해를 제공한다. 이후 각 서브스페이스를 대표할 한 점을 선택해야 하는데, 논문은 “거리 함수 최소화”라는 최적화 기준을 도입한다. 구체적으로, 선택된 점들의 법선 집합이 서로 직교에 가깝도록 하는 비용 함수를 정의하고, 이를 반복적인 그리디 혹은 전역 최적화 방법으로 최소화한다. 이 과정은 잡음이 존재하더라도 대표점이 실제 서브스페이스를 잘 대표하도록 보장한다.

대표점이 정해지면, 해당 점들의 법선 벡터들을 모아 행렬 N을 만든 뒤, 각 서브스페이스의 보완 공간을 찾기 위해 N의 SVD를 수행한다. 이때 각 서브스페이스의 차원은 법선 벡터의 랭크에 의해 자동 결정된다. 즉, 차원 추정이 별도의 단계 없이 자연스럽게 이루어진다.

고차원 데이터(예: 커널 매핑 후)와 서브스페이스 수가 미지인 경우에도 GPGPCA(Generalized GPCA)와 모델 선택 기준(AIC/BIC 기반)으로 확장한다. 특히 커널 GPCA는 입력 데이터를 고차원 특성 공간에 매핑한 뒤 동일한 다항식 추정 절차를 적용함으로써 비선형 서브스페이스(다양체)에도 적용 가능하게 만든다.

실험에서는 저차원 합성 데이터와 실제 비전 데이터에 대해 K-Subspaces, EM, 기존 대수적 방법(다항식 인수분해)과 비교하였다. GPCA는 특히 서브스페이스 간 각도가 작고 잡음 수준이 중간 정도일 때 정확도가 크게 향상되었으며, 초기화된 K-Subspaces와 EM의 수렴 속도와 최종 비용에서도 유리함을 보였다.

이러한 설계는 두 가지 중요한 장점을 제공한다. 첫째, 선형 시스템 해결만으로 다항식 계수를 얻어 계산 복잡도가 비교적 낮다(특히 차수가 작을 때). 둘째, 대표점 선택 단계가 잡음에 대한 강인성을 부여해 실제 응용에서 안정적인 결과를 얻는다. 다만 차수가 데이터 포인트 수보다 크게 되면 시스템이 과잉 적합될 위험이 있으며, 차수가 커질수록 다항식 계수 추정의 수치적 불안정성이 증가한다는 한계도 존재한다.