불완전 데이터에서 실시간 서브스페이스 추정과 추적

초록

본 논문은 고도로 누락된 관측값만으로도 실시간으로 저차원 서브스페이스를 추정·추적할 수 있는 알고리즘 GROUSE(Grassmannian Rank‑One Update Subspace Estimation)를 제안한다. 매 반복마다 기본적인 선형대수 연산만 수행하며, 차원에 선형적인 시간 복잡도를 가진다. 또한 약간의 변형을 통해 저‑랭크 행렬의 결측값을 복원하는 온라인 매트릭스 완성 문제에도 적용 가능함을 보인다. 실험 결과, 서브스페이스 추적과 온라인 매트릭스 완성 모두에서 뛰어난 성능을 확인한다.

상세 분석

GROUSE는 서브스페이스를 Grassmannian 다양체 위의 점으로 모델링하고, 관측된 부분 데이터에 대한 잔차를 최소화하는 방향으로 단일 순위(rank‑one) 업데이트를 수행한다. 구체적으로, 시간 t에 관측된 m차원 벡터 y_t는 원래 저차원 서브스페이스 U∈ℝ^{n×r}에 투영된 후 일부 좌표만 선택된 형태이다. 알고리즘은 현재 추정된 서브스페이스 U_t에 대해, 관측된 인덱스 Ω_t에 제한된 최소제곱 문제
 min_{a∈ℝ^r} ‖P_{Ω_t}(U_t a) – P_{Ω_t}(y_t)‖2^2
를 풀어 â를 얻고, 잔차 r_t = P{Ω_t}(y_t) – P_{Ω_t}(U_t â) 를 계산한다. 그 다음, Grassmannian의 기하학을 이용해 U_t를 r_t와 â에 대한 외적 형태의 rank‑one 방향으로 이동시킨다. 이때 이동 스텝 크기 η_t는 학습률 혹은 잔차 크기에 비례하도록 선택할 수 있다.

핵심적인 이론적 기여는 두 가지이다. 첫째, Grassmannian 위에서의 기울기 하강을 정확히 rank‑one 업데이트로 변환함으로써 연산량을 O(nr) 로 줄였다. 기존의 전체 행렬 SVD 업데이트는 O(nr^2) 혹은 O(n^2) 수준의 비용이 들었지만, GROUSE는 각 단계에서 행렬-벡터 곱과 스칼라 연산만으로 충분히 서브스페이스를 갱신한다. 둘째, 누락된 관측값이 매우 많아도(예: 90% 이상) 알고리즘이 수렴한다는 경험적 증거를 제공한다. 이는 관측된 좌표 집합 Ω_t가 무작위이며, 각 시점마다 독립적으로 선택된다는 가정 하에, 기대값 관점에서 충분히 풍부한 정보를 제공한다는 확률적 분석과 일치한다.

알고리즘의 수렴 특성은 두 가지 상황으로 나뉜다. (1) 정적 서브스페이스 상황에서는, 충분히 많은 샘플이 축적되면 U_t는 실제 서브스페이스 U*에 대해 기하학적 수렴을 보이며, 수렴 속도는 학습률 η_t와 관측 비율 |Ω_t|/n에 의존한다. (2) 서브스페이스가 시간에 따라 변하는 동적 상황에서는, GROUSE는 온라인 적응 필터와 유사하게 최신 관측에 더 큰 가중치를 부여함으로써 트래킹 오차를 최소화한다. 특히, 서브스페이스 변화가 급격하지 않은 경우(즉, 서브스페이스의 Grassmannian 거리 변화가 작은 경우)에는 안정적인 트래킹이 가능하다.

매트릭스 완성 문제에 대한 적용은 간단히 “관측된 열을 순차적으로 처리하고, 각 열에 대해 위의 서브스페이스 업데이트를 수행”하는 형태로 구현된다. 이때 전체 행렬의 저‑랭크 구조를 유지하기 위해 초기 서브스페이스 차원 r를 사전에 지정하거나, 누적된 잔차 크기를 기준으로 동적으로 차원을 조정할 수 있다. 실험에서는 Netflix와 같은 대규모 협업 필터링 데이터셋에 대해, 기존의 오프라인 SVD 기반 방법 대비 메모리 사용량과 연산 시간을 크게 절감하면서도 복원 정확도(RMSE)에서 경쟁력을 보였다.

마지막으로, GROUSE는 구현이 간단하고 병렬화가 용이하다는 실용적 장점도 갖는다. 각 반복은 독립적인 벡터 연산으로 구성되므로 GPU 혹은 멀티코어 CPU에서 효율적으로 실행될 수 있다. 또한, 관측 인덱스 집합 Ω_t가 변동적이므로, 스트리밍 데이터 환경에서 실시간 처리 요구사항을 만족한다. 이러한 특성은 센서 네트워크, 비디오 스트리밍, 온라인 추천 시스템 등 다양한 분야에 바로 적용 가능하게 만든다.