비볼록 계수 최소화를 위한 경험적 베이지안 접근

초록

본 논문은 행렬의 순위를 직접 최소화하는 것이 NP‑hard 문제임을 지적하고, 기존의 핵노름 완화가 실용적 상황에서 한계를 보이는 점을 비판한다. 이를 극복하기 위해 변분 근사를 이용한 경험적 베이지안 프레임워크를 제안하며, 전역 최소점은 순위 함수와 동일하게 유지하면서 지역 최소점은 주변화 과정을 통해 완화한다. 특히 강인한 주성분 분석(RPCA) 문제에 적용해 기존 MAP 기반 방법과 비교해 이론적·실험적 우수성을 입증한다.

상세 분석

행렬 순위 최소화는 데이터 복원·추천 시스템·시스템 식별 등 다양한 분야에서 핵심적인 역할을 하지만, 순위 자체가 비볼록이고 이산적인 특성을 갖기 때문에 최적화 문제가 NP‑hard로 귀결된다. 전통적으로는 이러한 비볼록성을 회피하기 위해 핵노름(트레이스 노름)을 사용해 볼록화하는 방법이 널리 쓰여 왔으며, 이는 순위의 가장 큰 볼록한 아래쪽 근사치로서 이론적 보장을 제공한다. 그러나 핵노름은 실제 데이터에서 스파스한 잡음이나 구조적 결함이 존재할 경우, 순위와 핵노름 사이의 갭이 크게 벌어져 복원 정확도가 급격히 저하되는 단점을 가지고 있다. 특히 강인한 주성분 분석(RPCA)과 같이 저차원 구조와 스파스한 이상치가 동시에 존재하는 상황에서는 핵노름 기반의 Principal Component Pursuit(PCP)가 최적 해를 찾지 못하고 지역 최소점에 머무르는 경우가 빈번하다.

논문은 이러한 한계를 극복하기 위해 경험적 베이지안(Empirical Bayesian) 접근을 도입한다. 구체적으로, 행렬을 저차원 구조 (L)와 스파스 잡음 (S)의 합으로 모델링하고, 각각에 대해 적절한 사전분포(예: 저차원 구조에는 자동 관련 회귀(ARD)형 가우시안, 스파스 잡음에는 라플라스 혹은 스파스 가우시안)를 가정한다. 변분 베이지안 방법을 사용해 사후분포를 근사함으로써, 사전의 하이퍼파라미터를 데이터에 맞추어 자동으로 조정한다(경험적 베이지안). 이 과정에서 핵심은 주변화(marginalization) 로, 하이퍼파라미터에 대한 적분을 수행함으로써 복잡한 비볼록 비용함수의 다수 지역 최소점을 부드럽게 만든다. 결과적으로 최적화는 순위 함수와 동일한 전역 최소점을 유지하면서, 지역 최소점에 빠질 확률이 현저히 낮아진다.

수학적으로는 원래의 비볼록 목적함수
\