노이즈가 있는 저랭크 행렬 완성을 위한 핵노름 페널티와 최적 수렴 속도

초록

본 논문은 트레이스 회귀 모델에서 관측된 노이즈가 섞인 행렬 원소(또는 선형 결합)를 이용해 저랭크 행렬 $A_0$를 추정한다. 핵노름(핵 트레이스) 페널티를 적용한 새로운 추정량을 제안하고, 기대값 수준의 등거리성(isometry) 조건 하에 일반적인 샤프 오라클 부등식을 증명한다. 이를 행렬 완성 문제에 적용하면, 추정량이 간단한 형태로 표현되며 기존 연구보다 빠른 수렴 속도를 보인다. 고차원 상황 $m_1m_2\gg n$에서도 최적(로그 항 제외)이라는 최소극대 하한을 만족하고, 추정량은 $A_0$의 랭크를 정확히 복원한다. 또한 모델이 존재하지 않을 경우 최적의 트레이스 회귀 모델을 찾는 통계학습 관점도 논의한다.

상세 분석

이 논문은 “trace regression”이라는 일반화된 선형 모델을 출발점으로 삼는다. 여기서 관측값 $Y_i$는 $A_0$의 특정 원소 혹은 원소들의 선형 결합 $⟨X_i,A_0⟩$에 노이즈 $ξ_i$가 더해진 형태이며, $X_i$는 $m_1\times m_2$ 차원의 디자인 행렬이다. 저랭크 구조를 활용하기 위해 핵노름(즉, 특이값의 합) 페널티를 도입한 추정량
\