트레이스 노름 최소화의 일관성

초록

본 논문은 정사각형 손실 함수를 사용한 트레이스 노름(특이값 합) 정규화 방법의 순위 일관성(정확한 저차원 구조 복원) 조건을 연구한다. 라쏘(Lasso)의 일관성 결과를 확장하여, 비적응형 트레이스 노름 최소화가 순위 일관성을 갖기 위한 필요·충분 조건을 제시하고, 이러한 조건을 만족하지 않을 때에도 순위 일관성을 보장하는 가중치 기반 적응형 방법을 제안한다.

상세 분석

트레이스 노름은 행렬의 순위를 직접 최소화하는 것이 NP‑hard인 문제를 완화하기 위해 특이값의 합을 비용함수에 추가하는 기법으로, 최근 저차원 행렬 복원, 협업 필터링, 다중태스크 학습 등에서 널리 활용되고 있다. 그러나 실제 데이터에 적용했을 때, 추정 행렬이 원본 행렬과 동일한 순위를 가질(즉, “순위 일관성”을 가질) 확률적·이론적 보장은 아직 충분히 정립되지 않았다. 본 연구는 이러한 공백을 메우기 위해 라쏘의 변수 선택 일관성(‘irrepresentable condition’)과 같은 조건을 행렬 상황에 맞게 재구성한다. 구체적으로, 관측 모델을 (Y = XW^{\star}+E) 로 두고, 여기서 (W^{\star})는 저순위 행렬, (E)는 평균 0, 분산 (\sigma^{2})인 가우시안 잡음이며, (X)는 설계 행렬(또는 선형 연산자)이라고 가정한다. 목적함수는

\