베이즈 최적 행렬 분해의 위상 전이와 샘플 복잡도

본 논문은 노이즈가 섞인 관측 행렬 Y를 통해 두 개의 잠재 행렬 F와 X를 복원하는 일반적인 행렬 분해 문제를 다룬다. 문제 정의는 Z = F X이며, 각 원소 z_{μℓ}=∑_{i=1}^N F_{μi}X_{iℓ} 로 표현된다. 관측 y_{μℓ}는 출력 채널 P_out(y|z) 로부터 독립적으로 생성된다. 저자는 F와 X가 각각 사전 확률 P_F와 P_X 를 따르는 독립적인 랜덤 행렬이라고 가정하고, 이 사전 정보가 알고 있는 베이즈 최적 상황을 전제로 한다. 베이즈 최적 추정에서는 사후분포 P(F,X|Y) 의 주변분포 평균이 최소 평균제곱오차(MMSE)를 달성한다. 이를 분석하기 위해 두 가지 통계역학적 도구를 사용한다. 첫 번째는 cavity 방법에 기반한 Approximate Message Passing (AMP) 알고리즘이다. AMP은 고차원 한계에서 정확히 상태 진화(state evolution) 방정식으로 기술되며, 이 방정식은 입력 함수 f_F, f_X와 출력 함수 g_out 으로 구성된 3개의 재귀식 (12)–(14) 로 나타난다. 고정점 (m_F, m_X, \hat m) 은 MMSE와 동일한 경우와 다를 경우를 구분한다. 두 번째는 replica 방법으로, 복제된 시스템의 자유에너지 를 replica 대칭 가정 하에 계산한다. replica 자유에너지의 극대화 조건이 바로 AMP의 상태 진화 고정점과 일치함을 보이며, 두 방법이 일치한다는 점은 결과의 정확성을 뒷받침한다. 논문은 베이즈 최적 설정에서 얻어지는 MMSE와 AMP가 도달할 수 있는 AMP‑MSE 를 명시적으로 제시한다. 초기 조건에 따라 두 고정점이 다를 수 있는데, 무정보 초기화(uninformative)에서는 m_F^{(0)}=N E