스무스 분석을 통한 고차원 텐서 분해와 과다완전 학습

초록

본 논문은 텐서 분해의 과다완전 경우(랭크가 차원보다 크게 폴리노미얼 수준)에서, 입력이 작은 가우시안 잡음으로 섞인 상황을 가정한 스무스 분석 모델을 제시한다. 핵심은 섞인 벡터들의 텐서곱이 강인하게 선형 독립임을 보이는 정리이며, 이를 통해 다중 뷰 모델과 축에 정렬된 가우시안 혼합 모델을 포함한 여러 학습 문제에서 효율적인 알고리즘을 설계한다. 알고리즘은 역다항 수준의 오류에 대해 견고하고, 실패 확률이 지수적으로 작다.

상세 분석

이 논문의 핵심 기술은 “섞인(perturbed) 벡터들의 텐서곱이 강인하게 선형 독립이다”는 정리를 증명하는 데 있다. 구체적으로, n×R 크기의 행렬 A^{(1)},…,A^{(\ell)}의 각 열을 독립적인 가우시안 잡음(분산 ρ²/n)으로 섞어 \tilde A^{(j)}를 얻고, 이들에 대한 Khatri‑Rao 곱 \tilde A^{(1)}⊙…⊙\tilde A^{(\ell)}의 Kruskal rank을 τ‑robust하게 R까지 보장한다. 여기서 τ는 (n/ρ)^{3\ell} 수준이며, 확률 1−exp(−C n^{1/3\ell})로 성립한다. 이 결과는 기존의 Kruskal rank이 단순히 합으로 증가한다는 사실을 넘어, 섞인 상황에서도 곱셈 형태로 강인하게 증가한다는 점에서 혁신적이다.

이를 바탕으로 Leurgans‑et‑al