고차원 경험위험 지형의 위상 탐구와 위상 복원 적용

본 논문은 고차원 가우시안 단일 지수 모델(일반화 선형 모델)에서 경험위험 \(\hat R(\theta)=\frac1n\sum_{i=1}^n\ell(x_i\cdot\theta,\;x_i\cdot\theta^\star)\) 의 손실 지형을 체계적으로 분석한다. 데이터 \(x_i\sim\mathcal N(0,I_d)\) 이며, 차원 \(d\) 와 표본 수 \(n\) 가 비례적으로 커지는 \(n/d\to\alpha>1\) 극한을 고려한다. 파라미터와 신호는 단위 구면 \(S^{d-1}\) 에 제한한다. ### 1. 연구 동기와 배경 비선형, 고차원 손실 함수는 수많은 지역 최소점과 안장점을 가질 수 있어, 실제 머신러닝에서 단순 그라디언트 기반 최적화가 왜 성공하는지에 대한 이론적 설명이 부족했다. 기존 연구는 스핀 글라스 모델이나 텐서 PCA와 같은 가우시안 랜덤 함수에 초점을 맞추었으며, 경험위험과 같은 비가우시안 구조에 대한 정밀한 위상 분석은 제한적이었다. ### 2. Kac‑Rice 공식 적용 Kac‑Rice 공식은 임의의 매끄러운 랜덤 함수 \(f(\theta)\) 에 대해 그라디언트가 0이 되는 점(임계점)의 기대 개수를 구한다. 저자들은 이를 단일 지수 모델에 적용해 다음과 같은 복잡도(임계점 기대 수) 식을 얻는다. - **전체 복잡도 \(\Sigma_{\text{all}}(q,e)\)**: 임계점이 신호와의 내적 \(q\)와 손실값 \(e\)를 가질 확률적 밀도. - **서브‑지수 안장 복잡도 \(\Sigma_{\text{sub}}(q,e)\)**: 인덱스가 \(o(d)\) 인 안장점. - **지역 최소점 복잡도 상한 \(\Sigma_0(q,e)\)**: 최소점이면서 신호 방향이 하강 방향이 아닌 조건을 추가한 상한. 이때 기존 문헌에서 복잡도는 다변량 변분식으로 제시되었으나, 저자들은 고차원 한계에서 스칼라 파라미터 \(q, e, \lambda\) 등 몇 개만 남기는 형태로 크게 단순화한다. 변분식은 수치적으로 효율적인 최적화(예: L‑BFGS)로 풀 수 있다. ### 3. 위상 복원 문제에의 적용 위상 복원은 실수 신호 \(\theta^\star\) 에 대해 관측값 \(y_i = x_i\cdot\theta^\star\) 의 제곱을 복원하는 문제이다. 논문에서는 다음 손실을 사용한다. \