희소 추정의 최적 성능 한계: 크래머‑라오 경계 분석

초록

본 논문은 가우시안 잡음이 섞인 관측값으로부터 희소하게 표현 가능한 결정론적 파라미터 벡터를 추정할 때 달성 가능한 최소 평균제곱오차(MSE)를 이론적으로 규정한다. 희소성 제약 하에서 편향을 새롭게 정의하고, 제약된 크래머‑라오 경계(CRB)를 도출한다. 이 경계는 거의 모든 허용 파라미터에 대해 지원 집합을 사전에 안다고 가정한 ‘오라클’ 추정기의 CRB와 일치한다. 무편향 경우 경계는 오라클 추정기의 MSE와 동일하며, 고신호대잡음비(SNR)에서 최대우도(MLE) 추정기가 이 경계에 도달함을 보인다. 따라서 오라클 추정기를 실용 알고리즘의 기준점으로 삼는 관행에 새로운 이론적 근거를 제공한다.

상세 분석

논문은 먼저 희소 파라미터 모델을 명확히 정의한다. 파라미터 벡터 θ∈ℝⁿ은 k‑sparse, 즉 ‖θ‖₀≤k인 경우에만 관심 대상이며, 관측 모델은 y=Φθ+ν 로서 Φ∈ℝ^{m×n}은 측정 행렬, ν∼𝒩(0,σ²I_m)인 가우시안 잡음이다. 기존 CRB는 전통적인 편향 정의 b(θ)=E