희소 관측으로부터 무작위 변수 추정

초록

본 논문은 독립적으로 동일한 분포를 갖는 이산 변수 집합 ({X_i}_{i=1}^n)와, 각 관측 (Y_a)가 임의의 변수 부분집합에 대한 노이즈가 섞인 함수인 상황을 고려한다. 관측 전체 (Y)가 주어졌을 때의 사후 확률 (\mu_i(x_i)=\Pr{X_i=x_i\mid Y})의 분포와, 해당 시스템에 대한 밀도 진화(density evolution) 연산자의 고정점 사이에 일반적인 관계를 증명한다. 평균적으로 한 관측이 의존하는 변수 수가 유한하게 제한될 경우, 대규모 시스템 한계에서 이 관계가 정확히 성립한다는 것이 주요 결과이다.

상세 분석

이 논문은 통계 물리학과 정보 이론에서 널리 활용되는 ‘밀도 진화’ 기법을 무작위 희소 관측 모델에 정형화한다. 먼저 (X_1,\dots,X_n)을 i.i.d. 이산 변수로 두고, 각 관측 (Y_a)는 임의의 인덱스 집합 (\partial a\subset{1,\dots,n})에 대해 (Y_a=g_a\bigl({X_i}_{i\in\partial a},Z_a\bigr)) 형태로 정의한다. 여기서 (g_a)는 알려진 함수이며, (Z_a)는 관측 노이즈를 나타내는 독립적인 랜덤 변수이다. 중요한 가정은 평균 연결도 (\alpha=\mathbb{E}