고차원 결측 데이터 추정의 통계·계산 한계

본 논문은 고차원 통계 추정 문제에서 결측 데이터가 존재할 때 발생하는 통계적·계산적 한계를 체계적으로 탐구한다. 저자들은 먼저 ‘실현 가능한 오염(Realizable Contamination)’ 모델을 도입한다. 이 모델은 전체 관측 중 \(\varepsilon\) 비율이 임의의 MNAR(결측이 무작위가 아님) 메커니즘에 의해 완전히 가려지고, 나머지는 MCAR(완전 무작위 결측) 가정 하에 관측된다고 정의한다. 수학적으로는 \((1-\varepsilon)\text{MCAR}(P,q)+\varepsilon\text{MNAR}(P)\) 형태의 혼합 분포로 표현되며, 관측된 데이터의 조건부 밀도는 \(\frac{1}{\Gamma}\le \frac{dQ_R}{dP}\le \Gamma\) ( \(\Gamma=1+\varepsilon\) ) 로 제한된다. 이는 편향 샘플링(biased sampling)과 동일시될 수 있어, 기존 인과 추론에서의 민감도 분석과도 연관된다. 연구는 세 가지 핵심 추정 문제를 다룬다. 1. **평균 추정** - 기본 분포는 \(\theta\in\mathbb{R}^d\) 를 평균으로 하는 가우시안 \(N(\theta,\sigma^2 I_d)\) 로 가정한다. - 정보‑이론적 하한: 모든 추정기 \(\hat\theta\)는 \(\|\hat\theta-\theta\|_2\ge c\,\sigma\sqrt{\frac{\log(1/(1-\varepsilon))}{(1-\varepsilon)n/d}}\) 를 만족한다. 이를 \(\rho\) 로 바꾸면, \(\rho\) 정확도를 얻기 위해서는 최소 \(n\gtrsim d\,e^{1/\rho^2}\) 샘플이 필요함을 보인다. - 비효율적인(예: exhaustive search) 알고리즘은 이 하한에 도달한다. - 계산 제한을 두면, 통계적 쿼리(SQ) 모델, 저차 다항식 테스트, 그리고 Sum‑of‑Squares(SOS) 계층을 포함한 넓은 클래스에서 최소 \(n\gtrsim d^{1/\rho^2}\) 가 필요함을 증명한다. 이는 기존 문헌에서 제시된 “통계·계산 격차”와 일치한다. - 저자들은 2차 SOS 알고리즘을 설계해, 다항시간에 거의 동일한 샘플 복잡도 \(d^{1/\rho^2}\) 로 \(\rho\) 정확도를 달성한다. 2. **공분산 추정** - 기본 분포는 공분산 \(\Sigma\in\mathbb{R}^{d\times d}_{++}\) 를 갖는 \(N(0,\Sigma)\) 로 설정한다. - 상대 연산자 노름 \(\|\hat\Sigma-\Sigma\|_{\text{op}}\) 에 대한 정보‑이론적 하한은 평균 추정과 동일하게 \(n\gtrsim d\,e^{1/\rho^2}\) 이다. - SOS 기반 다항시간 알고리즘은 \(n\gtrsim d^{1/\rho^2}\) 로 충분함을 보이며, SQ 하한 역시 동일한 복잡도를 요구한다. - 따라서 평균 추정과 마찬가지로, 공분산 추정에서도 통계·계산 격차가 존재한다. 3. **선형 회귀** - 데이터 생성 모델은 \(X\sim N(0,I_d)\), \(Y|X\sim N(X^\top\theta,\sigma^2)\) 로, \(\theta\) 를 추정 목표로 한다. - 결측 메커니즘은 X와 Y 모두에 의존할 수 있는 일반적인 MNAR을 허용한다. - 정보‑이론적 하한은 평균·공분산과 동일하게 \(\rho\) 정확도에 대해 \(n\gtrsim d\,e^{1/\rho^2}\) 가 필요하지만, 여기서는 강하게 볼록한 경험적 위험 \(\widehat L(\beta)=\frac{1}{n}\sum_i \ell\bigl((X_i,Y_i),\beta\bigr)\) (예: Huber 손실) 을 최소화하는 단순한 다항시간 알고리즘이 거의 동일한 오차 \(\rho\) 를 달성한다. 구체적으로, \(\|\hat\theta-\theta\|_2\le C\,\sigma\sqrt{\frac{\log(1/(1-\varepsilon))}{(1-\varepsilon)n/d}}\) 를 만족한다. - 즉, 선형 회귀에서는 통계·계산 격차가 사라진다. 이는 문제 구조가 선형이며, 강한 볼록성으로 인해 관측 결측이 있더라도 최적화가 잘 정의되기 때문이다. **기술적 방법론** - **정보‑이론적 상·하한**: Fano’s inequality와 변분적 표현을 이용해, 오염된 관측이 실제 분포와 얼마나 차이가 나는지를 정량화하고, 이를 샘플 복잡도와 연결한다. - **Sum‑of‑Squares**: 2차 SOS 이완을 사용해, 평균·공분산 추정 문제를 다항시간에 풀 수 있는 반면, 고차 이완이 필요하지 않음을 보인다. - **통계적 쿼리 하한**: SQ 모델을 통해, 모든 저차 다항식 테스트가 동일한 샘플 복잡도를 요구한다는 것을 증명한다. 이는 기존 “low-degree polynomial” 하드니스와 일치한다. - **선형 회귀 알고리즘**: 관측된 데이터에 대해 결측을 0으로 채우고, 가중치를 조정한 후 강한 볼록 손실을 최소화한다. 이 과정은 표준 SGD/배치 경사 하강법으로 구현 가능하며, 이론적 수렴률을 제공한다. **실험 및 확장** - 본 논문 본문에는 실험 섹션이 없지만, 부록 F 에서는 다중 결측 패턴(예: 부분 관측)으로 확장한 결과를 제시한다. 그 결과, 평균·공분산 추정에서 다중 패턴이 추가되더라도 샘플 복잡도는 동일한 형태를 유지한다. - 또한, 부록 G 에서는 Gaussian 농도 부등식, 다변량 모멘트 경계, SOS 기본 정리 등을 정리해, 본문에서 사용된 모든 수학적 도구를 완전하게 뒷받침한다. **의의와 한계** - 이 연구는 고차원 통계 추정에서 결측 데이터가 존재할 때, 문제별로 통계·계산 격차가 존재하거나 사라질 수 있음을 명확히 구분한다. 특히 평균·공분산 추정에서는 SOS와 같은 고차 최적화 기법이 필요함을 보여주어, 실무에서 단순한 EM이나 평균 대체법이 충분치 않을 수 있음을 경고한다. - 반면 선형 회귀에서는 기존의 강한 볼록 손실 최소화만으로도 충분하므로, 복잡한 SOS 기반 방법을 도입할 필요가 없다는 실용적인 지침을 제공한다. - 한계점으로는, 실제 데이터에서 MNAR 메커니즘이 완전히 알 수 없으며, 본 모델이 ‘all‑or‑nothing’ 결측을 가정한다는 점이다. 다중 패턴 확장은 부록에만 기술되어 있어, 본문 수준의 정형화된 알고리즘이 아직 부족하다. 또한, SOS 기반 알고리즘의 실제 실행 시간과 메모리 요구량에 대한 실험적 평가가 부재하다. **결론** 저자들은 실현 가능한 오염 모델을 통해, 고차원 평균·공분산 추정에서 통계·계산 격차가 존재함을 증명하고, SOS 기반 다항시간 알고리즘이 이 격차를 거의 메우는 최선의 방법임을 제시한다. 선형 회귀에서는 이러한 격차가 사라져, 간단한 강볼록 손실 최소화가 최적이다. 이 결과는 통계학, 머신러닝, 그리고 데이터 과학 분야에서 결측 데이터 처리 전략을 설계할 때, 문제의 구조와 계산 가능성을 동시에 고려해야 함을 강조한다.