전이형 정규화 공분산 모델과 결측값 보간

초록

본 논문은 행과 열이 모두 특징으로 작용하는 전이형 데이터 행렬에 대해 평균 제한 행렬 정규분포를 도입하고, 행·열 공분산의 역행렬에 L1·L2 페널티를 부여한 전이형 정규화 공분산 모델(TRCM)을 제안한다. 이를 기반으로 EM 알고리즘을 확장하여 고차원 결측값을 효율적으로 추정하고, 이론적 수렴 및 고차원 적용 가능성을 증명한다. 시뮬레이션 및 마이크로어레이·Netflix 데이터 실험에서 기존 방법보다 우수한 성능을 보였다.

상세 분석

논문은 전이형 데이터, 즉 행과 열이 각각 독립적인 특성 집합으로 해석될 수 있는 행렬형 데이터를 대상으로 한다. 기존의 행렬-정규분포 모델은 전체 평균 벡터 하나와 공분산 텐서 하나만을 가정하지만, 실제 생물학·추천시스템 데이터에서는 행과 열이 서로 다른 평균 구조를 갖는다. 이를 해결하기 위해 저자들은 평균 제한 행렬-정규분포(mean‑restricted matrix‑variate normal)를 정의한다. 구체적으로 행벡터 μ_r와 열벡터 μ_c를 별도로 두고, 데이터 X∈ℝ^{n×p}는
X = μ_r 1_p^T + 1_n μ_c^T + E, E ~ MN(0, Σ_r, Σ_c)
의 형태를 갖는다. 여기서 Σ_r와 Σ_c는 각각 행·열의 공분산 행렬이며, 이들의 역행렬 Ω_r = Σ_r^{-1}, Ω_c = Σ_c^{-1}에 L1(스파스) 혹은 L2(리시프) 페널티를 가한다. 이러한 정규화는 고차원 상황(n≫p 또는 p≫n)에서 공분산 추정의 발산을 방지하고, 구조적 희소성 혹은 저차원성을 강제한다.

최대우도 추정은 EM 프레임워크에서 수행된다. E‑step에서는 현재 추정된 파라미터를 이용해 결측값의 조건부 기대값과 공분산을 계산한다. M‑step에서는 평균 μ_r, μ_c와 정규화된 공분산 역행렬 Ω_r, Ω_c를 업데이트한다. Ω_r, Ω_c의 업데이트는 그래프 라플라시안 형태의 최적화 문제로 귀결되며, 교대 방향 하강법 혹은 ADMM을 이용해 효율적으로 해결한다. 특히 행·열이 독립적으로 정규화되므로, 각 단계에서 n×n 혹은 p×p 차원의 작은 문제만 풀면 된다. 이는 전통적인 전체 공분산 추정이 O((np)^3) 비용을 요구하는 것에 비해 크게 비용을 절감한다.

이론적으로 저자들은 (i) 정규화된 역공분산이 양정치이며 고유값이 제한된 범위에 존재함을 보이고, (ii) EM 알고리즘이 단조 증가하는 로그우도와 함께 수렴함을 증명한다. 또한, 고차원 asymptotic regime에서 샘플 수가 공분산 차원보다 작아도 일관된 추정이 가능함을 보여준다.

실험에서는 (1) 시뮬레이션 데이터에서 다양한 결측 비율(10%70%)과 스파스/밀집 공분산 구조를 변형시켜 기존 행렬 완성 방법(SoftImpute, Nuclear Norm Minimization)과 비교했으며, TRCM‑EM이 RMSE와 MAE에서 일관적으로 우수했다. (2) 마이크로어레이 데이터에서는 유전자와 샘플 간 상관 구조를 동시에 모델링함으로써 기존 단일 방향 PCA 기반 보간보다 정확도가 향상되었다. (3) Netflix 데이터에서는 사용자와 영화 양쪽의 공분산을 정규화함으로써 평점 예측 RMSE가 기존 SVD 기반 협업 필터링보다 57% 개선되었다.

결과적으로 이 논문은 행·열 양쪽의 구조적 정보를 동시에 활용하는 새로운 통계 모델을 제시하고, 고차원 결측값 보간 문제에 대한 실용적이고 이론적으로 타당한 해결책을 제공한다.