정규화 최소제곱을 위한 OEM 알고리즘: 이론과 실험

초록

OEM(Orthogonalizing EM) 알고리즘은 임의의 회귀 행렬을 행을 추가해 직교화하고, 결측 응답을 보정한 뒤 폐쇄형 업데이트를 반복함으로써 OLS와 라쏘·SCAD·MCP 등 다양한 정규화 최소제곱 문제를 효율적으로 해결한다. 특이 행렬에 대해서는 Moore‑Penrose 역을 이용한 해로 수렴하고, SCAD·MCP에서는 오라클 속성을, 완전 별칭(collinearity) 상황에서는 그룹 일관성을 보장한다. 수렴 속도 이론과 실험을 통해 정규화 문제에서 일반 OLS보다 빠른 수렴을 입증한다.

상세 분석

본 논문은 기존 EM 기반 결측값 보정 절차를 일반 회귀 행렬에 적용할 수 없던 한계를 극복하기 위해 “활성 직교화(active orthogonalization)”라는 새로운 전처리 단계를 도입한다. 행렬 (X)에 대해 대각 행렬 (S)와 스칼라 (d>\gamma_1)를 선택하고, (Δ = B^{1/2}V_1S^{-1}) 를 구성해 (X_c = \begin{pmatrix}X\Δ\end{pmatrix}) 를 만든다. 이때 (X_c^\top X_c = dS^2) 가 되어 열이 완전히 직교화된다. 직교화된 설계 행렬에 대해 결측 응답을 (y_{\text{miss}} = Δβ^{(k)}) 로 채우고, 완전 데이터에 대한 최소제곱 해를 (β^{(k+1)} = (X_c^\top X_c)^{-1}X_c^\top y_c) 로 구한다. 직교성 덕분에 업데이트는 각 계수별로 독립적인 스칼라 연산 (\beta_j^{(k+1)} = u_j/d_j) 로 단순화된다.

특이 행렬((rank(X)<p))에 대해서는 (X^\top X + Δ^\top Δ = γ_1 I_p) 를 만족하도록 (d=γ_1) 로 잡으면, 초기값이 열공간에 포함될 경우 OEM은 Moore‑Penrose 역을 이용한 최소제곱 해 (\hat β^* = (X^\top X)^+ X^\top y) 로 수렴한다. 이는 기존 고유값 분해 기반 방법보다 수치적으로 안정적이며, 복잡도는 (O(np^2)) 로 동일하거나 더 낮다.

정규화 문제에서는 목적함수에 (\lambda P(β)) 를 추가하고, 두 번째 단계에서 결측값을 동일하게 보정한 뒤, 세 번째 단계에서 (β^{(k+1)} = \arg\min_\beta \frac12|y_c - X_cβ|^2 + \lambda P(β)) 를 푼다. 라쏘, SCAD, MCP 등 비선형 페널티에 대해 각 좌표별 폐쇄형 해가 존재하므로 OEM은 좌표별 업데이트 형태로 구현된다. 수렴 분석에서는 (i) 모든 페널티에 대해 지역 최소점 혹은 안정점으로 수렴함을 보였고, (ii) SCAD·MCP에 대해 충분히 많은 반복 후 오라클 속성을 만족하는 해에 도달함을 증명했다. 특히 완전 별칭(collinearity)된 열들에 대해 동일한 계수를 갖는 “그룹 일관성(grouping coherence)”을 보장하는데, 이는 기존 좌표 하강법이 달성하지 못한 특성이다.

수렴 속도 이론에서는 직교화 후 남는 행렬 (D = I - γ_1^{-1}X^\top X) 의 스펙트럼 반경이 (1 - γ_r/γ_1) 로 제한되므로, 정규화된 경우(페널티가 추가된 경우) (γ_1) 를 크게 잡을수록 수렴이 가속된다. 실험에서는 (n>p) 인 “tall” 데이터에서 OEM이 OLS와 비교해 2~5배 빠르게 수렴하고, SCAD·MCP에서도 경쟁 알고리즘보다 효율적임을 확인했다. 다만 (p>n) 인 “wide” 상황에서는 반복 횟수가 늘어지지만, 사전 차원 축소(예: 스크리닝)와 결합하면 실용성을 확보한다.

전반적으로 OEM은 (1) 임의 행렬에 대한 직교화 전처리, (2) 폐쇄형 업데이트, (3) 정규화 페널티와의 자연스러운 결합이라는 세 축을 통해 기존 EM·좌표 하강법의 한계를 극복하고, 이론적 수렴 보장과 실험적 효율성을 동시에 제공한다.