대용량 변수·소표본 데이터용 가중 직교성분 회귀

초록

POCRE는 대규모 변수(p≫n) 상황에서 변수 선택과 차원 축소를 동시에 수행하는 새로운 회귀 방법이다. 직교성분을 순차적으로 구성하면서 응답 잔차와의 상관을 최대화하고, 경험적 베이지안 임계값을 이용한 페널티로 각 성분에 대한 희소 로딩을 추정한다. 이 과정은 고도로 상관된 변수들을 그룹화하고, 다중공선성에도 강건하며, 다변량 응답에 대해 공통 성분을 생성해 잠재변수 모델을 구축한다.

상세 분석

본 논문은 p≫n 상황에서 기존 회귀 방법이 직면하는 두 가지 핵심 문제, 즉 공분산 행렬의 특이성 및 변수 선택의 어려움을 동시에 해결하고자 한다. 저자들은 먼저 직교성분(orthogonal components)을 순차적으로 구축한다. 첫 번째 성분 ω₁은 cov(Y,X)ᵀcov(Y,X)의 최대 고유벡터이며, 이는 Y와 X 사이의 상관을 가장 크게 설명한다. 이후 각 성분을 X와 Y에서 제거하면서 남은 부분에 대해 동일한 절차를 반복한다. 이때 성분 제거는 회귀 잔차와의 직교성을 보장하도록 설계되어, 최종적으로 {ΩᵀX}₁,…,ₗ는 서로 독립적인 예측변수 집합이 된다.

핵심 혁신은 이 과정에 희소성을 부여하는 페널티 프레임워크이다. 저자들은 Zou et al. (2006)의 정규화된 고유벡터 문제를 변형하여, ‖γ‖₂²와 함께 ℓ₁ 형태의 페널티 p_λ(γ)를 추가한다. 최적화는 교번법으로 α와 γ를 번갈아 업데이트하며, γ‑업데이트 단계는 “경험적 베이지안 임계값(Empirical Bayes Thresholding, EBT)”으로 근사한다. EBT는 각 z_i=μ_i+ε_i (ε_i∼N(0,σ²))에 대해 μ_i가 0인 확률 w를 데이터 기반으로 추정하고, 사후 중앙값을 이용해 μ_i를 shrinkage한다. 이 과정은 자동으로 희소성을 조절하고, 다중공선성 하에서도 안정적인 로딩을 제공한다.

알고리즘적 측면에서 저자들은 초기 γ를 XᵀY YᵀX의 주성분으로 설정하고, α를 정규화된 MᵀMγ 로 업데이트한다. σ̂는 |z_i|의 중앙값을 이용해 robust하게 추정되며, λ∈