반응을 반영한 주성분 회귀 차원 축소

초록

본 논문은 예측 변수만을 이용해 구해지는 전통적 주성분 회귀의 두 가지 한계, 즉 응답 정보를 활용하지 못함과 선형 변환에 대한 비불변성을 해결하기 위해, 응답을 조건으로 한 역회귀 모델을 기반으로 한 ‘주성분 적합(Principal Fitted Components)’ 방법을 제시한다. 정상성 가정 하에 역회귀를 추정하고, 이를 통해 전방 회귀에 필요한 차원 축소 정보를 얻으며, 차원 수와 변수 간 조건부 독립성에 대한 검정 절차도 제공한다.

상세 분석

이 연구는 회귀 분석에서 차원 축소를 수행할 때, 기존 주성분 회귀(PCR)가 예측 변수 X의 공분산 구조만을 이용하고, 종속 변수 Y와의 연관성을 반영하지 못한다는 근본적인 문제점을 지적한다. 또한, PCR은 X에 대한 전치 행렬이 전치가 아닌 경우(즉, 풀랭크 선형 변환) 결과가 달라지는 비등변성을 가지고 있어, 해석적 일관성이 떨어진다. 이를 극복하기 위해 저자는 ‘주성분 적합(Principal Fitted Components, PFC)’이라는 프레임워크를 도입한다. PFC는 역회귀 모델, 즉 X|Y∼N(μ(Y), Σ) 형태의 정규 모델을 가정하고, Y에 대한 조건부 평균 μ(Y)를 선형 함수(또는 다항식)로 표현한다. 이때, μ(Y)=Γf(Y)와 같이 차원 축소 행렬 Γ∈ℝ^{p×d}와 충분통계 f(Y)∈ℝ^{d}를 도입함으로써, Y가 X의 하위 선형 공간에 투영된 형태를 포착한다. 핵심 아이디어는 X의 변동성을 Y에 의해 ‘적합’된 부분과 ‘잔여’ 부분으로 분해하고, 적합된 부분에 대한 주성분을 구함으로써, Y와 직접적인 연관성을 가진 축을 추출한다는 점이다.

모델 추정은 최대우도법을 이용해 Γ와 Σ를 동시에 추정한다. 특히, Σ는 일반적인 공분산 행렬이 아니라, 적합된 부분과 잔여 부분을 구분하는 구조적 형태를 갖는다. 이 구조는 Γ의 열공간이 X와 Y 사이의 충분 차원 축소(sufficient dimension reduction, SDR) 공간임을 보장한다. 따라서, 추정된 Γ는 전통적 PCA에서 얻는 주성분과 달리, Y와의 관계를 최적화한 ‘응답 중심’ 차원 축소 벡터가 된다.

또한, 저자는 차원 d(즉, 구성 요소 수)를 결정하기 위한 검정 절차를 제시한다. 일반적인 카이제곱 검정과 유사하게, 로그우도비 검정통계량을 이용해 d가 충분히 큰지 여부를 판단한다. 이와 더불어, X의 변수들 간 조건부 독립성(예: X_i ⟂ X_j | Y) 검정도 가능하도록, Σ의 블록 구조를 활용한 Wald 검정 및 LRT 검정을 설계한다. 이러한 검정은 모델 선택과 변수 해석에 직접적인 통계적 근거를 제공한다.

실제 데이터와 시뮬레이션을 통해, PFC가 PCR에 비해 예측 정확도와 변수 선택 안정성에서 우수함을 입증한다. 특히, X와 Y 사이에 비선형 관계가 존재하거나, X가 고차원( p≫n )인 경우에도, 역회귀 모델의 충분통계 f(Y)를 적절히 선택하면 차원 축소가 효과적으로 이루어진다. 마지막으로, PFC는 선형 변환에 대해 완전한 불변성을 갖는다. 즉, X에 전치 행렬 A(풀랭크) 를 적용해도, 추정된 Γ는 A^{-1}Γ 형태로 변환되어 동일한 예측 성능을 유지한다. 이는 PCR이 갖지 못한 중요한 이점이다.