회귀 분석의 차원 축소와 주성분 활용

초록

이 논문은 피셔의 초기 차원 축소 사상을 출발점으로, 회귀에서 주성분 분석(PC)을 재조명하고 모델 기반·모델 자유 차원 축소 방법들을 체계적으로 전개한다. 주성분이 단순한 예측 변수 선택을 넘어, 회귀 모형 설계와 해석에 어떻게 기여할 수 있는지를 논증하며, 관측된 예측값에 조건화하는 전통적 접근이 방법 선택을 불필요하게 제한한다는 점을 강조한다.

상세 분석

논문은 먼저 피셔가 1930년대에 제시한 “데이터를 몇 개의 요인으로 요약한다”는 아이디어를 회귀 맥락에 연결한다. 피셔는 변수 간 상관 구조를 파악해 주요 변동을 설명하는 축을 찾는 것이 통계적 추론의 효율성을 높인다고 보았으며, 이는 오늘날 주성분 분석(PCA)의 이론적 토대와 일치한다. 저자는 이러한 역사적 배경을 바탕으로, 회귀 분석에서 PCA를 단순히 차원 축소 도구로 쓰는 것이 아니라, 응답 변수와의 관계를 명시적으로 모델링하는 방법으로 확장한다.

첫 번째 핵심은 “주성분 회귀(Principal Component Regression, PCR)”의 한계와 개선점이다. 전통적 PCR은 주성분을 추출한 뒤, 그 중 몇 개를 선택해 선형 회귀에 투입한다. 그러나 이 과정은 응답 변수와 무관하게 주성분을 선택하므로, 예측 성능이 최적이 아닐 수 있다. 논문은 이를 보완하기 위해 “주성분 회귀의 모델 기반 확장”을 제안한다. 구체적으로, 응답 변수와 예측 변수 사이의 공동 분포를 가정하고, 주성분을 응답에 대한 충분통계량으로 해석한다. 이를 통해 주성분 선택이 응답과의 연관성을 직접 반영하도록 설계한다.

두 번째로, “인공 회귀 차원 축소(Envelope Methods)”와 같은 최신 모델 기반 기법을 소개한다. Envelope 방법은 회귀 계수의 변동이 집중되는 하위 공간을 찾아, 불필요한 변동을 배제함으로써 추정 효율을 크게 향상시킨다. 이때 주성분은 초기 탐색 단계에서 사용될 수 있지만, 최종 차원은 응답과의 관계를 최적화하는 방향으로 재구성된다.

세 번째는 모델 자유 차원 축소 기법이다. 여기서는 조건부 평균을 보존하는 최소 차원 하위 공간을 찾는 “Sufficient Dimension Reduction (SDR)” 프레임워크를 논한다. 대표적인 방법으로 Sliced Inverse Regression (SIR), Sliced Average Variance Estimation (SAVE), 그리고 최근의 Kernel-based 방법들이 있다. 이들 기법은 회귀 모델의 형태를 가정하지 않으면서도, 응답과 예측 변수 사이의 충분통계량을 추정한다. 논문은 특히 SIR이 피셔의 “정규성 가정 하에서의 선형 변환”과 연결된다는 점을 강조한다.

마지막으로, 저자는 “관측된 예측값에 조건화하는 전통적 접근”이 차원 축소의 자유도를 제한한다는 비판을 제시한다. 전통적으로 회귀 분석은 고정된 설계 행렬 X를 전제로 하여, X가 주어졌을 때 Y|X를 모델링한다. 그러나 차원 축소를 고려하면, X 자체를 확률적 객체로 보고, X의 저차원 요약이 Y와 충분히 정보를 공유하도록 설계할 필요가 있다. 이는 베이지안 관점에서 사전 분포를 설정하고, 사후 예측을 수행하는 방식과도 일맥상통한다.

전체적으로 논문은 차원 축소와 회귀를 별개의 절차가 아니라, 통합된 통계적 목표(예측 정확도와 해석 가능성) 하에 공동 설계해야 함을 설득력 있게 주장한다.