차원 축소 회귀의 새로운 패러다임: Cook 교수의 재조명과 실용적 통찰

본 재조문은 고차원 회귀 분석의 필요성과 차원 축소 방법론의 이론적 기반을 재조명한다. 1960~70년대에 정착된 진단‑수정‑재진단 순환형 모델 개발 패러다임은, 현재와 같이 변수 수(p)가 표본 수(n)와 비교해 크게 증가한 상황에서는 적용이 어려워졌다. 특히, p가 n보다 크거나 비슷한 경우, 전통적인 그래픽·수치 진단을 모두 수행하기엔 계산량과 해석 부담이 과다하다. 이러한 문제를 해결하기 위해 Cook 교수는 “충분 차원 축소”(sufficient dimension reduction, SDR)라는 새로운 회귀 장르를 제안한다. 핵심 아이디어는 예측변수 벡터 X∈ℝ^p 를 저차원 선형 변환 ΓᵀX (차원 d ≪ p) 로 압축한 뒤, 변환된 좌표에 대해 기존 회귀 진단 절차를 적용하는 것이다. 이때 충분축소는 모델 (13) 형태로 정의되며, X|Y 가 정규분포를 따르고 평균이 Γ f(Y)+ε, 공분산 Ω²가 Y와 무관한 구조를 전제로 한다. 이러한 가정 하에, Γ는 Y와 X 사이의 모든 정보를 보존하는 최소 차원 공간을 형성한다. Cook 교수는 실제 데이터와 시뮬레이션을 통해 이 접근법의 실효성을 입증한다. 로고 데이터(35개 변수, 300개 관측)에서는 d ≪ p 인 상황에서도 로그우도비 Λ₁≈94 (자유도 63, p≈0.007) 등 강력한 차원 축소 효과가 나타났다. Grassmann 최적화 기법을 이용해 Γ를 직접 추정하는 것이 전통적인 고유값 기반 방법보다 효율적이며, 다양한 d값에 대해 Λ₂, Λ₃, Λ₂₁ 등 로그우도비를 비교함으로써 최적 차원을 선택할 수 있다. 다음으로, 감독 주성분(Supervised Principal Components, SPC)과의 관계를 논의한다. SPC는 먼저 변수 스크리닝을 수행하고, 남은 변수 X₁에 대해 공분산 행렬의 첫 d개의 고유벡터를 사용해 차원을 축소한다. 이는 모델 (2)와 동등하며, 충분축소는 Γ₁ᵀX₁ 로 표현된다. 그러나 SPC는 Y와의 연관성을 충분히 반영하지 못할 수 있다. 반면, Cook의 모델 (5)·(13)은 공분산 구조와 Y와의 연관성을 동시에 고려하므로, 사전 스크리닝 없이도 더 정확한 충분축소를 제공한다. 실제 로고 데이터에서는 첫 두 주성분과 충분축소 사이의 R²가 0.11에 불과해, SPC보다 모델 (13)이 더 나은 설명력을 가진다. 편향‑분산 트레이드오프에 대한 논의에서는, 차원 d를 p보다 작게 설정하면 모델이 약간의 편향을 갖지만, 분산 감소가 평균제곱오차(MSE)를 전반적으로 낮출 수 있음을 제시한다. 이는 특히 n < p 상황에서 “불완전하지만 유용한” 모델링 전략으로 정당화된다. 부분 최소제곱(Partial Least Squares, PLS)과의 연결 고리는 OLS 계수 B를 Γ가 생성하는 서브스페이스 S_Γ에 투영하는 형태로 설명된다. PLS는 Σ의 순환적 서브스페이스 S_K 를 이용해 B를 추정하는데, 이는 모델 (13)에서 정의된 S_Γ와 구조적으로 유사하다. 따라서 PLS는 Σ의 직접 역산을 회피하면서도 충분축소 정보를 활용한다는 점에서 Cook의 접근법과 일맥상통한다. 다음으로, Var(X|Y) 가 일정하지 않은 경우를 다룬다. Li와 Nacshteim은 조건부 평균이 이차식인 경우(예: E(Y|X)=X₁²) Var(X₁|Y) 가 비상수임을 지적한다. 이러한 비정규 상황에서는 기존 충분축소가 완전하지 않을 수 있다. Li는 조건부 평균과 분산을 동시에 고려한 두 단계 충분축소(Γ₁, Γ₂)를 제안하고, 이를 통해 추가적인 효율성 향상이 가능함을 보인다. 마지막으로 이분형 예측변수에 대한 확장을 논한다. 이산형 X|Y 모델링 시 최적화 문제가 복잡해지는데, Li와 Nacshteim은 “majorization” 전략을 도입해 안정적인 알고리즘을 구현했다. 이는 차원 축소 프레임워크를 범주형 데이터에도 적용 가능하게 하는 중요한 확장이다. 결론적으로, Cook 교수는 차원 축소를 회귀 분석의 전처리 단계가 아니라 핵심 모델링 요소로 재정립한다. 충분축소는 기존 PC, SPC, PLS, LASSO 등과 이론적으로 연계되며, 고차원·소표본 상황에서도 편향‑분산 균형을 맞춘 효율적인 추정이 가능함을 실증과 이론을 통해 입증한다.