부분 최소제곱 회귀의 자유도: 새로운 무편향 추정법

초록

본 논문은 부분 최소제곱 회귀(PLS)의 자유도를 무편향하게 추정하는 방법을 제시한다. 자유도는 피팅값을 응답 변수의 함수로 보았을 때 1차 도함수의 트레이스로 정의되며, 행렬 분해와 Krylov 부분공간 이론을 이용해 두 가지 동등한 표현을 도출한다. 실험을 통해 제안된 자유도 추정이 기존의 ‘성분 수’ 기반 추정보다 더 정확하고, 정보 기준과 결합했을 때 모델 선택에 유용함을 보인다.

상세 분석

부분 최소제곱 회귀(Partial Least Squares, PLS)는 예측 변수와 응답 변수 사이의 공분산을 최대화하는 잠재 성분을 순차적으로 추출함으로써 차원 축소와 회귀를 동시에 수행한다. 이러한 절차는 응답 변수에 의존적인 선형 변환을 포함하기 때문에, 전통적인 선형 회귀에서 사용되는 자유도(Degrees of Freedom, DoF) 개념을 그대로 적용하기 어렵다. 논문은 먼저 “피팅값을 응답 변수의 함수로 본 경우, 그 함수의 1차 도함수(즉, 민감도 행렬)의 트레이스”를 DoF의 정의로 채택한다. 이는 Stein’s unbiased risk estimate(SURE)와 동일한 개념으로, 모델 복잡도를 데이터에 대한 적합 정도와 직접 연결한다.

DoF를 계산하기 위해 저자들은 PLS가 실제로는 Krylov 부분공간 K_m = span{Xᵀy, (XᵀX)Xᵀy, …, (XᵀX)^{m‑1}Xᵀy} 위에서 수행되는 일련의 직교화 과정임을 이용한다. 첫 번째 표현은 PLS가 NIPALS 알고리즘을 통해 얻는 가중치 행렬 W와 로딩 행렬 P를 이용해, 피팅 행렬 Ŷ = XW(PᵀW)^{-1}PᵀXᵀy 로 나타낼 수 있음을 보인다. 여기서 Ŷ에 대한 y의 미분은 W와 P가 y에 의존한다는 점을 고려해 연쇄법칙을 적용하면, 최종적으로 DoF = tr(∂Ŷ/∂y) = tr(S) 형태의 식이 도출된다. 두 번째 표현은 Krylov 부분공간의 정규 직교 기저 Q를 사용해, Ŷ = XQ(QᵀXᵀXQ)^{-1}QᵀXᵀy 로 재작성하고, Q가 y에 독립적인 고정 기저임을 이용해 미분을 간단히 하면 DoF = tr(QQᵀ) = m 이 아니라, 실제로는 Q가 구성되는 과정에서 발생하는 정규화 상수와 컬리니어리티에 따라 변동한다는 결과를 얻는다.

핵심 통찰은 컬리니어리티가 높은 경우, 즉 예측 변수들이 서로 강하게 상관관계를 가질 때 Krylov 기저가 빠르게 수렴해 실제 사용되는 자유도가 감소한다는 점이다. 반대로 변수 간 독립성이 높을수록 더 많은 고유 방향을 탐색하게 되므로 DoF가 증가한다. 따라서 “성분 수 = 자유도”라는 단순 가정은 과소평가를 초래한다. 저자들은 이론적 결과를 시뮬레이션과 실제 데이터(예: 화학 스펙트럼, 유전자 발현)에서 검증했으며, AIC/BIC와 같은 정보 기준에 제안된 DoF를 삽입하면 최적 성분 수 선택이 크게 개선됨을 보였다.