커널 부분 최소제곱의 보편적 일관성 증명

초록

본 논문은 유한 범위의 회귀 문제를 재현 커널 힐베르트 공간(RKHS)에서 다루며, 커널 부분 최소제곱(Partial Least Squares, PLS) 회귀가 보편적인 커널일 경우 일관적인 추정량을 제공함을 증명한다. 핵심은 PLS가 조기 종료(conjugate gradient)와 동등함을 이용하고, 두 가지 데이터 기반 종료 규칙(오차 모니터링, 조건수 기반 복잡도 추정)을 제시한다는 점이다.

상세 분석

본 연구는 기존의 정규화 회귀(Ridge)나 주성분 회귀(Principal Components Regression)와 달리, 커널 PLS가 전역적인 비용 함수를 최소화하는 방식이 아니라 데이터 의존적인 중첩 서브스페이스에 대한 투영을 통해 점진적으로 근사해를 구성한다는 점에 주목한다. 이 과정은 선형 연산이지만, 전체 추정기가 선형이 아니며, 따라서 전통적인 일관성 증명 기법을 바로 적용하기 어렵다. 저자들은 PLS와 conjugate gradient(CG) 알고리즘이 동일한 Krylov 서브스페이스를 탐색한다는 알려진 사실을 활용한다. CG는 선형 시스템을 풀 때 조기 종료(early stopping)를 통해 과적합을 방지할 수 있는 강력한 규제 메커니즘을 제공하므로, 이를 PLS에 그대로 옮겨 적용하면 일관성 증명의 핵심이 된다.

논문은 두 가지 실용적인 종료 규칙을 제안한다. 첫 번째는 각 반복 단계에서 추정 오차를 직접 모니터링하는 방식으로, 실제 관측값과 현재 모델의 예측값 사이의 차이를 이용해 최적의 반복 횟수를 결정한다. 이 방법은 오차가 감소하지 않을 때 반복을 멈추게 하여 과적합을 억제한다. 두 번째는 조건수(condition number)를 기반으로 복잡도를 추정하는 방법이다. Krylov 서브스페이스의 스펙트럼 정보를 활용해 현재 단계의 조건수를 계산하고, 이 값이 사전에 설정한 임계값을 초과하면 종료한다. 조건수는 서브스페이스가 얼마나 잘 정규화되는지를 나타내므로, 높은 조건수는 불안정성을 의미한다.

핵심 이론적 결과는 “보편적인(kernel universal) 커널”이라면, 위 두 종료 규칙 중 어느 하나를 사용하더라도 커널 PLS 추정기가 universally consistent—즉, 데이터 샘플 수가 무한히 커질 때 기대 위험이 최적 베이즈 위험에 수렴한다—를 보인다는 것이다. 보편성은 커널이 입력 공간의 모든 연속 함수를 근사할 수 있음을 의미하며, 이는 RKHS가 충분히 풍부함을 보장한다. 증명 과정에서는 먼저 PLS가 CG와 동일한 Krylov 서브스페이스를 생성한다는 사실을 정리하고, 이후 CG의 조기 종료에 대한 기존 일관성 결과(예: Engl et al., 2000)를 커널 PLS에 맞게 변형한다. 중요한 단계는 데이터 의존적인 서브스페이스가 샘플링 오차에 의해 얼마나 변동하는지를 제어하는 것이며, 이를 위해 고전적인 Rademacher 복잡도와 매트릭스 농도 부등식을 활용한다. 또한, 조건수 기반 종료 규칙에 대해서는 서브스페이스의 최소 고유값이 샘플 크기에 따라 적절히 하한을 갖는다는 점을 보이며, 이는 보편적인 커널이 갖는 고유값 분포 특성에 의존한다.

실험적 검증은 논문에 포함되지 않았지만, 제시된 이론적 프레임워크는 실제 데이터에 적용할 때도 유용하게 작동할 것으로 기대된다. 특히, 고차원 비선형 회귀 문제에서 커널 PLS는 차원 축소와 회귀를 동시에 수행하므로, 적절한 조기 종료만으로도 과적합을 효과적으로 방지하면서도 높은 예측 정확도를 달성할 수 있다.