고분해능 강건 다변량 분석

초록

본 논문은 다변량 데이터에서 다수의 이상치가 존재할 경우에도 신뢰할 수 있는 추정과 해석을 가능하게 하는 고분해능(High‑Breakdown) 강건 통계 방법들을 종합적으로 정리한다. 공분산 추정, 다중·다변량 회귀, 판별분석, 주성분 분석, 다변량 보정 등 주요 통계 기법에 대한 최신 강건 알고리즘과 그 이론적 특성, 계산적 구현, 실험적 검증을 제시한다.

상세 분석

논문은 먼저 강건 통계의 기본 개념을 소개하고, 특히 ‘분해능(breakdown point)’이라는 척도가 왜 중요한지를 설명한다. 분해능은 데이터의 일정 비율(예: 50 %)까지 악의적인 이상치가 섞여 있어도 추정량이 파괴되지 않는 정도를 의미한다. 전통적인 최소제곱(OLS)이나 최대우도 추정은 분해능이 0에 가까워 한두 개의 극단값만으로도 결과를 크게 왜곡한다. 반면 고분해능 방법은 최소 25 %~50 % 수준의 이상치를 견딜 수 있어, 실제 현장 데이터에서 흔히 발생하는 오염에 강인하다.

공분산 행렬 추정에서는 Minimum Covariance Determinant (MCD)와 FastMCD 알고리즘이 핵심이다. MCD는 전체 데이터 중 h개의 관측치(보통 n·(1‑α) 정도)로 구성된 부분집합을 찾아 그 공분산 행렬의 행렬식이 최소가 되도록 한다. FastMCD는 반복적인 재샘플링과 C‑step을 통해 계산 복잡도를 크게 낮추면서도 전역 최적에 근접한다. 이 방법은 이후 다변량 회귀와 판별분석에서 가중치를 부여하는 ‘Mahalanobis 거리’ 기반의 이상치 탐지에 직접 활용된다.

다중·다변량 회귀에서는 Least Trimmed Squares (LTS)와 S‑estimator, MM‑estimator가 논의된다. LTS는 잔차의 절대값을 정렬한 뒤 가장 작은 h개의 제곱합을 최소화한다. 이는 OLS와 달리 큰 잔차를 가진 관측치를 자동으로 배제한다. S‑estimator는 잔차의 스케일을 최소화하는 동시에 회귀계수를 추정하고, MM‑estimator는 S‑estimator를 초기값으로 사용해 높은 효율성을 달성한다. 특히 MM‑estimator는 95 % 효율을 유지하면서도 50 % 분해능을 제공한다는 점에서 실무적 가치를 가진다.

판별분석에서는 강건 선형 판별(LDA)과 Quadratic Discriminant Analysis(QDA)를 위한 고분해능 공분산 추정이 핵심이다. MCD 기반의 공분산 추정은 클래스별로 적용될 수 있으며, 클래스 간 공분산 차이가 큰 경우에도 안정적인 판별 경계를 제공한다. 또한, ‘Robust Mahalanobis 거리’를 이용한 관측치 가중치 조정은 클래스 외부에 위치한 이상치를 자연스럽게 억제한다.

주성분 분석(PCA)에서는 ROBPCA와 Projection Pursuit 기반 방법이 소개된다. ROBPCA는 먼저 MCD로 데이터의 중심과 공분산을 추정하고, 그 후 고차원 공간에서 투영된 데이터에 대해 전통적인 PCA를 수행한다. 이 과정에서 이상치가 주성분 방향에 미치는 영향을 최소화한다. Projection Pursuit 방식은 다양한 투영 함수를 탐색해 가장 ‘정상적’인 투영을 선택함으로써, 비선형 구조를 가진 데이터에서도 강건한 차원 축소가 가능하도록 한다.

마지막으로 다변량 보정(Multivariate Calibration)에서는 PLS(Partial Least Squares)와 PCR(Principal Component Regression)의 강건 변형이 논의된다. 여기서는 MCD 기반 가중치와 LTS 손실 함수를 결합해, 모델 학습 단계에서 이상치를 자동으로 억제하고, 예측 단계에서도 Mahalanobis 거리 기반의 신뢰 구간을 제공한다. 전체적으로 논문은 각 방법의 수학적 정의, 알고리즘적 구현, 계산 복잡도, 그리고 시뮬레이션 및 실제 데이터 사례를 통해 성능을 비교한다. 고분해능 강건 방법들은 기존 방법에 비해 이상치에 대한 민감도가 현저히 낮으며, 특히 30 %~40 % 수준의 오염이 존재할 때도 안정적인 추정과 해석을 가능하게 한다는 점이 강조된다.