선형 분류기와 최소제곱 비용 함수에서 이상치의 영향 완화

초록

본 논문은 최소제곱 비용 함수를 이용한 선형 분류기가 이상치에 의해 결정 경계가 크게 왜곡되는 현상을 분석하고, 입력 벡터의 길이로 스케일링하는 간단한 방법을 제안한다. 스케일링을 통해 이상치의 영향력을 감소시켜 보다 안정적인 분류 경계를 얻을 수 있음을 수치 실험으로 확인한다.

상세 분석

논문은 먼저 선형 이진 분류기의 기본 형태 y(x)=wᵀx+w₀을 소개하고, 이를 최소제곱 비용 C(w)=½N∑ₙ(y(xₙ)−tₙ)²로 정의한다. 최소제곱 해는 정규 방정식 w = (XᵀX)⁻¹Xᵀt 로 얻어지며, 여기서 X는 증강 입력 행렬이다. 저자는 데이터가 두 개의 큰 클라우드(정상 데이터)와 소규모 클라우드(가능한 이상치)로 구성된 2차원 예시를 통해, 이상치가 존재할 경우 평균 벡터와 밀도(ρ)의 변화가 (XᵀX)⁻¹에 큰 영향을 미쳐 결정 경계가 이상치 쪽으로 끌려가는 현상을 수식적으로 전개한다. 특히, 정상 데이터와 이상치의 평균 벡터를 각각 \bar{x}^{(k)}와 \bar{x}^{(k+)}라 두고, 이상치 비율 γ를 도입해 S와 I(= (XᵀX)⁻¹) 를 ρ와 \bar{x}의 함수로 표현한다. 이때 γ가 작아도 \bar{x}^{(k+)}가 멀리 떨어져 있으면 I의 역행렬에 큰 값이 들어가 w가 이상치 방향으로 편향된다.

이를 해결하기 위한 핵심 아이디어는 입력 벡터의 유클리드 노름 ‖x′‖ 으로 스케일링하는 것이다. 스케일링된 입력 X̃ = x′/‖x′‖ 로 바꾸면, 최소제곱 해의 형태는 그대로 유지되면서 정상 데이터와 이상치가 각각 ‖x′‖에 의해 가중치가 조정된다. 저자는 스케일링 전후의 S와 I 를 다시 전개하여, 이상치의 노름이 클수록 정상 데이터의 기여도가 상대적으로 증가함을 보인다. 즉, 이상치가 멀리 있을수록 ‖x′‖이 커져 그 영향력이 역으로 감소한다는 직관적인 결과가 도출된다.

수치 실험에서는 2차원 인공 데이터와 MNIST 손글씨 데이터셋을 사용한다. 인공 데이터에서는 이상치가 포함된 경우와 스케일링 적용 후의 결정 경계를 시각적으로 비교해, 스케일링이 경계 왜곡을 크게 완화함을 확인한다. MNIST 실험에서는 다중 클래스 로지스틱 회귀와 동일한 최소제곱 프레임워크에 스케일링을 적용했을 때, 전체 정확도가 소폭 상승하고 특히 잡음이 섞인 샘플에서 오류율이 감소한다는 결과를 제시한다.

논문의 한계점으로는 스케일링이 입력 벡터의 방향성은 보존하지만, 데이터의 실제 분포(예: 비정규성)와는 무관하게 적용된다는 점을 들 수 있다. 또한, 스케일링이 모든 상황에서 최적의 해결책이 아닐 수 있으며, 고차원에서 노름 계산 비용이 증가할 가능성도 있다. 그럼에도 불구하고, 복잡한 로버스트 회귀 기법 대신 간단히 노름 스케일링만으로도 이상치에 대한 민감도를 크게 낮출 수 있다는 실용적인 교훈을 제공한다.