Accord.NET으로 배우는 주성분 분석 튜토리얼

초록

본 문서는 Accord.NET Framework를 이용해 주성분 분석(PCA)을 수행하는 방법을 단계별로 설명한다. Lindsay의 유명 튜토리얼을 재현하면서 코드 구현, 결과 해석, 다른 통계 소프트웨어와의 차이점을 상세히 논의한다.

상세 분석

본 논문은 PCA의 수학적 배경과 Accord.NET에서 제공하는 API 구조를 연결시키는 데 초점을 맞춘다. 먼저 데이터 행렬을 평균 중심화하고 공분산 행렬을 계산한 뒤, Eigenvalue Decomposition(EVD) 혹은 Singular Value Decomposition(SVD)을 이용해 고유값과 고유벡터를 추출한다. Accord.NET은 PrincipalComponentAnalysis 클래스를 통해 이러한 과정을 캡슐화하며, Compute 메서드 호출만으로 고유값 정렬, 누적 분산 비율, 변환된 좌표(스코어)를 얻을 수 있다. 구현 예제에서는 8개의 변수와 10개의 샘플로 구성된 예시 데이터를 사용해, 평균을 빼고 Analysis.Compute()를 수행한 뒤 Components와 Eigenvalues 속성을 출력한다.

특히 논문은 Accord.NET 결과와 R, MATLAB, Python(scikit‑learn) 등 다른 플랫폼의 결과를 비교한다. 차이가 발생하는 주요 원인으로는(1) 공분산 행렬을 표본 공분산(분모 N‑1)으로 계산하느냐 전체 공분산(분모 N)으로 계산하느냐, (2) 고유값 정렬 기준(내림차순 vs 오름차순), (3) 부동소수점 연산 시 발생하는 수치적 오차를 들었다. Accord.NET은 기본적으로 전체 공분산을 사용하므로, 표본 공분산을 기대하는 R의 prcomp와는 약간의 차이가 있다. 또한, 고유벡터의 부호는 고유값이 동일한 경우 임의로 결정되기 때문에, 시각적 비교 시 부호를 맞추는 전처리가 필요하다.

논문은 이러한 차이를 최소화하기 위한 실용적인 팁도 제공한다. 예를 들어, PrincipalComponentAnalysis 생성자에 method: AnalysisMethod.Covariance 대신 AnalysisMethod.Standardize 옵션을 지정하면 변수 표준화 후 공분산을 계산해 스케일 차이를 제거할 수 있다. 또한, Eigenvectors를 Math.Abs로 절대값을 취하거나, Vector.Sign을 맞춰 시각화하면 부호 차이를 무시할 수 있다.

수치적 안정성 측면에서는 SVD 기반 구현이 EVD보다 더 견고하다는 점을 강조한다. Accord.NET 내부에서는 기본적으로 EVD를 사용하지만, UseSVD = true 플래그를 설정하면 SVD 기반 PCA를 수행한다. 이 경우, 특히 차원 수가 변수 수보다 큰 고차원 데이터에서 더 정확한 결과를 얻는다.

마지막으로, 논문은 PCA 결과를 활용한 차원 축소와 시각화, 그리고 변수 선택 기준(예: 누적 분산 95% 도달) 등을 실제 프로젝트에 적용하는 방법을 제시한다. 전체 흐름은 데이터 전처리 → PCA 객체 초기화 → 분석 수행 → 결과 해석 → 모델 적용 순으로 정리된다.