가우시안 혼합 모델과 유전 알고리즘 기반 투영 탐색

본 논문은 다변량 데이터의 시각화와 구조 탐지를 위해 투영 탐색(Projection Pursuit, PP) 기법에 새로운 접근을 제시한다. 전통적인 PP는 데이터의 “흥미로운” 저차원 투영을 찾기 위해 비정규성 지표를 정의하고, 이를 최적화한다. 그러나 비정규성 지표를 계산하기 위해 비모수적 밀도 추정에 의존하면 계산 비용이 크게 증가하고, 최적화 과정에서 다중극값 문제에 직면한다. 이를 해결하고자 저자는 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 사용해 원 데이터의 밀도를 반정형적으로 추정한다. GMM은 여러 가우시안 성분의 가중합으로 복잡한 분포를 근사할 수 있으며, EM 알고리즘을 통해 파라미터를 효율적으로 추정한다. 핵심 아이디어는 GMM이 선형 변환에 대해 닫힌 형태를 유지한다는 점이다. 즉, 원 데이터 X에 대해 추정된 GMM을 직교 투영 행렬 **B**(p×d)로 변환하면, 투영된 데이터 Z = X B 역시 가우시안 혼합 형태를 갖는다. 이때 각 성분의 평균과 공분산은 단순히 **B**ᵀ µ_g와 **B**ᵀ Σ_g **B** 로 변환된다. 따라서 투영 후 밀도 계산을 별도로 수행할 필요 없이 기존 GMM 파라미터만 변환하면 된다. 투영 지표로는 부정엔트로피(negentropy)를 채택한다. 부정엔트로피는 정규분포와의 Kullback‑Leibler 발산으로 정의되며, 정규성에서 크게 벗어날수록 값이 커진다. 이는 PP에서 “흥미로운” 투영을 정의하는 자연스러운 척도가 된다. 부정엔트로피는 affine 변환에 불변이며, 정규분포가 최소값을 갖는 특성을 가지고 있어 시각화 목적에 적합하다. 그러나 GMM의 엔트로피는 로그합 형태라 폐쇄식이 존재하지 않으므로 근사가 필요하다. 저자는 두 가지 근사 방법을 제시한다. 첫 번째는 무가중 변환(Unscended Transformation, UT) 기반의 sigma‑point 방법이다. UT는 2d개의 결정적 샘플을 이용해 기대값을 근사하며, 특히 로그합 함수에 대해 높은 정확도를 제공한다. 두 번째는 Monte‑Carlo 샘플링을 이용한 수치적 근사이지만, 샘플 수가 많아야 정확도가 확보되므로 실용성이 떨어진다. 실험에서는 계산 효율성과 정확도 사이의 균형을 고려해 UT 기반 근사를 주로 사용한다. 부정엔트로피 근사값을 최적화하기 위해 저자는 유전 알고리즘(Genetic Algorithm, GA)을 적용한다. GA는 개체군 기반 전역 탐색 기법으로, 교차·변이·선택 연산을 통해 해 공간을 탐색한다. 여기서는 직교성 제약을 유지하면서 **B** 행렬을 진화시킨다. GA는 비볼록 목적함수(부정엔트로피 근사)의 다중극값 문제에 강인하며, 전역 최적에 근접할 가능성을 높인다. 실험은 두 부분으로 구성된다. 첫 번째는 인공 데이터셋으로, 다중 모드, 비선형 구조, 잡음이 포함된 경우를 생성해 기존 PP 방법(예: 히스토그램 기반, 커널 밀도 기반)과 비교한다. 결과는 PPGMMGA(본 논문의 방법)가 군집 경계를 명확히 드러내고, 시각적으로 해석하기 쉬운 투영을 제공함을 보여준다. 두 번째는 실제 데이터셋(와인, 붓꽃, 손글씨 등)으로, 각 데이터의 내재된 군집 구조를 시각화한다. 특히 고차원 데이터에서 2차원 투영을 통해 서로 다른 클래스가 명확히 구분되는 모습을 확인했다. 본 연구의 의의는 다음과 같다. (1) GMM을 이용한 밀도 추정은 복잡한 다변량 구조를 파라메트릭하게 포착하면서도 선형 변환에 대해 닫힌 형태를 유지한다는 계산적 장점을 제공한다. (2) 부정엔트로피는 정규성에서 벗어난 구조를 정량화하는 자연스러운 지표이며, affine 불변성을 만족한다. (3) UT 기반 엔트로피 근사는 적은 샘플로도 충분히 정확한 근사를 제공해 실시간 적용이 가능하다. (4) GA는 비볼록 최적화 문제에 대해 전역 탐색 능력을 제공한다. 한계점으로는 GMM 모델 선택(성분 수 G, 공분산 구조)과 GA 파라미터(세대 수, 개체 수, 변이 확률 등)가 결과에 민감하다는 점이다. 현재는 BIC·ICL 등 정보 기준을 사용해 모델을 선택하지만, 자동화된 베이지안 모델 선택이나 교차 검증 기반 튜닝이 필요하다. 또한 현재는 선형 투영에 국한되므로, 비선형 구조를 포착하기 위해 커널 방법이나 딥러닝 기반 비선형 투영과 결합하는 연구가 향후 과제로 제시된다. 결론적으로, 본 논문은 GMM과 GA를 결합한 새로운 투영 탐색 프레임워크를 제안함으로써, 복잡한 다변량 데이터의 군집 구조를 효과적으로 시각화하고, 기존 방법 대비 높은 해석 가능성과 계산 효율성을 입증하였다.