군집 가중 요인 분석 기반 고차원 데이터 군집화와 분류

초록

본 논문은 응답 변수 Y와 설명 변수 집합 X를 동시에 다루는 군집 가중 모델(CWM)에 요인 분석을 결합해 차원 수가 큰 경우에도 효율적인 군집화·분류를 가능하게 하는 CWFA 모델을 제안한다. 16가지 모델 변형을 정의하고, AECM 알고리즘과 5단계 계층적 초기값 설정을 통해 파라미터 추정을 수행한다. 시뮬레이션 및 실제 데이터 실험에서 높은 군집 정확도와 파라미터 복원력을 확인하였다.

상세 분석

이 연구는 전통적인 군집 가중 모델(CWM)이 설명 변수 X의 차원이 증가함에 따라 공분산 행렬 추정이 불안정해지는 문제점을 인식하고, 각 혼합 성분마다 잠재 요인 구조를 가정함으로써 차원 축소와 파라미터 감소를 동시에 달성한다는 점에서 혁신적이다. 구체적으로, 혼합 성분 g(=1,…,G)마다 X를 q‑차원 요인 U_g와 고유오차 ε_g의 선형 결합 X = μ_g + Λ_g U_g + ε_g 로 표현한다. 여기서 Λ_g는 p×q 요인 적재 행렬이며, ε_g는 대각선 공분산 Ψ_g를 갖는 정규 오차이다. 이렇게 하면 X의 공분산 Σ_g = Λ_gΛ_g’ + Ψ_g 로 나타내어, q ≪ p인 경우 파라미터 수가 크게 감소한다.

또한 Y와 X 사이의 조건부 관계를 Y|X,g ∼ N(β_{0g}+β_g’X, σ_g^2) 로 모델링한다. 논문은 σ_g^2와 Ψ_g에 대해 “동일(공통)”, “다른(성분별)”, “대각선(제한)”, “전면(제한 없음)” 등 네 가지 제약을 각각 적용해 2×2×2×2=16개의 모델 변형을 정의한다. 이러한 제약 구조는 모델 선택 시 BIC 등 정보 기준을 통해 가장 적합한 형태를 자동으로 선택하도록 설계되었다.

파라미터 추정은 AECM(Alternating Expectation‑Conditional Maximization) 알고리즘을 사용한다. AECM은 EM의 변형으로, 각 단계에서 조건부 완전 데이터 로그우도에 대해 쉽게 풀 수 있는 부분집합 파라미터를 별도로 최적화한다. 첫 번째 단계에서는 군집 할당 변수 Z와 요인 U를 잠재 변수로 두고, 두 번째 단계에서는 요인 U를 고정한 채 회귀 계수 β와 분산 σ^2를 업데이트한다. 이 과정은 각 모델 변형에 맞는 제약을 반영하면서도 닫힌 형태 해를 제공한다는 장점이 있다.

초기값 설정은 5단계 계층적 절차를 통해 수행된다. 가장 단순한 모델(공통 σ^2, 공통 Ψ, 대각선 Σ)부터 시작해 점진적으로 제약을 완화하면서 이전 단계의 추정값을 초기값으로 활용한다. 이렇게 하면 파라미터 공간을 효율적으로 탐색할 수 있을 뿐 아니라, 16개의 모델에 대해 자연스러운 likelihood 순위를 보장한다.

실험에서는 저차원(예: p=5)부터 고차원(p=100)까지 다양한 시뮬레이션 설정을 검증하였다. 특히, 요인 차원 q를 적절히 선택했을 때 CWFA는 기존 CWM이나 전통적인 혼합 회귀 모델보다 군집 정확도(Adjusted Rand Index)와 분류 정확도에서 현저히 우수했다. 실제 데이터(예: 화학 스펙트럼, 얼굴 이미지)에서도 BIC 기반 모델 선택이 의미 있는 군집 구조를 발견했으며, 파라미터 복원 실험에서 평균 제곱 오차가 낮아 추정 안정성을 확인하였다.

이 논문의 핵심 기여는 (1) 고차원 X에 대한 요인 기반 공분산 구조 도입, (2) 네 가지 제약을 조합한 16가지 CWFA 모델 정의, (3) AECM과 계층적 초기화로 구현된 효율적인 최대우도 추정, (4) 광범위한 실험을 통한 모델의 실용성 입증이다. 향후 연구에서는 비정규 요인 분포, 비선형 회귀 구조, 그리고 빅데이터 환경에서의 분산 컴퓨팅 구현 등이 고려될 수 있다.