비선형 페널티를 이용한 요인분석의 희소 추정

초록

본 논문은 변수 수가 관측치보다 많을 때도 적용 가능한 비선형(비볼록) 페널티 기반의 penalized likelihood 방법을 제안한다. 전통적인 최대우도 추정 후 회전 기법 대신, EM 알고리즘과 좌표 하강법을 결합해 전체 해 경로를 효율적으로 계산한다. 시뮬레이션과 실제 데이터 분석을 통해 제안 방법이 기존 회전 기반 방법보다 더 희소하고 정확한 요인 적재값을 제공함을 보인다.

상세 분석

이 연구는 고차원 요인분석에서 발생하는 두 가지 주요 한계를 극복하고자 한다. 첫째, 변수 수(p)가 표본 수(n)보다 훨씬 클 경우 전통적인 최대우도 추정(MLE)은 수치적으로 불안정하거나 전혀 수렴하지 않는다. 이는 공분산 행렬의 역행렬 계산이 불가능해지는 문제와 직접 연결된다. 둘째, MLE 후에 수행되는 Varimax·Promax와 같은 회전 기법은 사후적으로 희소성을 유도하려 하지만, 회전 자체가 비선형 최적화 문제이므로 최적해가 희소 구조를 충분히 반영하지 못한다. 이러한 배경에서 저자들은 요인 적재행렬 Λ에 비볼록 페널티 함수를 직접 부과하는 penalized likelihood 프레임워크를 도입한다. 비볼록 페널티는 SCAD, MCP, Lq(q<1) 등으로, L1(Lasso)보다 편향을 감소시키면서도 큰 계수를 보존한다는 장점이 있다.

모델식은 기존 요인분석의 로그우도 L(Λ,Ψ)와 페널티 Pλ(Λ) 의 합을 최소화하는 형태이며, 여기서 Ψ는 고유분산 행렬이다. 저자는 이 목적함수를 EM 알고리즘의 M‑step에 좌표 하강법을 적용해 Λ를 순차적으로 업데이트한다. E‑step에서는 현재 파라미터 하에 잠재 요인 F의 조건부 기대값과 공분산을 계산하고, M‑step에서는 각 로딩에 대해 1차 미분이 0이 되는 점을 찾는다. 비볼록 페널티의 경우 서브그라디언트가 다중값을 가질 수 있으므로, 로컬 최소점에 머무르지 않도록 적절한 초기값과 단계적 λ 감소 전략을 사용한다. 또한 전체 해 경로를 얻기 위해 λ를 큰 값에서 시작해 점진적으로 감소시키는 “warm‑start” 방식을 채택한다. 이는 LARS와 유사한 효율성을 제공하면서도 비볼록 페널티에 적용 가능하도록 설계되었다.

시뮬레이션에서는 (p,n) = (100,50), (200,80) 등 다양한 차원을 시험했으며, 평가 지표는 평균제곱오차(MSE), 변수 선택 정확도(정밀도·재현율), 그리고 회전 후의 희소도(제로 비율)이다. 결과는 비볼록 페널티가 L1보다 낮은 MSE와 높은 변수 선택 정확도를 보였으며, 특히 MCP와 SCAD가 회전 기반 방법보다 30~40% 정도 더 많은 제로 로딩을 생성했다. 실제 데이터 예시로는 심리학 설문지 데이터가 사용되었으며, 제안 방법은 해석 가능한 3개의 요인을 도출하면서도 불필요한 로딩을 효과적으로 제거하였다. 전체적으로 이 논문은 고차원 요인분석에서 비볼록 페널티와 EM‑coordinate descent 결합이 실용적이며, 기존 회전 기법을 대체할 수 있는 강력한 대안을 제시한다는 점에서 의미가 크다.