최적 근사 정규 요인 분석을 위한 교대 최소화 알고리즘

본 논문은 정규 요인 분석(NFA) 모델의 최적 근사화를 위한 새로운 방법론을 제시한다. 서론에서는 NFA가 다변량 데이터의 잠재 구조를 파악하는 데 널리 사용되지만, 실제 데이터와 모델 간의 불일치가 존재함을 지적한다. 이러한 불일치를 정량화하기 위해 저자들은 두 정규분포 사이의 I‑다이버전스를 손실 함수로 채택한다. I‑다이버전스는 정보 이론적 거리 척도로, 분포 간 차이를 비대칭적으로 측정하며, 정규분포에 대해 닫힌 형태의 식을 제공한다는 장점이 있다. 문제 정의 부분에서는 관측 변수 X∈ℝ^p 를 잠재 요인 Z∈ℝ^k 와 잡음 ε∈ℝ^p 로 모델링하는 전통적인 NFA 식 X = ΛZ + ε 를 제시한다. 여기서 Λ∈ℝ^{p×k} 는 요인 부하 행렬, ε는 평균 0, 공분산 Ψ (대각 혹은 구조적 제약) 를 갖는 정규 잡음으로 가정한다. 관측 공분산 Σ는 ΛΛᵀ + Ψ 로 표현되며, 목표는 주어진 경험적 공분산 Σ̂ 와 모델 공분산 Σ 사이의 I‑다이버전스를 최소화하는 (Λ,Ψ) 를 찾는 것이다. 알고리즘 설계는 파라미터를 두 블록으로 분리한 교대 최소화(Alternating Minimization) 전략을 따른다. 첫 번째 서브문제는 Ψ 를 고정한 상태에서 Λ 를 최소화하는 것으로, 이는 Σ̂ - Ψ 를 고유값 분해하여 주요 고유벡터를 선택함으로써 Λ 를 직접 계산할 수 있다. 구체적으로, Σ̂ - Ψ 의 상위 k 개 고유값 λ_i 와 대응 고유벡터 u_i 를 이용해 Λ =