투영 혼합 가우시안 모델을 이용한 블라인드 소스 분리

초록

본 논문은 고차원 데이터 z₁,…,zₙ을 1차원으로 투영한 뒤, 투영값 uᵢ가 1차원 혼합 가우시안(MOG) 분포를 따른다고 가정하는 투영 혼합 가우시안(PMOG) 모델을 제안한다. EM 알고리즘을 통해 MOG 파라미터와 투영벡터 w를 동시에 추정하고, 이를 블라인드 소스 분리(BSS) 문제에 적용한다. 기존 BSS가 근사적인 엔트로피 최소화에 의존하는 반면, PMOG 기반 BSS는 투영된 소스의 실제 엔트로피를 직접 최소화함으로써 비가우시안 소스 분포를 보다 유연하게 모델링한다.

상세 요약

PMOG 모델은 고차원 관측값 z∈ℝ^q 를 스칼라 u = wᵀz 로 투영하고, 이 u 가 1‑D 혼합 가우시안(가중치 π_k, 평균 μ_k, 분산 σ_k²) 로 생성된다고 가정한다. 핵심 아이디어는 투영벡터 w와 MOG 파라미터를 동시에 최적화함으로써, 데이터가 가장 “비가우시안”하게 표현되는 방향을 찾는 것이다. 논문은 전체 로그우도 L(w,Θ)=∑_i log∑_k π_k 𝒩(u_i|μ_k,σ_k²) 를 최대화하는 EM 절차를 제시한다.

E‑step에서는 현재 파라미터 하에 책임값 γ_{ik}=π_k 𝒩(u_i|μ_k,σ_k²)/∑_j π_j 𝒩(u_i|μ_j,σ_j²) 를 계산한다. M‑step에서는 (1) 혼합 가중치 π_k, (2) 평균 μ_k, (3) 분산 σ_k² 를 전통적인 GMM 업데이트식으로 갱신하고, (4) 투영벡터 w 를 Lagrange multiplier λ 로 ‖w‖=1 제약을 두고, ∂L/∂w=0 조건을 풀어 업데이트한다. w‑업데이트는 책임값에 의해 가중된 데이터의 1‑차원 평균과 공분산을 이용한 closed‑form 근사식 또는 Newton‑type 최적화로 구현된다.

BSS 적용에서는 관측 믹스 x = A s (A는 혼합 행렬, s는 독립 소스) 를 전처리 후, 각 소스에 대해 별도 w 를 찾는다. 기존 ICA는 비가우시안성을 측정하기 위해 고차 모멘트나 근사 엔트로피(예: kurtosis, neg‑entropy)를 최소화한다. 반면 PMOG‑BSS는 투영된 소스 u = wᵀx 가 실제 MOG 분포를 따르도록 w 를 조정하고, 그 MOG의 엔트로피 H(u)=−∑_k π_k log π_k + … 를 직접 최소화한다. 이는 “near‑Gaussian” 가정 없이도 복잡한 다중 피크, 비대칭, 꼬리 무거운 분포를 정확히 포착한다는 장점이 있다.

알고리즘 수렴성은 EM의 일반적 보장에 따라 로그우도가 비감소한다는 점에서 안전하지만, w‑업데이트가 비선형 제약을 포함하므로 지역 최적에 빠질 위험이 있다. 초기화 전략(예: PCA 기반 w₀)과 다중 시작이 실험적으로 필요하다. 계산 복잡도는 각 EM 반복마다 O(NK) (N은 샘플 수, K는 혼합 성분 수) 와 w‑업데이트의 O(Nq) 연산이 추가돼, 고차원(수천 차원)에서도 실용적이다.

한계점으로는 1‑D 투영만 고려하므로 다변량 의존성을 완전히 포착하지 못한다는 점, 그리고 혼합 성분 수 K 를 사전에 지정해야 하는 모델 선택 문제가 있다. 향후 확장은 다중 투영(다수의 w) 혹은 다변량 MOG 를 직접 모델링하는 방향, 그리고 베이지안 비판적 모델 선택을 통한 K 자동 추정이 가능할 것이다.