갭을 메우는 가우시안 혼합 모델: 잡음·절단·불완전 데이터 처리

논문은 먼저 가우시안 혼합 모델(GMM)의 기본 형태와 EM 알고리즘을 복습한다. GMM은 다변량 정규분포의 가중합으로 복잡한 확률밀도함수를 근사하는데, 관측 데이터가 완전하지 않을 경우 기존 EM은 충분히 정확한 추정을 제공하지 못한다. 저자는 ‘불완전 샘플(incomplete samples)’을 정의하고, 이를 ‘Missing at Random(MAR)’ 상황으로 분류한다. MAR 가정 하에서는 완전도 함수 Ω(x) 가 데이터 자체에 의존하지 않으며, Ω(x)·p(x) 형태로 관측 확률을 모델링할 수 있다. 기존 연구에서는 Ω(x) 가 단순한 직사각형 경계인 경우에만 해석적 적분을 통해 GMM 파라미터를 보정했지만, 복잡한 형태나 확률적 재현 과정에서는 적분이 비현실적이다. 이를 해결하기 위해 저자는 Dempster et al. (1977)의 아이디어를 차용해, 현재 모델에서 결손 데이터를 무작위로 샘플링하고 이를 관측 데이터와 합쳐 EM을 반복 수행하는 ‘Stochastic EM’ 방식을 제안한다. 구체적으로는 다음과 같은 절차를 따른다. 1. 현재 파라미터(α, μ, Σ) 로부터 S 개의 가상 샘플 Z 를 생성한다. 2. 각 가상 샘플에 대해 Ω(z) 를 평가하고, 1‑Ω(z) 확률로 ‘결손’ 집합 M 에 포함시킨다. 3. M 의 크기가 실제 관측 샘플 N 과 일치하도록 S 를 조정한다(포아송 근사 사용). 4. 관측 데이터 D 와 결손 샘플 M 을 합쳐 전체 데이터 {D, M} 에 대해 기존 EM 식을 적용한다. 이때 E‑step에서는 모든 샘플에 대해 책임도 q_ik 를 계산하고, M‑step에서는 가중 평균과 공분산을 업데이트한다. 결손 샘플이 추가되면 전체 데이터의 충분통계량이 보강되어, Ω(x) 로 인한 편향이 교정된다. 다음으로, 측정 잡음이 존재하는 경우를 다룬다. 관측값 y_i 는 실제값 x_i 와 공분산 S_i 를 갖는 정규분포로 모델링되며, Bovy et al. (2011)의 ‘Extreme Deconvolution’을 적용한다. 여기서는 T_ik = Σ_k + S_i 를 사용해 q_ik, b_ik, B_ik 를 계산하고, M‑step에서 μ_k 와 Σ_k 를 b_ik 와 B_ik 로 보정한다. 결손 샘플 M 에 대해서도 동일한 잡음 모델 S(x) 를 가정해 가상의 잡음 ỹ_i 를 생성한다. 이는 관측 데이터와 동일한 형태의 ‘노이즈‑보정’ 절차를 보장한다. 알고리즘 전반에 걸쳐 실용적인 고려사항을 제시한다. 초기화는 K‑means 혹은 무작위 샘플링으로 수행하고, 컴포넌트 수 K 는 BIC 혹은 교차 검증을 통해 선택한다. 파라미터 업데이트 시 정규화 상수 Z 를 Monte‑Carlo 적분(℧(x)·p(x) 평균)으로 추정한다. 또한, 스토캐스틱 EM 특성상 로그우도 L_o 가 매 단계 단조 증가하지 않을 수 있기에, 여러 번의 보완 샘플을 평균화하거나, 보완 샘플 수 S 를 충분히 크게 잡아 변동성을 억제한다. 실험에서는 (1) 단순 1‑D 절단, (2) 2‑D 복잡한 Ω(x) 형태, (3) 잡음이 포함된 경우 등 네 가지 시나리오를 구성해 GMMis와 기존 GMM(완전 데이터 가정) 을 비교한다. 결과는 Ω(x) 가 낮은 영역에서 GMMis가 훨씬 정확한 밀도 복원을 수행함을 보여준다. 특히, 잡음이 큰 경우에도 ‘Extreme Deconvolution’과 결합된 GMMis는 원본 분포를 잘 회복한다. 마지막으로 NASA Chandra X‑ray 망원경의 관측 데이터에 적용한다. 이 데이터는 센서 간 간격, 밝은 별에 의한 가려짐 등으로 인해 공간적으로 변하는 완전도 함수와 포지션 오차를 가진다. GMMis를 이용해 X‑ray 소스의 공간 분포를 추정했으며, 기존 방법에 비해 은하 중심 근처의 결손 영역을 효과적으로 보정하고, 소스 군집을 더 명확히 구분했다. 코드 구현은 순수 파이썬으로 작성됐으며, 수백만 샘플·수천 컴포넌트를 처리할 수 있도록 벡터화와 병렬화를 적용했다. 오픈소스 패키지는 GitHub(https://github.com/pmelchior/pyGMMis) 에 공개돼, 천문학뿐 아니라 생물학·사회과학 등 다양한 분야에서 불완전·잡음 데이터 분석에 활용될 수 있다.