혼합모델 주변우도 근사법 재검토와 라벨 스위칭 해결

초록

본 논문은 Chib(1995)의 베이즈 주변우도 추정법을 혼합정규모형에 적용할 때 발생하는 라벨 스위칭 문제를 고찰한다. Neal(1999)과 Fruhwirth‑Schnatter(2004)가 지적한 바와 같이 라벨 전환으로 인해 기존 근사는 실제 주변우도와 크게 차이난다. 저자들은 라벨 스위칭을 사전 처리하거나 사후 정렬을 통해 해결한 뒤, Berkhof et al.(2003)와 Lee et al.(2008)의 접근을 재현함으로써 Chib 방법이 정확한 근사를 제공함을 실증한다. 실험 결과는 라벨 정렬이 된 경우와 그렇지 않은 경우의 로그 주변우도 차이를 명확히 보여준다.

상세 분석

Chib(1995)의 방법은 마코프 체인 몬테 카를로(MCMC) 샘플을 이용해 사후분포의 특정 점에서의 밀도를 추정하고, 베이즈 정리의 역을 통해 주변우도를 계산한다. 이 절차는 사후밀도 평가가 용이한 경우에 강력한 도구가 되지만, 혼합모델에서는 파라미터 공간에 존재하는 대칭성, 즉 라벨 스위칭 때문에 사후밀도가 다중모드 형태를 띤다. 라벨 스위칭이 발생하면 동일한 모델 구성이 서로 다른 라벨 순서로 표현되므로, MCMC 체인은 여러 모드 사이를 자유롭게 이동한다. 결과적으로 특정 라벨 순서에 고정된 파라미터값을 선택해 주변우도를 계산하면, 실제 사후분포의 전체 질량을 반영하지 못하고 편향된 값을 산출한다. Neal(1999)은 이 문제를 ‘label switching pathology’이라 명명하고, 사후 샘플을 라벨 정렬 없이 그대로 사용할 경우 Chib 추정치가 크게 낮아진다고 보고하였다. Fruhwirth‑Schnatter(2004)는 라벨 스위칭을 해결하기 위한 여러 전략—예를 들어, 사전 제약을 통한 라벨 고정, 사후 샘플의 정렬, 혹은 대칭적 사후 평균 사용—을 제시했으며, 특히 사후 정렬이 가장 실용적이라고 주장한다.

본 논문은 이러한 기존 연구들을 종합하여, 라벨 스위칭을 사전 혹은 사후 단계에서 명시적으로 해결한 뒤 Chib 방법을 적용하면 정확한 주변우도 근사가 가능함을 보인다. 구체적으로 저자들은 두 가지 접근을 비교한다. 첫째, 사전 단계에서 라벨 순서를 고정하기 위해 파라미터에 순서 제약(예: 평균 μ₁<μ₂<…<μ_K)을 부여한다. 이 경우 사후분포는 단일 모드가 되며, Chib 추정에 필요한 특정 점(보통 사후 평균 또는 MAP)을 선택하기 쉬워진다. 둘째, 사후 단계에서 각 MCMC 샘플에 대해 라벨을 정렬한다. 정렬 기준은 평균값의 크기 순서나 혼합 비중의 순서 등으로 정의되며, 정렬된 샘플들은 동일한 라벨 구성을 공유한다. 정렬된 샘플을 이용해 사후밀도 평가를 수행하면, Chib 공식이 요구하는 ‘조건부 사후밀도’가 정확히 계산된다.

실험에서는 24성분 정규 혼합모형을 대상으로, 라벨 고정, 라벨 정렬, 라벨 미처리 세 경우에 대해 로그 주변우도를 비교하였다. 라벨 고정과 라벨 정렬 모두 실제 주변우도와 매우 근접한 값을 제공했으며, 차이는 0.01 이하의 로그 차이로 수렴하였다. 반면 라벨 미처리 경우는 로그 주변우도가 크게 낮아져(약 -5 -10 정도) 모델 선택에 오류를 초래한다. 이러한 결과는 Chib 방법 자체가 문제가 아니라, 라벨 스위칭으로 인한 사후밀도 평가 오류가 근본 원인임을 명확히 보여준다.

또한 저자들은 라벨 정렬이 계산 비용을 크게 증가시키지 않으며, 기존 MCMC 파이프라인에 간단히 삽입할 수 있음을 강조한다. 정렬 알고리즘은 O(N·K·logK) 정도의 복잡도로 구현 가능하며, 대규모 데이터셋에서도 실용적이다. 마지막으로, 라벨 스위칭 문제는 베이즈 모델 선택뿐 아니라 베이즈 모델 평균화, 예측 분포 계산 등 다양한 응용 분야에서도 동일하게 영향을 미치므로, 본 연구에서 제시한 해결책은 넓은 범위에 적용 가능하다는 점을 시사한다.