엔트로피 사전으로 다항분포 희소성 추정

초록

다항분포의 파라미터를 추정할 때, 낮은 엔트로피를 선호하는 사전(엔트로피 사전)을 적용하면 희소한 해를 얻을 수 있다. 본 논문은 엔트로피 사전과 다항분포 사이의 비공액성 문제를 완화하기 위해 보조 변수 α와 스칼라 ν를 도입한 단순 반복 알고리즘을 제안한다. α와 θ를 교대로 업데이트함으로써 MAP 추정값에 근접하는 해를 효율적으로 얻을 수 있다.

상세 분석

이 논문은 다항분포 파라미터 θ에 대해 “희소성”을 강제하고자 할 때, 전통적인 L1 패널티가 적용되지 않는 문제를 지적한다. θ는 확률벡터이므로 합이 1이어야 하며, L1 노름을 최소화하면 전체 확률 질량이 감소하는 부작용이 발생한다. 이를 대신해 엔트로피 H(θ)=−∑θ_k log θ_k 에 음의 가중치를 부여하는 사전 p(θ)∝exp{a∑θ_k log θ_k}을 도입한다. 여기서 a>0이면 낮은 엔트로피, 즉 몇몇 요소에 질량이 집중되는 희소한 분포를 선호한다. 그러나 엔트로피 사전은 다항분포와 공액(conjugate)되지 않아 MAP 해를 직접 구하기 어렵다.

저자는 이 난관을 해결하기 위해 보조 변수 α와 스칼라 ν(>1)를 도입한 근사 목적함수 ℓ(a,ν,θ,α)=a∑α_k(ν log θ_k−(ν−1) log α_k) 를 정의한다. α는 확률벡터(∑α_k=1, α_k≥0)이며, ν가 충분히 크면 α_k≈θ_k 가 된다. 실제로 ℓ를 α에 대해 최적화하면 α_k∝θ_k^{ν/(ν−1)} 가 되고, ν→∞ 일 때 α_k→θ_k 가 된다. 따라서 ℓ는 원래의 엔트로피 사전 a∑θ_k log θ_k 을 근사한다.

이 근사 사전을 원래 로그우도와 결합한 전체 목적함수 L(θ,α)=a∑α_k(ν log θ_k−(ν−1) log α_k)+∑i log θ{x_i} 를 정의하고, θ와 α를 교대로 최적화한다. θ에 대한 편미분을 라그랑주 승수와 함께 계산하면
∂L/∂θ_k = a α_k ν/θ_k + ∑_i I