LSH 기반 무편향 샘플러로 로그선형 모델의 파티션 함수 초고속 추정

논문은 로그선형 모델의 파티션 함수 Zθ 계산이 대규모 상태 공간에서 실질적인 병목이 된다는 점을 출발점으로 한다. 기존 접근법은 크게 세 가지로 분류된다. 첫째, 중요도 샘플링(IS)과 그 변형인 Annealed IS는 제안 분포가 목표 분포와 크게 다를 경우 분산이 급증한다는 한계가 있다. 둘째, Gumbel‑Max 트릭을 MIPS 문제로 변환해 근사 최대값을 찾는 방법은 사전 구축 비용이 크고, 근사 MIPS가 최대값을 놓칠 경우 추정 오차가 급격히 늘어나는 취약점이 있다. 셋째, 계층적 Softmax와 같은 휴리스틱 기반 방법은 모델 자체를 변형하므로 정확도와 해석 가능성에 영향을 미친다. 저자들은 첫 번째와 두 번째 접근법을 개선하기 위해 LSH 기반 샘플러를 설계한다. LSH는 코사인 유사도에 기반한 Signed Random Projection(SimHash)을 사용해 (K, L) 파라미터로 해시 테이블을 구성한다. 쿼리 벡터 x에 대해 L개의 해시 테이블에서 각각 하나의 버킷을 추출하고, 이들의 합집합을 후보 집합 C(x)로 만든다. C(x)의 크기는 전체 상태 수 N에 비해 O(Nρ) (ρ<1) 로 제한되며, 실제 실험에서는 1~2% 수준에 머문다. 중요한 점은 C(x)에 포함된 각 상태 y가 원래 목표 분포와 동일한 모드와 피크를 공유한다는 점이다. 즉, 후보 집합 자체가 목표 분포를 잘 근사하는 ‘정보량이 풍부한’ 샘플링 분포 PMIPS(y) 를 형성한다. 이때 저자들은 PMIPS(y)를 정확히 계산할 수 있음을 이용해 무편향 추정량을 정의한다. 샘플 y₁,…,y_T 를 PMIPS 로부터 뽑고, 각 샘플에 대해 비정규화된 밀도 f(y)=e^{θ_y·x} 를 구한 뒤, 가중치를 1/PMIPS(y) 로 보정한다. 이렇게 하면 \