시퀀스 모델을 위한 필터링 변분 목표: ELBO를 넘어서는 새로운 하한

초록

본 논문은 파티클 필터를 이용해 마진 우도 추정량을 만든 뒤, 그 로그를 하한으로 사용하는 “Filtering Variational Objectives”(FIVO)를 제안한다. FIVO는 ELBO와 IWAE보다 더 타이트한 하한을 제공하며, 특히 순차적 구조를 가진 잠재 변수 모델에서 성능이 크게 향상됨을 실험적으로 입증한다.

상세 분석

FIVO는 Monte Carlo Objective(MCO)의 한 형태로, 무편향 양의 마진 우도 추정량 ˆp_N(x)의 로그 기대값을 최적화 목표로 삼는다. 논문은 먼저 MCO의 일반적 성질을 정리하고, 하한의 타이트함이 추정량의 상대 분산에 비례한다는 점을 증명한다. 파티클 필터는 순차적 모델에서 중요도 가중치의 누적 분산을 단계별로 재샘플링함으로써, 단순 중요도 샘플링에 비해 분산이 선형(또는 그 이하)으로 증가한다. 따라서 FIVO는 IWAE(다중 독립 중요도 샘플링)의 한계인 지수적 분산 증가 문제를 회피한다. 알고리즘 1은 FIVO를 구현하는 절차를 제시하며, 각 단계에서 제안 분포 q_t(z_t|x_{1:t},z_{1:t‑1})와 가중치 업데이트, 필요 시 ESS 기반 적응형 재샘플링을 수행한다. 최적화 측면에서는 재파라미터화 가능한 q를 사용해 ∇{θ,φ} log ˆp_N(x{1:T})만을 이용한 편향된 그래디언트 추정기가 실험적으로 가장 효율적임을 보인다. 또한, FIVO는 q가 최적일 때(특정 독립성 가정 하에) 정확히 로그 마진 우도에 도달한다는 ‘sharpness’ 결과를 제시한다. 실험에서는 음성 신호와 텍스트 시퀀스에 대한 딥 라티런트 변수 모델을 대상으로 ELBO, IWAE, FIVO를 비교했으며, FIVO가 학습 수렴 속도와 최종 로그우도 모두에서 우수함을 확인했다. 이로써 순차적 구조를 활용한 변분 추정에서 파티클 필터 기반 하한이 실용적인 대안이 될 수 있음을 입증한다.