잠재 목표 점수 매칭을 통한 시뮬레이션 기반 추론 향상

초록

본 논문은 잠재 변수 모델에서 깨끗한 데이터 점수를 직접 구할 수 없을 때, 공동 점수를 활용해 낮은 분산의 마진 점수 감독을 제공하는 잠재 목표 점수 매칭(LTSM) 방법을 제안한다. LTSM을 DSM과 시간 가중 혼합하면 모든 노이즈 레벨에서 안정적인 학습이 가능하며, 시뮬레이션 기반 추론 실험에서 점수 정확도와 샘플 품질이 크게 향상된다.

상세 분석

LTSM은 기존 TSM이 요구하는 청정 데이터의 점수 대신, 잠재 변수와 관측을 포함한 전체 결합 밀도의 점수를 이용한다는 점에서 혁신적이다. 논문은 VP‑SDE 하에서 마진 점수는 결합 점수의 조건부 기대값으로 표현될 수 있음을 정리 3.1로 증명하고, 이를 기반으로 낮은 분산을 갖는 회귀 목표 yLTSM을 정의한다. yLTSM은 t→0에서 DSM이 보이는 발산형 분산 문제를 회피하지만, 큰 t에서는 분산이 증가한다는 한계가 있다. 이를 보완하기 위해 시간‑의존 가중치 wt를 도입한 혼합 목표 yMIX를 제안하고, 정리 3.2에서 wt의 최적값을 기대값 기반으로 유도한다. 실제 구현에서는 MLP로 wt를 학습해 기대값 추정 없이 최적 혼합을 수행한다. 실험에서는 Gaussian, 범주형 혼합, 일반화 갈톤 보드 등 세 가지 시뮬레이션 기반 추론 과제에 대해 DSM, LTSM, 그리고 혼합 방식을 비교한다. 결과는 회귀 목표 분산이 LTSM에서 낮게 유지되며, 특히 작은 노이즈 구간에서 점수 추정 오차가 크게 감소함을 보여준다. 혼합 방식은 이러한 장점을 유지하면서 큰 t에서도 DSM의 안정성을 확보해 전체 점수 오류를 최소화한다. 최종적으로 MMD 기준으로 posterior 샘플 품질이 향상되었으며, 특히 시뮬레이터 호출 횟수가 제한된 상황에서 샘플 효율성이 크게 개선되었다. 이처럼 LTSM은 잠재 변수 모델에서 기존 DSM의 고분산 문제를 효과적으로 해결하고, 시뮬레이션 기반 추론의 실용성을 높이는 중요한 기여를 한다.