최소 확률 흐름 학습

초록

데이터 분포를 모델 분포로 변환하는 미소 동역학을 정의하고, 그 동역학을 아주 짧은 시간 동안 실행했을 때 얻어지는 분포와 실제 데이터 분포 사이의 KL 발산을 최소화함으로써 정규화 상수 없이 확률 모델을 효율적으로 학습하는 방법을 제안한다. 기존의 스코어 매칭, 최소 속도 학습, 대비 발산의 특수 경우와 연결시키고, 이진 이징 모델, 딥 빌리프 네트워크, 자연 장면 ICA 모델 등에 적용해 학습 속도와 파라미터 복원 정확도에서 기존 최첨단 기법을 크게 앞선다.

상세 분석

본 논문은 확률 모델의 파라미터 추정에서 가장 큰 장애물인 정규화 상수(분할 함수)의 계산을 회피하는 새로운 프레임워크, Minimum Probability Flow (MPF)를 제시한다. 핵심 아이디어는 관측된 데이터 분포 p_data(x)와 모델 분포 p_θ(x) 사이에 가상의 연속 시간 마코프 동역학을 정의하고, 이 동역학이 무한히 짧은 시간 ε만큼 진행될 때 데이터가 모델로 흐르는 확률 흐름을 계산한다. 그 흐름을 최소화하는 파라미터 θ는 KL(p_data‖p_ε)≈ε·J(θ) 형태의 손실 함수 J(θ)와 동등하게 된다. 여기서 J(θ)=∑{x∈D}∑{x’∉D} g(x→x’)·exp