상대 밀도비 추정으로 강건한 분포 비교

본 논문은 확률분포 비교를 위한 발산 추정 문제에 초점을 맞춘다. 전통적으로 KL·PE와 같은 발산을 추정하기 위해서는 두 분포 p(x), p′(x)의 밀도를 각각 추정한 뒤 비율을 계산하거나, 직접 밀도비 r(x)=p(x)/p′(x)를 추정하는 두 가지 접근법이 있다. 후자는 uLSIF(uncostrained Least‑Squares Importance Fitting)과 같은 방법으로 비모수 수렴률이 최적임이 알려져 있지만, 실제로는 밀도비가 급격히 변동하거나 무한대로 발산하는 경우가 많아 추정이 불안정해진다. 특히 p′(x) 가 작은 영역에서 r(x) 가 크게 폭주하면서 수렴 속도가 ‖r‖∞ 에 의해 제한된다. 이를 해결하고자 저자들은 α‑relative divergence 개념을 도입한다. α∈