고확률 KL 발산에서 거의 최적 이산 분포 추정

초록

본 논문은 크기 K인 유한 알파벳 위에서 샘플 n개를 이용해 확률 질량 함수를 추정할 때, Kullback‑Leibler(KL) 발산을 기준으로 고확률(minimax high‑probability) 오차율을 분석한다. 상하한을 각각
((C_1,(K+\ln K\cdot\ln(1/δ)))/n) 와 ((C_2,(K\ln\ln K+\ln K\cdot\ln(1/δ)))/n) 로 제시해, K에 대한 이중 로그인 (\ln\ln K) 만큼만 차이가 남는다. 상한은 온라인 학습 알고리즘을 배치 형태로 변환한 새로운 추정량을 통해, 하한은 기존의 가설 검정 기반 기법이 실패함을 보이고 “약한 가설 검정(weak hypothesis testing)”이라는 새로운 감소 기법을 도입해 얻는다. 또한, 작은 확률을 갖는 사건을 제외하면 MLE가 최적률을 달성한다는 부가 결과도 제공한다.

상세 분석

이 논문은 이산 분포 추정 문제를 KL 발산이라는 비유계 손실 함수 아래에서 고확률(minimax with confidence (1-\delta)) 관점으로 재조명한다. 기존 연구에서는 총 변동 거리(V)와 헬링거 거리(H) 등에 대해 ((K+\ln(1/\delta))/n) 정도의 최적률이 알려져 있었으며, KL 발산은 이들 거리보다 상위에 위치하므로 동일한 상한이 적용될 것이라 기대되었다. 그러나 저자들은 KL 발산이 실제로는 (\ln K)가 (\ln(1/\delta))와 곱해지는 형태의 추가 항을 필요로 함을 증명한다. 이는 KL 발산이 로그 손실의 특성상 관측되지 않은 희귀 사건에 대해 무한값을 가질 수 있기 때문이다.

상한 측면에서 저자들은 온라인 학습에서 흔히 쓰이는 로그 손실에 대한 regret bound를 이용한다. 구체적으로, 로그 손실에 대한 최적 regret를 갖는 온라인 알고리즘을 설계하고, 이를 온라인‑투‑배치(OTB) 변환과 suffix‑averaging(데이터 절반만 평균) 기법으로 배치 추정량 (p_{\text{OTB}}) 로 변환한다. 이 과정에서 발생하는 (\ln n) 항을 제거하기 위해 절반 데이터만 평균하는 트릭을 사용했으며, 결과적으로
\