KL inf의 반복로그 법칙: 무한히 일반적인 비경계 데이터에 대한 정밀한 상·하한

초록

본 논문은 경험적 KL inf 통계량이 거의 확실히 따르는 반복로그 법칙(LIL)을 제시한다. 평균 제약 하의 KL inf은 샘플 평균의 LIL과 동일한 상수 1을 갖으며, 이는 상·하한 모두를 만족하는 정확한 결과이다. 특히, 데이터가 유계가 아니더라도 적절한 성장 속도의 구간

상세 분석

이 연구는 순수 탐색 밴딧 및 순차 검정에서 핵심적인 역할을 하는 KL inf(ν,m)이라는 평균 제약 정보 투영을 다룬다. 기존에는 비경계 관측에 대한 비대칭적, 상수와 수렴 속도가 불명확한 비비대칭적 집중 경계만이 알려져 있었다. 저자들은 먼저 경험적 분포 (\hat P_t)에 대한 KL inf을 정의하고, (\Delta_t = (\mu - \bar\mu_t)+)를 이용해 가장 단순한 선형 기울기 변환 (Q_t)를 구성한다. 이 변환은 전체 질량을 보존하면서 평균을 정확히 (\mu)로 끌어올린다. KL 비용은 (-\log(1+U_t)) 형태로 표현되며, 여기서 (U_t = \theta_t (X-\bar\mu_t))는 작은 확률 변수이다. Lemma 2의 균등 테일러 전개를 적용해 (-\log(1+U_t) \le -U_t + U_t^2/2 + O(|U_t|^3)) 를 얻고, 기대값을 취하면 KL inf ≤ (\Delta_t^2/(2\bar\sigma_t^2) (1+o(1))) 가 된다. 이제 고전적인 평균에 대한 LIL, 즉 (\Delta_t^2 \sim 2\sigma^2 \log\log t / t) 를 대입하면 (\limsup{t\to\infty} t,\mathrm{KL}_{\inf}(\hat P_t,\mu)\log\log t \le 1) 을 얻는다.

하한은 Donsker‑Varadhan 변분 부등식(Lemma 4)을 활용한다. (\mathrm{KL}{\inf}(\hat P_t,\mu))는 모든 제약을 만족하는 Q에 대한 KL 최소값이므로, (\phi(x)=\lambda (x-\mu)) 를 선택해 변분식의 하한을 구한다. 최적 λ는 (\Delta_t/\bar\sigma_t^2) 로, 다시 (\Delta_t) 의 LIL을 대입하면 (\limsup{t\to\infty} t,\mathrm{KL}_{\inf}(\hat P_t,\mu)\log\log t \ge 1) 가 성립한다. 따라서 상·하한이 일치해 정확히 1이라는 상수를 갖는 LIL이 증명된다.

특히 저자들은 데이터가 유계가 아니어도, 일정 성장 속도 (B_t = o(\sqrt{t/\log\log t})) 를 만족하는 구간에 거의 확실히 포함되는 경우(예: 서브가우시안, 서브지수, 유한 p‑모멘트) 위의 증명이 그대로 적용됨을 보인다. 이는 기존 비경계 상황에서의 비대칭적 집중 경계가 갖는 한계를 넘어서는 결과이며, KL inf 기반 밴딧 인덱스 정책이나 순차 검정 설계 시 비경계 데이터에 대한 정확한 확률적 보장을 제공한다.