작은 수의 법칙에 대한 정보‑이론적 단조 수렴

본 논문은 “작은 수의 법칙”(law of small numbers)을 정보‑이론적 관점에서 재조명하고, 연속형 중심극한정리(CLT)와의 깊은 유사성을 밝힌다. 핵심 아이디어는 이산 확률 변수에 대한 ‘α‑thinning’ 연산 Tα와 합성(convolution) 연산을 결합해, 포아송 근사와 엔트로피·상대 엔트로피의 단조성을 증명하는 것이다. 1. **배경 및 목표** 연속형 CLT에서는 i.i.d. 평균 0, 분산 1인 변수들의 정규화 합 Zₙ이 표준 정규분포 N(0,1)으로 수렴하고, 상대 엔트로피 D(Zₙ‖N) 가 n에 대해 단조 감소한다는 것이 알려져 있다(Artstein et al., 2004). 저자는 이와 유사한 결과를 이산형 상황, 즉 X₁,…,Xₙ이 ℤ₊ 위에서 정의되고 평균 λ을 갖는 경우에 적용하고자 한다. 여기서 ‘작은 수의 법칙’은 합 Sₙ=∑Xᵢ가 포아송 분포 Po(λ) 로 근사된다는 전통적인 결과를 의미한다. 2. **주요 정의** - **α‑thinning** Tα(f): pmf f에 대해, 각 사건을 독립적인 Bernoulli(α) 로 ‘얇게’ 만들고, 그 성공 횟수의 합을 새로운 변수로 정의한다. 포아송과 이항 분포에 대해 Tα(po(λ))=po(αλ), Tα(bi(n,p))=bi(n,αp) 가 성립한다. - **초로그볼록(ULC)**: i! f_i 가 로그‑볼록인 pmf. 포아송·이항 분포가 대표적인 예이며, 같은 평균을 갖는 포아송 분포가 최대 엔트로피를 가진다. 3. **정리 1 (법칙 of small numbers)** f가 평균 λ<∞인 pmf라면, n→∞일 때 T_{1/n}(f∗n) → po(λ) (점별 수렴), 엔트로피 H(T_{1/n}(f∗n)) → H(po(λ)), 그리고 상대 엔트로피 D(T_{1/n}(f∗n)) 가 유한하면 0으로 수렴한다. 4. **단조성 결과** - **정리 2 (상대 엔트로피 단조 감소)**: D(T_{1/n}(f∗n)) 은 n=1,2,…에 대해 비증가한다. - **Lemma 1 (Thinning Lemma)**: D(Tα(f)) ≤ α D(f) (0<α<1). 이는 D(Tα(f))가 α에 대해 볼록함을 의미한다. 증명은 크기‑편향 연산 S(f)와 식 (8) d D(Tα(f))/dα = λ D(Tα(S(f))‖Tα(f)) 를 이용한다. - **Lemma 2 (Convolution Lemma)**: (1/n) D(f∗n) 은 n에 대해 감소한다. 증명은 de Bruijn 형태의 정체식과 Fisher 정보의 비음성성을 활용한다. - **정리 3 (엔트로피 단조 증가, ULC 가정)**: f가 ULC이면 H(T_{1/n}(f∗n)) 은 n에 대해 비감소한다. 여기서는 볼록 순서와 Schur‑볼록성을 이용해 기대값 비교를 수행한다. 반대로 로그‑볼록만 가정하면 엔트로피는 감소한다(정리 7). 5. **수렴 속도** - ULC 경우: D(T_{1/n}(f∗n)) = O(n⁻²). 증명은 스토캐스틱 순서와 포아송‑이항 비교를 통해 이루어진다. - 유한 지원 경우: Fisher 정보와 𝜒² 거리 분석을 통해 동일한 O(n⁻²) 속도를 얻는다. 이는 기존 연구에서 제시된 O(n⁻¹)보다 강력한 결과이다. 6. **기술적 도구** - **크기‑편향(size‑biasing)** 연산 S(f)와 얇게 만들기 연산의 교환성 Tα(S(f)) = S(Tα(f)). - **데브루인 식**을 통한 상대 엔트로피의 적분 표현. - **볼록 순서(convex order)**와 **Schur‑볼록성**을 이용한 엔트로피 비교. - **데이터 처리 불등식** 및 **마르코프 체인**에 대한 일반적인 상대 엔트로피 감소 결과. 7. **결론 및 향후 연구** 논문은 이산형 작은 수의 법칙에 대해 엔트로피와 상대 엔트로피의 단조성을 완전하게 확립함으로써, 연속형 CLT와의 구조적 유사성을 강조한다. 향후 연구로는 Thinning Lemma의 더 일반적인 형태(예: 무한 지원 pmf에 대한 직접 증명)와 다변량 확장, 그리고 다른 스토캐스틱 순서와의 관계를 탐구할 여지가 있다.