희소성 엔트로피와 얇은 수의 법칙

초록

본 논문은 이산 확률변수에 대한 레니의 “희석(thinning)” 연산을 연속형 변수의 스케일링에 대응시키고, 이를 정보이론적 관점에서 탐구한다. 특히 포아송 근사와 연관된 정보 불평등을 제시하며, 이항‑포아송 수렴을 희석 한계정리의 특수 사례로 재해석한다. 수렴 속도와 비점근적 경계도 제공하고, 오르니슈-웰런스키 과정과 유사한 “희석 마코프 체인”이 엔트로피 파워 불평등에 미치는 역할을 분석한다.

상세 분석

레니의 희석 연산은 이산 확률변수 X에 대해 독립적인 베르누이(p) 변수들을 각각 곱한 뒤 합산하는 방식으로 정의된다. 즉, X를 p‑희석하면 X의 각 사건이 확률 p로 “남아” 새로운 변수 X_p가 생성된다. 이 연산은 연속형 변수의 스케일링 x↦αx와 구조적으로 유사하며, 특히 포아송 분포가 희석에 대해 불변임을 보여준다. 논문은 먼저 희석 연산이 엔트로피 H와 상대 엔트로피 D에 미치는 영향을 정량화한다. 핵심 결과는 p가 0→1로 변할 때 H(X_p)가 단조 증가한다는 ‘희석 엔트로피 증가 정리’이며, 이는 연속형 경우의 ‘스케일링 엔트로피 증가’와 직접적인 아날로그를 이룬다. 또한, Kullback‑Leibler 발산 D(P‖Poisson(λ))가 p‑희석 후에 감소한다는 ‘희석 KL 감소 정리’를 증명함으로써, 희석이 포아송 근사에 자연스럽게 수렴함을 정보량 관점에서 설명한다.

특히 주목할 점은 이항‑포아송 수렴을 일반적인 희석 한계정리로 확장한 것이다. 기존의 ‘작은 수의 법칙’은 n이 커지고 성공 확률 p_n→0, np_n→λ일 때 Bin(n,p_n)→Poisson(λ)라지만, 논문은 임의의 이산 분포들의 컨볼루션에 대해 동일한 희석 스케일링을 적용하면, p→0, np→λ 조건 하에 포아송으로 수렴한다는 일반화된 정리를 제시한다. 이때 수렴 속도는 총 변동량(TV)과 상대 엔트로피를 이용해 O(p) 혹은 O(1/√n) 형태의 명시적 경계가 제공된다. 비점근적 경계는 ‘채우기 함수’와 ‘포아송 꼬리’에 대한 정밀한 평가를 통해 얻어지며, 실제 샘플링 상황에서 유용한 오류 추정치를 제공한다.

논문의 또 다른 핵심은 ‘희석 마코프 체인’이다. 연속시간 마코프 과정 {X_t}를 정의하여, 작은 시간 Δt마다 X_t를 (1−Δt)‑희석하고, 독립적인 포아송(λΔt) 변수를 추가한다. 이 과정은 포아송 분포를 고정점으로 갖고, 오르니슈‑웰런스키(OU) 과정이 가우시안 고정점을 갖는 것과 완벽히 대칭된다. 체인의 엔트로피 파워는 시간에 따라 단조 증가하며, 이는 엔트로피 파워 불평등(Entropy Power Inequality, EPI)의 이산형 버전을 도출하는 데 사용된다. 특히, 두 독립적인 희석 마코프 체인의 합에 대한 엔트로피 파워는 각각의 엔트로피 파워의 합보다 크다는 ‘이산 EPI’를 증명한다. 이는 기존 연속형 결과를 이산 세계에 성공적으로 옮긴 사례로, 정보이론적 한계와 최적 코딩 전략 설계에 직접적인 영향을 미친다.

마지막으로, 논문은 이러한 이론적 결과들을 실제 데이터 압축, 네트워크 트래픽 모델링, 그리고 희소 신호 복원 등에 적용 가능함을 시사한다. 희석 연산은 데이터의 ‘희소성’을 조절하면서도 엔트로피를 보존하거나 증가시키는 특성을 갖기 때문에, 압축 효율을 향상시키는 새로운 알고리즘 설계에 활용될 수 있다. 전체적으로 이 연구는 이산 확률론과 정보이론 사이의 다리를 놓으며, 포아송 근사의 근본 메커니즘을 새로운 시각으로 조명한다.