일반 런길이 집합의 확률 용량을 생성함수로 규명하기

초록

본 논문은 무한히 많은 런길이 허용 집합(General Run‑Length Sets)의 확률 용량을, 제너레이팅 함수 기법을 이용해 정확히 구한다. 기존 연구에서 제시된 조합 용량과 동일함을, 셰넌이 정의한 원래의 확률 용량 개념에 대해서도 증명한다. 이를 위해 제약 시스템의 생성함수 이론을 확장하고, 무한 알파벳에 대한 수열열거와 복소평면에서의 특이점 분석을 수행한다. 결과적으로 일반 런길이 집합의 확률 용량은 그 조합 용량과 일치함을 보이며, 이는 제한된 채널 설계와 코드 구성에 중요한 이론적 근거를 제공한다.

상세 분석

논문은 먼저 “일반 런길이 집합”(General Run‑Length Sets)의 정의를 명확히 한다. 여기서 런은 동일한 기호가 연속해서 나타나는 구간을 의미하며, 각 런의 길이는 가산 무한 집합 𝔏⊂ℕ⁺ 로부터 선택된다. 이러한 제약은 전통적인 유한 제약 체계와 달리 알파벳 크기가 무한하거나, 런길이 분포가 비정형적인 경우에도 적용 가능하도록 설계되었다. 저자는 기존 연구(Yeung et al., 2009)에서 제시된 “조합 용량”(combinatorial capacity)과 “확률 용량”(probabilistic capacity)의 정의를 재검토하고, 특히 셰넌이 1948년에 제시한 확률 용량 개념—즉, 제약을 만족하는 모든 입력 시퀀스에 대해 가능한 확률 분포 중 평균 정보율을 최대로 하는 값—을 채택한다.

핵심 기법은 Boecherer et al., 2010에서 개발된 “제약 시스템의 생성함수”(generating function) 프레임워크이다. 저자는 런길이 집합 𝔏에 대해 지수 생성함수
(G(z)=\sum_{ℓ∈𝔏}z^{ℓ})
를 정의하고, 이를 기호별 전이 행렬과 결합해 전체 시스템의 전체 생성함수 (F(z)=\mathbf{u}^T (I - A(z))^{-1}\mathbf{v}) 형태로 나타낸다. 여기서 (A(z))는 각 기호 전이가 발생할 때마다 해당 런길이만큼 지수 (z)를 곱하는 가중치를 갖는 무한 차원 행렬이다.

생성함수의 수렴 반경 (R)는 복소평면에서 가장 가까운 특이점의 절댓값에 의해 결정되며, 이는 곧 시스템의 지수 성장률을 의미한다. 논문은 라우스-라우스 정리를 일반화하여, 무한 차원 행렬의 스펙트럼 반경이 (R^{-1})와 일치함을 증명한다. 따라서
(\mathsf{C}= \log_2 \frac{1}{R})
가 시스템의 조합 용량이 된다.

확률 용량을 다루기 위해 저자는 “최대 엔트로피 분포”(maximum‑entropy distribution)를 구한다. 이는 각 런길이 ℓ에 대해 확률 (p(ℓ)=\frac{z^{ℓ}}{G(z)}) 로 정의되며, 여기서 (z)는 위에서 구한 수렴 반경 (R)에 해당한다. 이 분포는 제약을 만족하면서 평균 정보량을 최대로 하는 것이 증명된다. 따라서 평균 정보율은
(\mathsf{H}= -\sum_{ℓ∈𝔏} p(ℓ)\log_2 p(ℓ)=\log_2 \frac{1}{R})
가 되어, 조합 용량과 정확히 일치한다.

특히 논문은 무한 알파벳 상황에서 발생할 수 있는 “정규화 문제”(normalization issue)를 세심히 다룬다. 무한합이 수렴하도록 하는 충분조건으로, 런길이 집합 𝔏이 기하급수적으로 증가하지 않음(예: 𝔏이 선형 또는 다항 성장)임을 가정한다. 또한, 전이 행렬 (A(z))의 비대각 성분이 충분히 작아야 스펙트럼 반경이 유한하게 유지된다는 점을 보이며, 이는 실제 통신 시스템 설계 시 파라미터 선택에 실용적인 가이드라인을 제공한다.

결론적으로, 논문은 셰넌의 원래 정의에 기반한 확률 용량이 일반 런길이 집합에 대해 조합 용량과 동일함을 엄밀히 증명한다. 이는 제한된 채널에서 무한히 다양한 기호와 런길이 구조를 활용할 수 있음을 의미하며, 기존의 유한 제약 체계 결과를 자연스럽게 일반화한다는 학술적 의의를 가진다.