패턴 시퀀스와 엔트로피 균등 단조 기하분포에 대한 정밀 근사

초록

패턴이란 원본 시퀀스에서 각 기호가 처음 등장한 순서를 나타내는 정수 인덱스열이다. 최근 논문에서는 독립이고 동일하게 분포(i.i.d.)된 소스로부터 생성된 시퀀스의 패턴 블록 엔트로피에 대한 일반적인 상한과 하한을 제시하였다. 본 논문에서는 i.i.d. 균등 분포, 단조 분포(정수 위의 분포 포함), 그리고 기하 분포에 대해 패턴 블록 엔트로피의 정밀 근사값을 제공한다. 짧은 블록 길이에서도 적용 가능한 수치적 경계값을 제시하며, i.i.d. 엔트로피율이 무한대인 경우에도 매우 촘촘한 경계를 얻는다. 이러한 근사는 일반적인 경계와 그 도출 기법을 활용하여 얻었다. 또한 작은 알파벳에 대한 조건부 인덱스 엔트로피도 연구하였다.

상세 요약

패턴 엔트로피는 정보 이론에서 원본 데이터의 구조적 복잡성을 측정하는 중요한 지표이며, 특히 i.i.d. 소스에서 발생하는 시퀀스의 경우 패턴 자체가 원본 심볼의 순서 정보를 압축한다는 점에서 흥미롭다. 기존 연구에서는 패턴 블록 엔트로피에 대한 일반적인 상·하한을 제시했지만, 실제 분포별 특성을 반영한 정밀한 근사는 부족했다. 본 논문은 이러한 공백을 메우기 위해 균등 분포, 단조 분포(예: 파레토형, 역감마형 등 정수값을 갖는 무한 알파벳), 그리고 기하 분포라는 세 가지 대표적인 경우에 대해 구체적인 근사식을 도출한다.

첫째, 균등 분포의 경우 알파벳 크기 k가 블록 길이 n에 비해 충분히 크면 패턴이 거의 모든 심볼을 한 번씩 나타내는 ‘신규 인덱스’ 현상이 지배한다. 저자들은 Stirling 근사와 정규 근사를 결합해 H(Patternₙ)≈n·log n−n·log k+O(log n) 형태의 2차 항까지 정확히 추정한다. 이는 기존 상한이 제공하던 O(log n) 오차를 크게 감소시킨다.

둘째, 단조 분포에 대해서는 확률 질량이 감소하는 속도에 따라 두 가지 경우로 나뉜다. 급격히 감소하는 경우(예: 지수적 감소)에는 높은 확률을 가진 소수의 심볼이 빠르게 ‘채워지’면서 패턴 엔트로피가 제한된 값에 수렴한다. 반면 완만히 감소하는 경우(예: 역수 법칙)에는 무한히 많은 심볼이 일정 확률로 등장해 엔트로피가 무한대로 발산한다. 저자들은 누적 분포 함수의 역함수를 이용해 ‘유효 알파벳 크기’를 정의하고, 이를 통해 H(Patternₙ)≈∑_{i=1}^{m_n} p_i·log(1/p_i)+o(1) 형태의 근사를 얻는다. 여기서 m_n은 n번째 블록까지 실질적으로 관찰되는 심볼 수이다.

셋째, 기하 분포는 메모리리스 특성 때문에 패턴 구조가 비교적 단순하지만, 평균값이 1/(1−q) 로 q에 민감하게 변한다. 논문은 q가 0.5 이하일 때와 그 이상일 때를 구분해 각각 다른 상·하한을 제시한다. 특히 q→1에 가까워질수록 평균 길이가 급증하면서 패턴 엔트로피는 로그-선형 성장 형태를 보인다.

또한 저자들은 ‘조건부 인덱스 엔트로피’를 도입해, 알파벳 크기가 제한된 경우(예: k=5) 패턴 인덱스가 주어진 심볼에 대해 얼마나 추가 정보를 제공하는지를 정량화한다. 이는 압축 알고리즘 설계 시 사전 지식이 있는 경우의 효율성을 평가하는 데 유용하다.

전체적으로 본 연구는 일반적인 경계 이론을 구체적인 분포 특성에 맞게 세밀하게 조정함으로써, 짧은 블록에서도 실용적인 엔트로피 추정값을 제공한다는 점에서 이론적 기여와 실용적 응용 가능성을 동시에 확보한다.