상관성을 가진 기호열과 비정통 엔트로피

초록

본 연구는 2~4개의 기호가 길이 l만큼 반복되는 확률 p(l)∝l⁻ᵘ 형태의 장거리 상관 기호열을 컴퓨터 시뮬레이션으로 생성하고, 전통적인 섀넌 엔트로피와 Tsallis 엔트로피의 성장 양상을 비교한다. 상관이 강할수록 섀넌 엔트로피는 느리게 증가하고, 적절한 q값을 선택하면 Tsallis 엔트로피는 거의 선형적으로 증가한다. 또한 이러한 기호열을 1차원 랜덤 워크에 매핑하여 확산 지수를 측정했으며, μ값에 따라 정상 확산에서 초확산·아주확산까지 다양한 비정통 확산 현상이 나타난다.

상세 요약

본 논문은 먼저 기호열을 생성하는 알고리즘을 상세히 기술한다. 기호 집합 Σ={σ₁,…,σₖ} (k=2,3,4) 를 정의하고, 각 기호가 연속적으로 l번 반복되는 블록을 만들며, 블록 길이 l은 확률 밀도 p(l)=C l⁻ᵘ (μ>1) 에 따라 독립적으로 추출된다. 여기서 C는 정규화 상수이며, μ는 장거리 상관의 강도를 조절한다. μ가 작을수록 긴 블록이 많이 발생해 시퀀스 내에 강한 상관이 부여된다. 생성된 시퀀스의 자기상관 함수 C(r)=⟨σ_i σ_{i+r}⟩는 대수적 감쇠를 보이며, 이론적으로 C(r)∝r^{-(μ-1)} 로 예측된다.

섀넌 엔트로피 S₁(N)=−∑_{i=1}^{N} p_i log p_i 를 N개의 기호에 대해 계산했을 때, μ가 크고 블록이 짧을수록 독립적인 경우와 유사하게 S₁∝N 로그 성장한다. 반면 μ가 1에 가깝게 낮아지면 긴 블록이 지배적이 되어 실제 정보량이 감소하고, S₁는 N에 대해 서브선형, 즉 S₁∝N^{α} (α<1) 로 성장한다. 이러한 현상은 장거리 상관이 정보의 중복을 증가시키는 메커니즘으로 해석된다.

Tsallis 엔트로피 S_q는
S_q(N)=\frac{1}{q-1}\Bigl(1-\sum_{i=1}^{N} p_i^{,q}\Bigr)
로 정의되며, q 파라미터가 1이면 섀넌 엔트로피로 귀환한다. 저자들은 다양한 μ에 대해 q를 조정하여 S_q(N)이 거의 직선 형태, 즉 S_q∝N을 만족하도록 실험한다. 특히 μ와 q 사이에 경험적 관계 q(μ)≈1+(2-μ)/μ 가 존재함을 발견했으며, 이는 Tsallis 엔트로피가 장거리 상관을 보정해 선형적인 정보 증가율을 회복시킨다는 의미이다.

시퀀스를 1차원 랜덤 워크에 매핑하는 방법은 각 기호를 +1 혹은 -1의 이동으로 변환하는 것이다. 예를 들어, 두 기호 경우 σ₁→+1, σ₂→-1 로 두고, 연속된 블록 길이 l만큼 동일한 방향으로 이동한다. 이때 평균 제곱 변위 ⟨x²(t)⟩∝t^{β} 를 측정하면, β는 μ에 의존한다. μ>2이면 β≈1 (정상 확산), 1<μ<2이면 1<β<2 (초확산), μ→1에 가까워질수록 β→2에 근접해 거의 결정론적 이동에 가까운 아주확산을 보인다. 이러한 결과는 블록 길이 분포가 파워법칙 꼬리를 가질 때 발생하는 레비 플라이트와 유사한 비정통 확산 현상을 뒷받침한다.

결론적으로, 논문은 장거리 상관을 갖는 기호열이 전통적인 엔트로피 측정에서는 정보 감소를 초래하지만, Tsallis 엔트로피의 q 파라미터를 적절히 선택하면 선형적인 정보 증가를 복원할 수 있음을 실증한다. 또한, 같은 기호열을 물리적 확산 모델에 적용했을 때 μ에 따라 정상·초·아주확산이 전이하는 복합적인 동역학을 보여, 복잡계에서 비정통 통계와 확산 이론을 연결하는 중요한 사례를 제공한다.