평균 엔트로피 함수와 셰넌 부등식의 완전 등가성

본 논문은 n개의 이산 확률변수 X = (X₁,…,Xₙ) 에 대해 정의되는 엔트로피 함수 H = (H_α)_{∅≠α⊆N} 를 연구한다. 엔트로피 함수 전체 집합을 Γ\*ⁿ이라 하고, 그 폐쇄집합을 Γ\*ⁿ이라 하면 이는 (2ⁿ‑1) 차원의 실벡터 공간에 존재하는 볼록 원뿔이다. 기존 연구에 따르면 모든 H∈Γ\*ⁿ는 셰넌형 부등식(비음성, 단조성, 서브모듈러성)을 만족하지만, n≥4일 경우 이 부등식만으로는 충분하지 않으며 비셰넌형 부등식이 존재한다는 것이 알려져 있다. 이러한 복잡성은 네트워크 코딩 용량 영역 등 실용적인 문제에서 Γ\*ⁿ을 직접 활용하기 어렵게 만든다. 이에 저자들은 엔트로피 함수의 평균값을 도입한다. 정의에 따라 h_k = (1/ C(n,k)) ∑_{|α|=k} H_α 로 정의된 n‑벡터 h = Ψ(H) 를 평균 엔트로피 함수라 부른다. Ψ는 Γ\*ⁿ을 n차원 영역 Φ\*ⁿ=Ψ(Γ\*ⁿ) 로 사상한다. 또한, 셰넌형 부등식만을 적용해 정의된 Φⁿ={h | h_{k‑1}‑2h_k+ h_{k+1} ≤ 0, k=1,…,n} 와 비교한다. 여기서 h₀=0, h_{n+1}=h_n 로 편의성을 둔다. 논문의 핵심 정리는 Φ\*ⁿ=Φⁿ, 즉 평균 엔트로피 함수 영역은 오직 셰넌형 부등식만으로 완전히 기술된다는 것이다. 이를 증명하기 위해 저자들은 두 단계 변환을 사용한다. 첫 번째 변환 Θ는 h를 2차 차분 g_k = h_{k‑1}‑2h_k+ h_{k+1} 로 바꾸어 Λⁿ={g_k≤0} 로 만든다. Ψ와 Θ는 모두 선형 변환이므로 Φ\*ⁿ과 Λ\*ⁿ=Θ(Φ\*ⁿ) 역시 볼록 원뿔이다. 이제 Λⁿ⊆Λ\*ⁿ을 보이면 Φⁿ⊆Φ\*ⁿ이 성립한다. Λⁿ⊆Λ\*ⁿ을 증명하기 위해 저자들은 Reed‑Solomon (RS) 코드를 활용한다. q를 2의 거듭제곱으로 잡고, (n,k) RS 코드를 GF(q) 위에 구성한다. 코드워드 집합 C에서 균일하게 선택된 코드워드 X = (X₁,…,Xₙ) 를 확률변수로 두면, |α|≤k인 경우 H(X_α)=|α|·log q, |α|>k인 경우 H(X_α)=k·log q 가 된다. 따라서 평균 엔트로피 h_k는 a·min(k, k) 형태이며, 여기서 a=log q이다. 이때 g_k는 -a·δ_{k,ℓ} 형태의 음수값을 갖게 되므로 (g₁,…,gₙ)∈Λ\*ⁿ에 속한다. 즉, Λⁿ의 모든 기본 부등식 g_k≤0는 실제 확률분포(즉, RS 코드)로 실현 가능함을 보였다. 결과적으로 Φⁿ⊆Φ\*ⁿ이 증명되고, 반대로 Φ\*ⁿ⊆Φⁿ은 정의상 자명하므로 Φ\*ⁿ=Φⁿ가 된다. 이는 평균 엔트로피 함수 영역이 비셰넌형 부등식에 전혀 의존하지 않으며, 오직 셰넌형 부등식만으로 완전하게 기술된다는 강력한 결론을 낳는다. 논문의 마지막 부분에서는 이 결과의 의미를 논의한다. Γ\*ⁿ의 완전한 특성화는 네트워크 코딩 용량 영역과 밀접한 연관이 있지만, 고차원·고복잡도 때문에 실용적 활용이 제한적이다. 반면 Φ\*ⁿ은 n차원이라는 저차원 공간에 존재하면서도 셰넌형 부등식만으로 완전히 기술되므로, 대칭적이거나 평균적인 구조를 가진 네트워크(예: 대규모 무선 네트워크, 대칭적인 라우팅 구조)에서 용량 분석을 단순화할 수 있다. 또한 RS 코드를 통한 실현 가능성 증명은 선형 네트워크 코딩이 평균적인 관점에서는 최적에 가깝다는 암시를 제공한다. 저자들은 앞으로 Φ\*ⁿ과 유사한 평균화 기법을 적용해 보다 일반적인 비대칭 구조에도 적용 가능한 tractable한 방법론을 개발할 필요성을 제시한다.