비선형 정보 이론 서브선형 기대를 통한 분포 불확실성 모델링

본 논문은 현대 통신 네트워크가 직면한 ‘분포 불확실성’ 문제를 수학적으로 정형화하고, 이를 해결하기 위한 새로운 정보 이론 프레임워크를 제시한다. 서론에서는 샤논 정보 이론이 확률분포를 고정된 것으로 가정함으로써 발생하는 한계를 지적하고, 실제 무선·광대역·6G 등 복합 환경에서는 관측 데이터가 부족하거나 비정상적 변동이 심해 하나의 확률측정으로는 현상을 포착하기 어렵다는 점을 강조한다. 기존의 불확실성 모델(예: Rényi 엔트로피, Choquet 기대, AVC 등)은 여전히 ‘조건부 확률분포’가 존재한다는 전제에 의존하므로, 근본적인 ‘확률 모델 자체의 불확실성’을 다루지 못한다는 비판을 제시한다. 이에 저자들은 최근 수학계에서 발전된 ‘비선형(서브선형) 기대 이론’을 도입한다. 이 이론은 가능한 확률분포 집합 𝒫={pθ}에 대해 기대값을 최댓값(sup) 혹은 최솟값(inf)으로 정의함으로써, 위험 회피 혹은 최악 상황을 반영하는 비선형 연산을 제공한다. 논문은 (Ω,ℋ,E) 라는 서브선형 기대 공간을 기본 구조로 설정하고, 메시지 X∈ℋ 를 이 공간 위의 확률 변수로 본다. 첫 번째 핵심 기여는 비선형 정보량 개념의 정의이다. 비선형 엔트로피 ˆH(X)=supθ∈Θ∑x pθ(x)log(1/pθ(x)) 로 정의하여, 기존 Shannon 엔트로피를 ‘가능한 모든 분포에 대한 상한’ 형태로 일반화한다. 이어서 비선형 공동 엔트로피 ˆH(X,Y), 비선형 조건부 엔트로피 ˆH(Y|X), 비선형 상호정보량 Î(X;Y)=ˆH(X)+ˆH(Y)−ˆH(X,Y) 를 차례로 도입한다. 이들 정의는 체인 규칙, 파노프-라오 불평등, 데이터 처리 불등식 등 전통적인 정보 이론의 기본 성질을 그대로 만족함을 정리와 증명을 통해 확인한다. 두 번째 기여는 비선형 소스 코딩 정리이다. 기존의 소스 코딩 정리는 i.i.d. 가정과 단일 확률분포에 기반한다. 여기서는 서브선형 기대 공간에서 ‘비선형 독립성’을 만족하는 확률 과정 {X_i} 를 고려하고, 강법칙(Strong Law of Large Numbers under Sublinear Expectations)을 이용해 평균이 비선형 기대값에 수렴함을 보인다. 그 결과, 최대 오류 확률(maximum error probability) 기준에서는 비선형 엔트로피 ˆH(X) 가 코딩률의 상한이 되고, 최소 오류 확률(minimum error probability) 기준에서는 ˆH(X) 가 코딩률 집합의 클러스터 포인트(수렴 부분열의 극한)임을 증명한다. 이는 불확실한 분포 집합에 대해 보수적인 압축 한계를 제공한다. 세 번째 기여는 비선형 채널 코딩 정리이다. ‘불확실분포 채널’ 모델을 정의한다. 입력 X와 출력 Y 모두 서브선형 기대 공간에 존재하고, 전이 확률 행렬이 집합 {Pλ,λ∈Λ} 로 표현된다. 이 모델은 기존의 AVC(Arbitrarily Varying Channel)와 달리 전이 행렬 자체가 확률적 불확실성을 내포한다는 점을 강조한다. 정리에서는 최대 오류 확률 기준에서 비선형 상호정보량을 이용해 채널 용량의 상한을 구하고, 최소 오류 확률 기준에서 그 용량이 클러스터 포인트가 됨을 보인다. 따라서 전통적인 ‘채널 용량’ 개념을 확장하여, 분포 불확실성을 직접 반영한다. 네 번째 기여는 비선형 왜곡-전송(rate-distortion) 정리이다. 서브선형 기대 공간에서 기대 왜곡을 최대 기대 왜곡(upper expected distortion)과 최소 기대 왜곡(lower expected distortion)으로 정의하고, 비선형 상호정보량 기반의 왜곡-전송 함수 R̂(D)=inf_{p̂(y|x):Ê