조건부 정보 부등식의 본질적 한계와 새로운 비샤논 부등식

초록

이 논문은 조건부 정보 부등식 중 일부가 어떠한 무조건적 형태로도 확장될 수 없다는 ‘본질적 조건부(essentially conditional)’ 특성을 증명한다. 기존의 샤논 부등식으로부터 파생되지 않는 비샤논 부등식인 장-영(Zhang‑Yeung) 부등식을 시작으로, 새로운 본질적 조건부 부등식을 하나 제시하고, 그 증명 아이디어와 의미를 상세히 논의한다. 또한 Kolmogorov 복잡도에 대한 유사한 조건부 부등식도 살펴본다.

상세 분석

조건부 정보 부등식은 “특정 선형 제약이 만족될 때만 성립한다”는 점에서 기존의 샤논 부등식(비조건부)과 근본적으로 구분된다. 1997년 장·영이 제시한 4변수 부등식은 최초의 비샤논형 조건부 부등식으로, 이는 엔트로피 함수가 다면체(polymatroid) 구조를 넘어서는 영역을 차지함을 보여준다. 이후 여러 연구자들이 무조건적 비샤논 부등식을 발견했지만, 이들 대부분은 조건부 부등식에 비해 더 넓은 영역을 포괄한다는 점에서 ‘조건부’라는 성격이 약화되었다. 본 논문은 이러한 흐름에 반하여, 특정 조건부 부등식이 절대적으로 조건부임을 증명한다. 즉, 해당 부등식이 만족되는 제약을 완전히 없애면 어떤 형태의 무조건적 선형 부등식도 동일한 정보를 담을 수 없다는 것을 의미한다. 이를 ‘본질적 조건부(essentially conditional)’라 정의하고, 기존에 알려진 몇몇 조건부 부등식이 실제로는 이러한 본질적 특성을 갖는지 검증한다. 핵심은 ‘조건을 없애는’ 과정에서 발생하는 다면체의 경계가 급격히 변한다는 점이다. 저자들은 선형 프로그래밍과 엔트로피 영역의 외부 근사(outer approximation) 기법을 활용해, 가정된 제약을 제거했을 때 부등식이 더 이상 성립하지 않음을 수학적으로 보여준다. 특히, 새로운 본질적 조건부 부등식은 네 변수 X₁, X₂, X₃, X₄에 대해
 I(X₁;X₂|X₃)=0, I(X₁;X₃|X₂)=0
라는 두 조건이 주어졌을 때,
 I(X₁;X₄) ≤ I(X₂;X₄)+I(X₃;X₄)
가 성립한다는 형태이다. 여기서 I는 상호정보량을 의미한다. 저자들은 이 부등식이 기존의 샤논 부등식 조합으로는 도출되지 않으며, 제약을 완전히 없애면 반례가 존재함을 구체적인 확률 분포 예시를 들어 증명한다. 또한 Kolmogorov 복잡도 버전에서는 프로그램 길이의 조건부 상호정보량에 대한 유사 부등식을 제시하고, 복잡도 이론에서 조건부 부등식이 갖는 의미를 확장한다. 전체적으로 이 논문은 조건부 부등식이 단순히 ‘특정 상황에서만’ 성립하는 것이 아니라, 그 자체가 독립적인 정보 구조를 나타낼 수 있음을 보여준다. 이는 엔트로피 영역 연구와 정보 이론의 기본 구조를 재조명하는 중요한 기여라 할 수 있다.