구분을 세는 논리와 정보 이론의 근본

초록

이 논문은 집합의 부분집합 논리를 대칭적으로 전이한 ‘분할 논리’를 제시하고, 분할이 만드는 구분(ordered pair)의 정규화된 개수를 ‘논리 엔트로피’로 정의한다. 논리 엔트로피는 샤논 엔트로피와 정확히 연결되며, 구분을 직접 세는 방식이 샤논의 평균 비트 수 개념에 대한 개념적 토대를 제공한다는 점을 강조한다.

상세 분석

Ellerman은 현대 논리가 본질적으로 부분집합(또는 ‘부분객체’)의 논리임을 강조하고, 이와 이중적인 관계에 놓인 분할(파티션)의 논리를 체계화한다. 여기서 핵심 개념은 ‘구분(dit)’이다. 구분은 서로 다른 블록에 속하는 두 원소 (u, u′)의 순서쌍으로 정의되며, 이는 부분집합 논리에서 원소가 차지하는 역할과 정확히 대칭된다. 논리 엔트로피 h(π)는 분할 π가 만들어내는 구분의 총수 |dit(π)| 를 전체 가능한 순서쌍 |U×U| 로 나눈 확률적 해석을 갖는다. 즉, 무작위로 선택된 두 원소가 π에 의해 구분될 확률이다. 이 정의는 라플라시안 확률 해석과 일치한다.

논리 엔트로피와 샤논 엔트로피 H(π) 사이의 관계는 h(π)=1−∑p_i^2 와 H(π)=−∑p_i log p_i 로 표현되는 두 공식이 서로 변환 가능함을 보여준다. 여기서 p_i는 각 블록의 비율이다. 논리 엔트로피는 구분을 직접 세는 ‘카운팅’ 관점이며, 샤논 엔트로피는 그 구분을 만들기 위해 필요한 평균 이진 질문(비트)의 수로 해석된다. 따라서 논리 엔트로피는 샤논 엔트로피의 ‘근본적 의미’를 제공한다는 주장이다.

논문은 또한 독립 분할, 상호 정보, 교차 엔트로피·다이버전스 등 샤논 정보 이론의 주요 개념들을 논리 엔트로피 체계에 대응시킨다. 예를 들어, 두 분할 π와 σ가 독립이면 dit(π∧σ)=dit(π)∩dit(σ) 로서 논리적 교차 엔트로피가 정의되고, 이는 샤논의 상호 정보 I(π;σ)=H(π)+H(σ)−H(π∨σ) 와 일치한다.

분할 격자 구조에 대한 논의도 포함한다. 부분집합 격자는 포함 관계에 따라 위쪽(전체집합)과 아래쪽(공집합)을 갖지만, 분할 격자는 정제(order refinement) 관계에 따라 위쪽이 ‘이산 분할’(모든 원소가 서로 구분)이고 아래쪽이 ‘블롭’(모든 원소가 하나의 블록)이다. 이 격자에서 합(join)과 교(meet)는 구분 집합의 합집합과 교집합의 내부화(int) 로 정의된다.

마지막으로, 논리 엔트로피가 확률론적 해석을 통해 기존의 확률·통계와 자연스럽게 연결되며, 샤논 이론이 ‘갑작스러운’ 공리화 과정이 아니라 분할 논리의 확장으로 이해될 수 있음을 강조한다. 이는 정보 이론의 기초를 보다 직관적인 ‘구분’ 개념에 기반을 둔 형태로 재구성하려는 시도이며, 향후 정보 측정, 데이터 압축, 통계 물리학 등에 새로운 통찰을 제공할 가능성을 시사한다.