보른 규칙 기반 샤논 엔트로피의 기하학적 해석

초록

이 논문은 유한 소수점 표현을 갖는 이산 확률분포를 기하학적으로 해석한다. 저자는 최근 제안된 JoyStick Probability Selector(JPS)를 이용해 확률을 보른 규칙에 따라 벡터의 제곱 성분으로 나타내고, ‘일반 공간’, ‘일반 차원’, ‘유효 차원’ 개념을 도입한다. 이를 통해 신호열의 최적 코딩 길이를 도출하고, 샤논 엔트로피를 유효 차원의 로그로 재해석한다. 또한 이 기하학적 시각을 활용해 정보 불등식들을 직관적으로 증명한다.

상세 분석

논문은 먼저 확률값을 유리수, 즉 유한한 정수 비율로 표현할 수 있는 이산 확률분포를 전제로 한다. 이러한 전제는 실제 디지털 통신에서 사용되는 확률 모델과 일치하며, 확률을 정수 벡터의 정규화된 형태로 다룰 수 있게 한다. 핵심 도구인 JoyStick Probability Selector(JPS)는 각 사건을 고차원 유클리드 공간의 정규화된 기저벡터에 대응시키고, 해당 벡터와 임의의 상태벡터 사이의 내적 제곱을 사건의 발생 확률로 정의한다. 이는 양자역학에서 확률을 기술하는 보른 규칙과 동일한 수학적 구조를 갖는다. 저자는 이 구조를 ‘일반 공간(generic space)’이라 명명하고, 전체 확률 질량을 1로 만드는 최소 차원을 ‘일반 차원(generic dimension)’이라 정의한다. 일반 차원은 각 확률을 분모가 되는 최소 공배수의 합으로 계산되며, 실제 관측 가능한 차원인 ‘유효 차원(effective dimension)’은 일반 차원을 로그 스케일로 변환한 값으로 해석한다.

코딩 측면에서 저자는 유효 차원을 정보량의 단위인 비트와 직접 연결한다. 즉, 길이 N인 신호열을 최적 코딩했을 때 평균 코드 길이는 N·log₂(유효 차원)와 동일하다는 결론을 도출한다. 이는 전통적인 샤논-노이만 코딩 정리와 형태는 다르지만, 동일한 최적성 조건을 만족한다는 점에서 의미가 크다. 특히, 일반 차원을 정수 기반으로 정의함으로써 코드 길이가 정수형태로 표현될 수 있어, 실제 디지털 구현에 유리한 특성을 가진다.

샤논 엔트로피에 대한 새로운 해석은 ‘엔트로피 = log₂(유효 차원)’이라는 식으로 요약된다. 이 식은 엔트로피가 확률분포가 차지하는 ‘효과적 공간 규모’를 측정한다는 직관적 의미를 제공한다. 저자는 이를 바탕으로 정보 불등식, 예를 들어 서브애디티비티와 연쇄 규칙 등을 기하학적 벡터 연산만으로 증명한다. 이러한 증명 방식은 복잡한 로그함수와 미분을 회피하고, 순수히 벡터의 정규화와 차원 관계만으로 불등식을 도출한다는 점에서 교육적 가치가 높다.

비판적으로 보면, 논문의 주요 가정인 확률의 유리수 표현은 연속 확률분포나 무한히 많은 사건을 다루는 경우에 적용이 제한된다. 또한, 일반 차원을 정의하기 위해 최소 공배수를 구하는 과정이 계산적으로 복잡할 수 있으며, 고차원 벡터 공간을 실제 시스템에 매핑하는 방법에 대한 구체적인 구현 지침이 부족하다. 그럼에도 불구하고, 보른 규칙을 정보이론에 도입한 시도는 양자정보와 고전정보 사이의 교량을 제공하며, 차원 기반 직관을 통해 새로운 교육 및 연구 도구로 활용될 가능성을 보여준다.