분산 시스템 측정의 정보이론적 구조와 퀘일

초록

이 논문은 확률 셀룰러 오토마타와 같은 분산 시스템에서 수행되는 측정을, 스토캐스틱 맵과 프레시(pre)sheaf 이론을 이용해 기하학적으로 분석한다. ‘퀘일’이라 불리는 프레시(pre)sheaf의 섹션들을 통해 측정이 생성하는 정보량, 맥락 의존성, 그리고 독립적인 하위 측정으로 분해 가능한지를 정량화한다. 결과적으로 비분해 가능한(indecomposable) 측정만이 하위 측정들의 합보다 더 많은 정보를 제공함을 보인다.

상세 분석

논문은 먼저 고전적인 측정 정의를 함수 f : X → R 로서 제시하고, 이를 분산 시스템에 적용하기 위해 ‘스토캐스틱 맵’이라는 마코프 행렬 형태로 일반화한다. 객체는 유한 집합 X 위의 실함수 공간 V X이며, 화살표는 V X → V Y 로서 각 열이 1로 정규화된 확률 행렬이다. 이 범주를 Stoch 라 명명하고, 결정론적 함수는 V f 로서 Dirac 기저를 이용해 스토캐스틱 맵으로 전환한다. 중요한 연산은 ‘듀얼’(dual) T  로, 이는 열을 전치하고 다시 정규화함으로써 균등 사전분포에 대한 베이즈 규칙을 적용한다. 듀얼은 전통적인 역함수 f⁻¹ 를 확률적 상황으로 확장해, 출력 y 에 대한 입력 x 의 사후분포를 균등 사전하에 대해 계산한다.

다음으로 ‘분산 동역학 시스템(D)’을 정의한다. D는 정점(occasion)들의 유한 그래프와 각 정점에 할당된 입력·출력 알파벳, 그리고 각 정점마다 정의된 스토캐스틱 메커니즘 mₗ : V Sₗ → V Aₗ 로 구성된다. 정점 쌍 (vₖ, vₗ) 은 시스템의 서브시스템을 나타내며, 이러한 서브시스템들의 집합을 Boolean 격자 형태의 범주 Sys D 로 만든다. 각 서브시스템 C에 대해 측정 장치(Meas D)의 객체는 Homₛₜₒ𝚌ₕ(V A_C, V S_C) 로 정의된다.

핵심은 ‘구조 프레시(pre)sheaf F’이다. F는 Sys D^op → Meas D 로서 각 서브시스템 C를 그에 대응하는 측정 맵의 집합으로 보내며, 제한 사상은 마코프 행렬의 주변화와 동일하게 작동한다. 저자는 이 프레시(pre)sheaf가 gluing axiom을 만족하지만, 유일한 전단(descend)이 없다는 점을 강조한다. 이는 동일한 주변분포를 갖는 여러 가능한 결합분포가 존재함을 의미한다(정리 4).

이 구조 위에서 두 가지 정량적 지표를 도입한다. 첫째, ‘효과적 정보(effective information)’는 측정이 입력 공간을 얼마나 세밀하게 구분하는지를 엔트로피 감소량으로 측정한다(정리 5). 둘째, ‘엔탱글먼트(entanglement)’는 서브측정들의 결합이 독립적인 곱분포와 얼마나 다른지를 비트 단위로 나타낸다(정리 9, 10). 엔탱글먼트가 0이면 측정은 완전히 분해 가능하고, 비제로이면 맥락 의존성이 존재한다. 특히, 엔탱글먼트가 양수일 때만 전체 측정이 서브측정들의 정보 합보다 더 큰 정보를 생성한다(정리 9).

이러한 결과는 뇌와 같은 복잡한 신경망이 개별 뉴런이나 군집의 측정보다 더 풍부한 정보를 생성함을 형식적으로 설명한다. 또한, 프레시(pre)sheaf의 비유일성은 ‘측정 장치가 단순히 하위 장치들의 곱이 아니다’는 물리적 직관과 일치한다. 논문은 구체적인 예시(결정론적 함수 f, 이중 입력 함수 g 등)를 통해 개념을 시각화하지만, 실제 셀룰러 오토마타와 Hopfield 네트워크에 대한 상세 계산은 별도 논문(참조