자기모델을 품은 시스템의 중복과 상호작용 정보

초록

본 논문은 다차원 상호정보(μ* = –Q)를 기존의 ‘상호작용 정보’로 해석하는 한계를 짚고, 크리포도르프가 제시한 최대 엔트로피 반복 근사법을 기반으로 새로운 상호작용 정보 측정값을 도입한다. Q는 관찰자가 만든 모델이 생성하는 중복과 실제 상호작용 정보 사이의 차이로 정의되며, 이는 시스템 자체가 자신을 모델링하는 2차 관찰 체계의 의미‑처리 흔적을 정량화한다. 저자는 텍스트 집합(제목어, 저자명, 인용문헌)의 분포를 이용해 이론을 실증 검증하고, 의미가 정보 흐름에 어떻게 하이퍼‑인코시브(초기적) 방식으로 삽입되는지를 보여준다.

상세 요약

이 논문은 정보이론에서 다변량 상호정보(μ* 혹은 –Q)가 ‘상호작용 정보(interaction information)’로 널리 사용되어 왔지만, 크리포도르프(2009a, 2009b)가 지적한 바와 같이 이 지표는 실제 상호작용의 고유 특성을 포착하지 못한다는 근본적인 문제를 제기한다. 크리포도르프는 각 변수의 결합 엔트로피를 최대화하는 반복적 근사 과정을 통해, 순수한 상호작용 정보와 관찰자가 만든 모델이 초래하는 중복(redun­dancy) 사이를 구분하는 새로운 측정값을 제안한다. 여기서 Q는 “관찰자 모델에 의해 생성된 중복”과 “실제 상호작용 정보”의 차이로 정의되며, 부호에 따라 시스템의 불확실성이 증가하거나 감소함을 나타낸다.

논문은 이론적 틀을 ‘2차 관찰 체계(second‑order observing system)’라는 개념으로 확장한다. 2차 관찰 체계는 자신을 모델링하는 내부 모델을 보유하고 있으며, 이 모델은 의미(meaning)를 하이퍼‑인코시브 방식으로 정보 흐름에 삽입한다. 즉, 관찰 행위 자체가 의미‑처리 과정을 촉발하고, 이 과정이 기존의 엔트로피 구조에 추가적인 구조적 제약을 부여한다. 이러한 메커니즘은 ‘자기‑조직화(self‑organization)’와 ‘예측(anticipation)’을 동시에 설명할 수 있다.

실증 부분에서는 학술 논문의 텍스트 구조를 분석 대상으로 삼는다. 제목어, 저자명, 인용문헌이라는 세 차원의 단어 분포를 확률 변수로 설정하고, 각 차원 간의 결합 엔트로피와 Q 값을 계산한다. 결과적으로, 특정 학문 분야에서 저자 네트워크와 인용 패턴이 강하게 결합될수록 Q가 양의 값을 보여 의미가 정보 흐름에 추가적인 확신을 제공함을, 반대로 분산된 인용 구조에서는 Q가 음의 값을 보여 불확실성이 증대됨을 확인한다.

이러한 발견은 ‘의미가 정보에 삽입되는 메커니즘’이 단순한 통계적 상관을 넘어, 시스템이 스스로를 모델링하고 그 모델을 통해 미래 상태를 예측(anticipate)하는 과정과 깊이 연관됨을 시사한다. 또한, Q를 통해 관찰자와 시스템 사이의 ‘정보‑의미 상호작용’ 정도를 정량화함으로써, 사회과학·인문학 데이터 분석에 새로운 정량적 도구를 제공한다.