인과 정보와 Pearl 인과 계산의 연결고리

초록

본 논문은 DAG 기반 인과 모델에서 Pearl의 ‘intervention’ 개념을 정보이론의 ‘directed information’과 연결한다. 조건부 directed information을 이용해 Pearl의 back‑door 기준을 정보‑이론적으로 재해석하고, 이를 통계적 충분성의 인과적 아날로그로 제시한다.

상세 분석

이 논문은 인과 그래프와 정보이론 사이의 깊은 연관성을 체계적으로 탐구한다. 먼저, 저자는 전통적인 상호정보량이 방향성을 갖지 못한다는 점을 강조하며, 인과 관계를 파악하려면 변수 간의 기능적(Deterministic) 메커니즘을 직접 조작해야 함을 설명한다. 이를 위해 Pearl이 제시한 ‘intervention’—즉, 특정 변수에 대해 외부에서 값을 강제로 할당하고 그 결과를 관찰하는 ‘수술(surgery)’—을 확률적 관점에서 재구성한다. 논문은 이러한 개입이 기존의 마르코프 연쇄 구조를 어떻게 변형시키는지를 수식적으로 전개하고, 변형된 모델이 생성하는 확률분포가 ‘directed stochastic kernel’와 일대일 대응한다는 사실을 증명한다.

다음으로, 저자는 directed information (I(X^n \rightarrow Y^n)) 를 인과 효과의 강도 측정 지표로 채택한다. 기존의 mutual information 은 양방향 의존성을 포착하지만, directed information 은 시간 순서와 인과 방향을 명시적으로 반영한다. 특히, 조건부 directed information (I(X^n \rightarrow Y^n \mid Z^n)) 를 도입함으로써, 제3의 변수 (Z) 를 통제했을 때 순수한 인과 흐름을 분리할 수 있음을 보인다.

핵심 응용으로는 Pearl의 back‑door 기준을 정보‑이론적으로 재해석한다. 전통적인 back‑door 조건은 “모든 back‑door 경로가 관측 가능한 변수 집합 (Z) 로 차단된다면, 인과 효과는 관측 데이터만으로 식별 가능하다”는 내용이다. 논문은 이를 (I(Y; do(X) \mid Z) = I(Y; X \mid Z)) 로 표현하고, 조건부 directed information 이 식별 가능성을 판단하는 충분조건이 됨을 증명한다. 즉, (Z) 가 충분히 ‘통계적 충분성(statistical sufficiency)’을 제공하면, 관측된 조건부 분포와 개입 후 분포가 동일하게 된다.

또한, 저자는 여러 예시(통신 시스템, 피드백 루프를 가진 동적 시스템)를 통해 개념을 구체화한다. 특히, 메시지 전송‑디코딩 과정에서 ‘W → \tilde W’ 의 인과 흐름을 분석하고, ‘\tilde W → W’ 에는 개입이 전혀 영향을 주지 않음을 보여준다. 이는 인과적 비대칭성을 정보량으로 정량화하는 좋은 사례가 된다.

전반적으로 논문은 인과 그래프 이론과 정보이론을 통합하는 새로운 프레임워크를 제시한다. 이는 인과 추론을 수행할 때 통계적 관측만으로는 부족하고, 정보‑이론적 측정값을 활용해 개입 효과를 정량화하고, 식별 가능성을 검증할 수 있음을 시사한다.