확률분포 풀링과 부분정보분해 새로운 시각

초록

본 논문은 정보량을 “불확실성 감소”로 정의하고, 전체 정보와 부분들의 합으로 구성된 정보 차이를 통해 시너지 정보를 정량화한다. 핵심은 여러 변수의 주변 확률분포를 어떻게 “풀링”(통합)하느냐에 따라 PID(Partial Information Decomposition) 구조가 달라진다는 점이다. 최적 풀링 방법을 하나 제시하고, 풀링된 분포 간 겹침(overlap)이 시너지와 유일 정보를 결정하는 핵심 지표임을 보인다. 기존의 중복 기반 격자와는 다른 풀링 기반 격자를 도입해 PID의 자유도를 명시적으로 드러낸다.

상세 분석

이 논문은 정보 이론의 가장 기본적인 정의인 “정보 = 불확실성 감소”를 출발점으로 삼아, 다변량 상황에서의 부분정보분해(PID)를 재구성한다. 기존 PID 연구는 주로 ‘중복’(redundancy)을 기준으로 격자를 구성하고, 시너지와 유일 정보를 그 차이로 정의하려 했지만, 중복을 어떻게 측정하느냐에 따라 결과가 크게 달라지는 문제점이 있었다. 저자는 이를 “전체 정보(whole) – 부분들의 합(sum of parts)”라는 형태로 전환한다. 여기서 ‘부분들의 합’은 각 변수의 주변 확률분포를 하나의 통합된 확률분포로 풀링(pooling)한 뒤, 그 풀링된 분포에 대한 엔트로피를 계산함으로써 얻어진다.

핵심적인 수학적 질문은 “두 개 이상의 확률분포를 어떻게 최적으로 풀링할 것인가?”이다. 풀링 방법에 따라 얻어지는 엔트로피 값이 달라지며, 이는 곧 시너지 정보의 크기를 결정한다. 논문은 최적 풀링을 “가능한 한 많은 질량을 겹치게 하면서도 각 원본 분포의 마진을 보존하는” 방식으로 정의한다. 구체적으로는, 각 사건에 대해 모든 원본 분포가 부여한 확률값 중 최소값을 취해 겹침(probability overlap)을 구하고, 남은 확률 질량은 적절히 재분배한다. 이렇게 얻어진 풀링 분포는 원본 분포들의 공통된 구조를 강조하면서도 개별 특성을 완전히 소거하지 않는다.

이 풀링 절차를 격자 구조에 적용하면, 기존의 ‘중복 기반’ 격자와는 다른 ‘풀링 기반’ 격자가 형성된다. 각 노드에는 단순히 평균 엔트로피가 아니라, 해당 노드가 나타내는 부분 집합에 대한 풀링된 확률분포 자체가 할당된다. 따라서 격자 내 이동(예: 하위 집합에서 상위 집합으로) 시, 엔트로피 변화뿐 아니라 분포 형태의 변화도 추적할 수 있다.

특히, 논문은 겹침(overlap)이라는 양이 시너지와 유일 정보를 동시에 설명하는 핵심 지표임을 강조한다. 겹침이 클수록 여러 변수 간에 공유되는 정보가 많아 시너지(공동 기여)가 감소하고, 각 변수의 고유 정보가 증가한다. 반대로 겹침이 작으면 변수들이 서로 보완적인 정보를 제공해 시너지 효과가 크게 나타난다. 이러한 관점은 기존의 ‘중복 = 공유 정보’라는 단순화된 해석을 넘어, 공유와 보완 사이의 연속적인 스펙트럼을 제공한다.

마지막으로, 저자는 풀링 방법의 선택이 PID의 ‘자유도’를 드러낸다고 주장한다. 즉, PID를 정의할 때 반드시 하나의 고정된 중복 측정법에 얽매일 필요가 없으며, 연구 목적에 맞는 풀링 기준을 설계함으로써 보다 유연하고 해석 가능한 분해가 가능하다는 점을 시사한다. 이는 특히 복잡 시스템, 신경과학, 기계학습 등에서 다중 변수 간 정보 흐름을 정량화하려는 실무자들에게 중요한 설계 원칙을 제공한다.