전이 엔트로피로 신경 회로의 인포메이션 흐름을 정확히 추정할 수 있을까

초록

본 연구는 진화적으로 생성된 인공 신경 회로에서 전이 엔트로피(TE)가 실제 인과 관계를 얼마나 잘 포착하는지 평가한다. 두 가지 기본 인지 과제(운동 검출, 소리 위치 추정)를 수행하도록 진화된 마코프 뇌(Markov Brains)를 분석하고, 회로에 나타나는 XOR·XNOR 등 암호화 논리 게이트의 빈도와 TE가 초래하는 오류를 정량화한다. 결과는 TE가 암호화 논리에서는 인과성을 놓치거나 허위 인과를 제시하지만, 과제에 따라 오류 정도가 크게 달라진다는 점을 보여준다.

상세 분석

전이 엔트로피는 그 정의상 과거 상태 X의 정보를 조건부로 이용해 Y의 미래 상태를 예측함으로써 인과성을 추정한다. 그러나 이 방법은 기본적으로 샤논의 쌍방향 상호정보에 의존하므로 다변량(다중 변수) 상호작용, 특히 XOR·XNOR과 같은 다항식 암호화 연산을 포착하지 못한다. 논문은 먼저 2입력 1출력 논리 게이트 16종을 전이 엔트로피로 분석했으며, XOR·XNOR에서는 TE_X→Z와 TE_Y→Z가 모두 0이 되어 출력 엔트로피 H(Z)=1비트를 완전히 설명하지 못한다는 사실을 확인한다. 이는 I(X:Y:Z)=-1이라는 부정적 삼중 상호정보가 존재함을 의미하며, 정보가 ‘숨겨진’ 상태가 되기 때문이다. 다른 다항식 게이트에서도 TE_X→Z+TE_Y→Z가 H(Z)보다 평균 0.19비트 낮아 부분적인 오차가 발생한다.

이러한 이론적 한계를 실제 신경 회로에 적용하기 위해 저자는 마코프 브레인(MB)이라는 디지털 신경망을 진화시켰다. MB는 2→1 결정적 논리 게이트만 사용하도록 제한했으며, 유전 알고리즘을 통해 두 가지 인지 과제—시각적 운동 검출과 청각적 소리 위치 추정—를 수행하도록 최적화하였다. 진화 과정에서 생성된 수백 개의 회로를 분석한 결과, 운동 검출 회로는 주로 AND·OR·NOT 등 단순 논리로 구성되어 암호화 게이트가 거의 나타나지 않았다. 반면 소리 위치 추정 회로는 시간 차이를 비교하는 과정에서 XOR·XNOR 형태의 연산이 비교적 자주 등장했으며, 전체 게이트 중 약 12%가 암호화 논리에 해당했다.

이 빈도 차이를 바탕으로 TE가 두 과제에서 보이는 오류 정도를 예측했다. 운동 검출 회로에서는 TE가 실제 인과 관계를 거의 정확히 포착했으며, 오류율은 2% 이하에 머물렀다. 반면 소리 위치 추정 회로에서는 XOR·XNOR가 포함된 연결에서 TE가 인과성을 완전히 놓치거나 잘못된 방향성을 부여해 평균 오류가 15%에 달했다. 저자는 또한 TE를 이용해 실제 시뮬레이션 데이터(시간 시계열)에서 인과 네트워크를 재구성했을 때, 암호화 게이트가 포함된 부분에서는 연결을 과소평가하거나 과대평가하는 현상이 반복됨을 실험적으로 확인했다.

결론적으로, 전이 엔트로피는 1차원(단일 변수) 인과 추정에는 유용하지만, 다변량 상호작용이 중요한 신경 회로—특히 암호화 논리를 포함하는 경우—에서는 신뢰도가 크게 떨어진다. 따라서 TE를 적용할 때는 회로의 논리 구조를 사전 검토하거나, 부분 정보 분해(Partial Information Decomposition)와 같은 고차원 상호정보 분석을 보완적으로 활용해야 한다는 교훈을 얻을 수 있다.