충분성만으로는 부족하다: 확률 신경표현 식별을 위한 기능적 정보 병목

초록

이 논문은 신경망이 베이시안 사후분포를 최소한의 형태로 인코딩했는지를 판단하기 위해 ‘기능적 정보 병목(fIB)’이라는 새로운 프레임워크를 제안한다. fIB는 표현의 통계적 충분성뿐 아니라 최소성을 동시에 검증한다. 저자들은 정적 cue 결합·좌표 변환과 동적 칼만 필터링 과제를 학습한 여러 네트워크에 fIB를 적용했으며, 이들 네트워크가 실제로는 입력을 그대로 재코딩하는 휴리스틱 방식에 불과하고, 진정한 확률적(베이시안) 표현을 형성하지 못한다는 결론을 도출한다.

상세 분석

본 연구는 확률적 신경표현을 정의하는 두 가지 핵심 기준—통계적 충분성(sufficiency)과 최소성(minimality)—을 명시적으로 결합한 ‘기능적 정보 병목(fIB)’ 개념을 도입한다. 기존 정보 병목(Information Bottleneck) 이론은 입력 X와 목표 변수 Z 사이의 상호정보를 최소화하면서 Z에 대한 정보를 보존하는 압축을 목표로 하지만, 실제 신경코드 분석에서는 상호정보를 정확히 추정하기 어려워 실용성이 떨어진다. fIB는 이를 우회하기 위해, 학습된 ‘performer’ 네트워크의 은닉활동을 대상으로 선형·비선형 디코더(‘probe’)를 훈련시켜 두 가지 양을 측정한다. 첫째, 디코더가 목표 사후분포 p(z|X)를 복원할 수 있는지를 통해 충분성을 검증한다. 둘째, 동일 디코더가 원본 입력 X 자체를 복원할 수 있는지를 확인함으로써 최소성을 평가한다. 만약 은닉표현 r가 p(z|X)를 복원하면서 X를 복원하지 못한다면, r는 불필요한 입력 정보를 압축한 진정한 확률적 코드(‘strong probabilistic representation’)로 간주된다. 반대로 X를 그대로 복원할 수 있다면, 이는 ‘readout fallacy’에 해당하는 단순 재코딩(‘weak probabilistic representation’)에 불과하다.

실험에서는 두 종류의 정적 과제(두 감각 단서의 결합, 좌표 변환)와 동적 과제(1‑차원 선형 칼만 필터)를 수행하도록 설계된 feed‑forward 및 recurrent 네트워크를 사용했다. 입력은 각각 50개의 포아송 뉴런으로 구성된 두 개의 팝업레이션이며, 이들 뉴런은 가우시안 튜닝곡선을 갖고, 이득 ν 이라는 잡음 변수를 통해 변동한다. 이러한 잡음은 베이시안 추론에서 ‘nuisance’ 변수에 해당한다. fIB 분석 결과, 모든 네트워크는 목표 사후분포를 디코딩할 수 있었지만, 동시에 원본 입력 X도 거의 완벽히 복원할 수 있었다. 즉, 은닉표현이 입력 정보를 충분히 압축하지 못하고, 단순히 입력을 전달하는 ‘copycat’ 구조에 머물렀다. 특히, 칼만 필터 과제에서 recurrent 네트워크가 시간‑연속적인 상태 추정을 수행했음에도 불구하고, 은닉활동은 과거 관측을 압축하지 못하고 전체 시퀀스를 거의 그대로 보존하는 형태였다.

이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 기존 연구에서 보고된 ‘베이시안 코드’는 충분성 검사만으로는 확증할 수 없으며, 최소성 검증이 필수적이다. 둘째, 현재의 task‑optimized 네트워크가 확률적 계산을 자동으로 학습한다는 가설은 과도하게 일반화된 것으로 보인다. 저자들은 fIB가 ‘강한’ 확률적 표현과 ‘약한’ 확률적 표현을 구분하는 명확한 기준을 제공함으로써, 향후 신경과학 및 인공지능 연구에서 실제 베이시안 코드를 식별하는 데 필수적인 도구가 될 수 있음을 강조한다.