딥러닝을 위한 일반화된 정보 병목 이론

초록

본 논문은 기존 정보 병목(IB) 원칙의 한계를 극복하고자, 특징들의 공동 처리에서만 얻을 수 있는 정보를 의미하는 ‘시너지’를 중심으로 일반화된 정보 병목(GIB) 프레임워크를 제안한다. 평균 상호정보(I I)를 이용해 시너지를 계산하고, 이를 IB 목표에 통합함으로써 압축 단계가 ReLU와 같은 비선형 활성화에서도 일관되게 나타나도록 한다. 이론적으로 GIB는 완벽한 추정 하에 원 IB 목표의 상한을 제공하며, 실험적으로 다양한 CNN·Transformer 구조와 적대적 공격 상황에서 더 명확한 압축·예측 동역학과 향상된 일반화·견고성을 보인다.

상세 분석

본 연구는 정보 병목 원칙이 신경망 학습을 설명하는 데 유용하지만, 실제 적용 시 상호정보 추정의 불확실성, 무한 복잡도, 활성화 함수에 따른 압축 현상의 부재 등 여러 이론적·실험적 문제에 직면한다는 점을 정확히 짚어낸다. 이를 해결하기 위해 저자들은 ‘시너지’라는 다변량 정보 개념을 도입한다. 시너지는 개별 특징이 목표 변수와 갖는 상호정보를 초과해, 특징들을 동시에 고려했을 때만 얻을 수 있는 추가 정보를 정량화한다. 논문은 시너지 측정을 위해 각 특징과 나머지 특징들의 평균 상호정보(Interaction Information, II)를 사용한 새로운 정의 Syn(X→Y)=I(X;Y)−(1/N)∑₁ᴺ