포아송 변분 자동인코더에서 정보 처리의 대사 비용

초록

생물학적 시스템은 에너지 제약을 받지만, 기존 계산 이론은 에너지를 무한히 가정한다. 본 연구는 포아송 가정을 적용한 변분 자유 에너지 최소화가 에너지 인식 계산 이론을 제공한다는 점을 제시한다. 포아송 자유 에너지 목표함수의 KL 발산 항이 모델 뉴런의 사전 발화율에 비례하게 되면서, 높은 기저 활동을 억제하는 대사 비용 항이 자연스럽게 등장한다. 이는 추상적인 정보‑이론적 코딩률을 구체적인 생물물리학적 발화율과 연결시켜, 코딩 정확도와 에너지 소비 사이의 트레이드오프를 가능하게 한다. 이러한 구조는 입력을 이산 스파이크 카운트로 인코딩하고 희소 코딩 형태를 회복하는 뇌 영감 생성 모델인 포아송 변분 자동인코더(P‑VAE)에서 자동으로 나타나지만, 표준 가우시안 VAE에서는 발견되지 않는다. 비음수 제약만을 통제한 가우시안 VAE(Grelu‑VAE)와 비교한 결과, KL 가중치 β와 잠재 차원 수를 체계적으로 변화시켰을 때, P‑VAE는 β가 증가함에 따라 희소성이 높아지고 평균 스파이크 활동이 감소한다. 반면 Grelu‑VAE는 표현이 변하지 않아 효과가 포아송 통계에 특이적임을 확인한다. 이 연구는 포아송 변분 추론이 자원 제약 계산 이론의 유망한 기반임을 입증한다.

상세 요약

이 논문은 현대 인공지능과 신경과학 사이의 연결 고리를 새롭게 제시한다. 기존의 변분 자동인코더(VAE)는 주로 가우시안 분포를 가정하고, 손실함수에 포함된 KL 발산 항을 통해 잠재 변수의 정규성을 강제한다. 그러나 이러한 접근은 생물학적 뉴런이 실제로 전기적 스파이크라는 이산적, 비음수 신호를 사용한다는 점을 반영하지 못한다. 저자들은 포아송 분포를 잠재 변수의 사후분포와 사전분포에 적용함으로써, 스파이크 카운트 자체를 확률 모델에 내재시켰다. 포아송 자유 에너지 식에서 KL 항은 사전 발화율(λ₀)과 사후 발화율(λ) 사이의 차이를 측정하는데, 이 차이는 곧 뉴런이 기본적으로 유지해야 하는 대사 비용, 즉 에너지 소비와 직접적으로 연결된다. 따라서 KL 항을 최소화한다는 것은 “높은 기저 발화율을 피하고, 필요한 순간에만 스파이크를 발생시켜 정보 전달 효율을 높이자”는 생물학적 원칙과 일치한다.

실험적으로 저자들은 두 모델을 비교했다. P‑VAE는 β(KL 가중치)를 증가시킬수록 잠재 공간에서 스파이크 평균이 감소하고, 활성 뉴런 비율이 낮아지는, 즉 더 희소한 표현을 학습한다. 이는 β가 코딩률(정보량)과 에너지 비용 사이의 균형을 조정하는 역할을 함을 의미한다. 반면, Grelu‑VAE는 동일한 β 변화를 적용했음에도 잠재 표현의 스파이크 통계가 거의 변하지 않았다. 이는 비음수 제약 자체가 아니라 포아송 통계가 제공하는 “발화율 기반 비용” 메커니즘이 핵심임을 시사한다.

이러한 결과는 두 가지 중요한 함의를 가진다. 첫째, 포아송 변분 추론은 신경 회로가 에너지 효율성을 어떻게 달성했는지에 대한 정량적 모델을 제공한다. 둘째, 인공지능 모델 설계 시 에너지 제약을 명시적으로 포함시키는 새로운 패러다임을 제시한다. 향후 연구에서는 실제 뇌 데이터와의 정량적 매칭, 하드웨어 구현을 통한 에너지 절감 효과 검증, 그리고 다른 이산 분포(예: 베르누이)와의 비교를 통해 이 프레임워크를 확장할 수 있을 것이다.