“뇌‑스파이크와 에너지 절감: 포아송 변분 오토인코더가 제시하는 메타볼릭 비용 메커니즘”

📝 Abstract

Computation in biological systems is fundamentally energy-constrained, yet standard theories of computation treat energy as freely available. Here, we argue that variational free energy minimization under a Poisson assumption offers a principled path toward an energy-aware theory of computation. Our key observation is that the Kullback-Leibler (KL) divergence term in the Poisson free energy objective becomes proportional to the prior firing rates of model neurons, yielding an emergent metabolic cost term that penalizes high baseline activity. This structure couples an abstract information-theoretic quantity – the coding rate – to a concrete biophysical variable – the firing rate – which enables a trade-off between coding fidelity and energy expenditure. Such a coupling arises naturally in the Poisson variational autoencoder (P-VAE) – a brain-inspired generative model that encodes inputs as discrete spike counts and recovers a spiking form of sparse coding as a special case – but is absent from standard Gaussian VAEs. To demonstrate that this metabolic cost structure is unique to the Poisson formulation, we compare the P-VAE against Grelu-VAE, a Gaussian VAE with ReLU rectification applied to latent samples, which controls for the non-negativity constraint. Across a systematic sweep of the KL term weighting coefficient $β$ and latent dimensionality, we find that increasing $β$ monotonically increases sparsity and reduces average spiking activity in the P-VAE. In contrast, Grelu-VAE representations remain unchanged, confirming that the effect is specific to Poisson statistics rather than a byproduct of non-negative representations. These results establish Poisson variational inference as a promising foundation for a resource-constrained theory of computation.

💡 Analysis

**

1. 연구 배경 및 동기

• AI 에너지 위기: 최신 대형 모델(예: Chat‑GPT)의 전력 소모가 기가와트시 수준에 달해 지속 가능성에 심각한 위협을 제기한다(​Hao, 2025; You & Owen, 2025).
• 생물학적 효율성: 인간 뇌는 약 20 W로 복잡한 인지 연산을 수행한다(​Balasubramanian, 2021). 효율성의 핵심은 효율 코딩 가설과 스파이크 기반 이산 표현에 있다.
• 연산‑에너지 결합 부재: 기존 딥러닝 이론은 시간·공간 복잡도만 고려하고, 연산과 에너지 사이의 직접적인 연결 고리를 제공하지 않는다.

2. 포아송 변분 오토인코더(P‑VAE)의 핵심 아이디어

• 코딩 레이트와 발화율 연결: KL 항이 직접적으로 λ₀에 비례함으로써, “정보를 더 많이 전송할수록(코딩 레이트 ↑) 에너지(발화율 ↑)도 증가”하는 자연스러운 트레이드‑오프가 형성된다.
• 희소성 촉진: λ₀→0이면 KL 비용이 사라지므로 “침묵은 저렴”하게 된다. 이는 L1 정규화와 유사하지만, 가중치가 학습된 λ₀에 의해 동적으로 조절된다는 점에서 차별적이다.

3. 가우시안 VAE와의 비교 (Grelu‑VAE)

• 비음수 제약만 동일: Grelu‑VAE는 ReLU를 적용해 잠재값을 비음수로 제한하지만, 기본 분포는 가우시안이다.
• KL 구조 차이: 가우시안 KL은 **정밀도(1/σ²₀)**에 의해 스케일링되며, 사전 평균과는 무관하게 비용을 조절한다(“무지는 저렴”).
• 실험 결과: β를 증가시켜도 Grelu‑VAE의 평균 스파이크(실제로는 평균 잠재값)와 희소성은 변하지 않음. 이는 포아송 통계가 대사 비용을 내재하고 있음을 강력히 시사한다.

4. 정보 기하학적 해석

• 자연 파라미터: 포아송 → log λ, 피셔 정보 I=λ → 곡률이 λ에 비례.
• 가우시안: μ의 자연 파라미터는 σ⁻²·μ, 피셔 정보는 1/σ² (μ와 무관).
• 결과: 포아송은 파라미터 자체가 비용 메트릭이 되며, 이는 “활동이 많을수록 에너지 비용이 크게 증가”하는 생물학적 현실을 수학적으로 반영한다.

5. 이론·실험적 기여

1. 이론: 포아송 변분 추론이 대사 비용 항을 자동으로 생성한다는 증명을 제공하고, 이를 정보 기하학과 연결시켰다.
2. 실험: β와 잠재 차원 수에 대한 체계적 스위프를 통해 P‑VAE가 희소성을 조절함을 실증, Grelu‑VAE와의 대조 실험으로 포아송 특이성을 검증.
3. 응용 전망:
   • 에너지‑인식 AI: 스파이크 기반 뉴로모픽 하드웨어와 연계해, 연산량이 아닌 스파이크 변화량에 비례하는 전력 소비 모델을 설계 가능.
   • 생물학적 모델링: 뇌의 효율 코딩 메커니즘을 정량화하고, 신경과학 실험(예: 평균 발화율 조절)과 직접 연결할 수 있는 수학적 프레임워크 제공.

6. 한계 및 향후 연구 방향

• 스케일링: 현재 실험은 비교적 작은 이미지 데이터셋(예: MNIST, CIFAR‑10) 수준이며, 대규모 트랜스포머와의 직접 비교는 아직 수행되지 않음.
• 하드웨어 구현: 포아송 샘플링과 KL 비용 계산을 저전력 뉴로모픽 ASIC에 효율적으로 매핑하는 방법론이 필요.
• 다중 모달리티: 시각·청각·운동 정보가 결합된 복합 입력에 대해 포아송 VAE가 어떻게 비용‑정밀도 트레이드‑오프를 관리하는지 탐구할 여지가 있다.

**

📄 Content

현대 인공지능(AI)의 에너지 비효율성에 대한 비판적 고찰

현대 인공지능(AI)은 눈에 띄는 돌파구들을 연이어 달성하고 있으며, 그 속도는 전혀 둔화될 기미가 보이지 않는다. 그러나 이러한 성과는 심각한 대가를 동반한다. 주류 AI 모델들은 에너지 효율성이 매우 낮아 전 세계적인 지속 가능성 위협을 가중시키고 있다(Hao, 2025). Chat‑GPT와 같은 모델을 구동하는 데는 기가와트시(GWh) 단위의 전력이 소모되며, 에너지는 이제 AI 발전을 저해하는 피할 수 없는 병목 현상이 되고 있다(You & Owen, 2025). 이는 우리가 공학적으로 해결할 수 없는 근본적인 물리적 제약이며, 원리 수준에서 급히 해결책을 모색해야 할 시점이다.

주류 AI 시스템의 에너지 비효율성은 에너지와 연산을 분리(decoupling)하는 설계 원칙에서 비롯된다(Deacon, 2011; Landauer, 1961). 트랜스포머와 같은 아키텍처 내부에는 연산량을 에너지 소비와 연결시키는 메커니즘이 존재하지 않는다. 트랜스포머에서는 모든 토큰이 전압 관점에서 동일하게 취급되며, 이는 설계 자체가 낭비적인 구조임을 의미한다.

반면, 생물학적 계산은 에너지 효율성을 핵심 원칙으로 삼는다(Olshausen & Field, 1997; Quiroga et al., 2008; Sterling & Laughlin, 2015). 인간 뇌는 약 20 와트 정도의 전력만으로도 메가와트 규모의 데이터센터가 필요로 하는 연산을 수행한다(Balasubramanian, 2021). 이러한 효율성은 효율 코딩 가설에 의해 설명될 가능성이 높다(Barlow, 1961, 1972, 1989). 가설에 따르면 뇌는 환경 통계에 적응하여 대사 비용을 최소화한다(Simoncelli & Olshausen, 2001; Attwell & Laughlin, 2001; Olshausen & Field, 1996; Padamsey & Rochefort, 2023). 또 다른 가능성은 뇌의 표현 형태—이산적인 스파이킹 이벤트—가 연산 자체의 비용 구조를 결정한다는 점이다.

**신경형태소 컴퓨팅(Neuromorphic computing)**은 생물학적 계산과 인공 계산을 연결하려는 시도다(Mead, 2002). Intel의 Loihi와 같은 이벤트 구동 아키텍처는 이미 스파이크와 에너지 관점에서 “생각”한다(Davies et al., 2018). 그러나 아직도 미래 알고리즘·하드웨어 공동 설계를 안내할 엄밀한 이론적 토대가 부족하다. 이는 현재 시간·공간 복잡도에만 국한된 기존 이론 프레임워크를 넘어서는 에너지 인식 계산 이론의 필요성을 강조한다(Sipser, 2012; von Neumann, 1945). 최근 Aimone(2025)는 하드웨어 관점에서 이 문제에 접근했다. 그는 신경형태소 컴퓨팅이 전통적인 폰 노이만 아키텍처와는 근본적으로 다른 에너지 스케일링을 보인다고 주장한다. 전통 시스템에서는 에너지가 전체 알고리즘 작업량에 비례한다—연산 하나당 고정 비용이 발생한다. 반면 신경형태소 시스템에서는 상태 변화량에 비례한다; 뉴런이 스파이크하지 않고 상태가 변하지 않으면 에너지가 소모되지 않는다. Aimone(2025)는 또한 지배적인 에너지 항이 평균 발화율에 비례함을 보여 주었으며, 따라서 **희소성(sparsity)**이 효율성의 핵심 레버임을 강조했다. 그러나 이 분석은 하드웨어 측면에만 국한되며, 알고리즘·이론적 기반은 여전히 부재하다.

포아송 변분 추론(Poisson Variational Inference)이 제시하는 에너지‑인식 목표

우리는 포아송 변분 추론(Vafaii et al., 2024, 2025)이 에너지‑인식 목표를 자연스럽게 도출한다는 점을 보인다. 변분 자유 에너지(ELBO = ‑ℱ) 식은 모델 증거(좌변)와 변분 자유 에너지 목표(ELBO) 그리고 표준 KL 목표를 연결한다. 중요한 점은 좌변이 변분 파라미터 λ에 의존하지 않으므로, ℱ를 λ에 대해 최소화하면 원래의 KL 목표가 자동으로 최소화된다는 것이다. 즉,

[ \text{evidence}(x;\theta)= -\mathcal{F}(x;\theta,\lambda)+\mathrm{KL}(x;\theta,\lambda) ]

와 같이 표현된다. 여기서 왼쪽 항은 λ에 독립적이므로, ℱ를 λ에 대해 최소화하는 것이 곧 원래 KL 목표를 최소화한다는 의미다.

우리는 이를 표준 가우시안 변분 추론(Friston, 2005, 2009, 2010; Kingma & Welling, 2014)과 대비한다. 가우시안 경우에는 대사 비용 항이 전혀 등장하지 않는다. 정보 기하학(Amari, 2016)을 이용해 두 분포의 근본적인 차이를 설명한다:

• 포아송과 가우시안은 본질적으로 다른 기하학을 가진다. 포아송은 에너지‑연산 결합을 구현하는데, 이는 Aimone(2025)가 주장한 바와 일치한다.
• 실험을 통해 이론적 예측이 실제로 확인된다.

결과적으로, 우리는 확률론적 원리에서부터 포아송 가정 하의 변분 추론이 자발적인 대사 항을 생성한다는 것을 증명한다. 이 대사 항은 침묵(silence)을 저비용으로 만들고, 정보 전송률을 발화율에 연결한다. 이는 Aimone(2025)가 하드웨어 관점에서 도출한 “에너지 스케일링은 상태 변화량에 비례한다”는 주장과 놀라울 정도로 일치한다. 두 독립적인 논리 흐름—하드웨어와 정보 이론—이 수렴함으로써, 포아송 변분 추론은 에너지 소비를 핵심 고려사항으로 삼는 자원 제한 계산 이론의 유망한 기반이 된다.

표기법

• 스칼라 (s\in\mathbb{R}) → 소문자
• 벡터 (v\in\mathbb{R}^d) → 굵은 소문자
• 행렬 (M\in\mathbb{R}^{m\times n}) → 굵은 대문자
• 빨강/파랑 색코딩 → 각각 추론(인코더) / 생성(디코더) 구성 요소

뇌는 어떻게 베이즈 추론을 수행하는가

뇌는 그라운드 트루스에 접근할 수 없으므로, 부분적이고 잡음이 섞인 관측으로부터 세계 상태를 추정해야 한다. 이는 베이즈 정리로 모델링된다:

[ p(z\mid x)=\frac{p(x\mid z),p(z)}{p(x)} . ]

여기서 (x\in\mathbb{R}^M)은 관측 데이터(예: 이미지), (z)는 (K)‑차원 잠재 변수이며, 모든 분포 (p_{\text{brain}}(\cdot;\theta))는 주관적 신념을 나타낸다(뇌 내부 파라미터 (\theta)는 시냅스 가중치 등). 편의를 위해 “brain” 첨자를 생략한다.

베이즈 사후분포는 일반적으로 계산적으로 불가능하므로 근사화가 필요하다. 변분 추론(VI; Blei et al., 2017)은 이러한 근사를 제공한다. VI에서는 근사 사후분포 (q_\lambda(z\mid x))를 도입하고, KL 발산을 최소화한다:

[ \mathrm{KL}\bigl(q_\lambda(z\mid x),|,p(z\mid x)\bigr). ]

직접 KL을 최소화하려면 실제 사후분포가 필요하지만, 이는 불가능하다. 대신 증거 하한(Evidence Lower BOund, ELBO) 혹은 변분 자유 에너지 (\mathcal{F})를 최적화한다(ELBO = ‑ℱ). ELBO는 근사 사후, 사전, 가능도만으로 구성될 수 있다. ELBO를 최대화(또는 ℱ를 최소화)하면 원래 KL 목표가 자동으로 최소화된다. 자세한 유도는 부록을 참고한다.

자유 에너지 안의 두 KL 항

ELBO/ℱ 전개식에는 두 번째 KL 항이 등장한다. 이는 원래 KL(식 3)과는 다른 **코딩 레이트(KL)**를 의미한다. 즉, 사후가 사전보다 추가로 전달해야 하는 비트 수를 측정한다(Alemi et al., 2018; Hobson, 1969; Cover, 2006). 이후 “KL 항”이라 하면 이 코딩 레이트 KL (\mathcal{D}_{\mathrm{KL}}(\text{posterior},|,\text{prior}))만을 지칭한다.

세 개의 분포, 하나의 ℱ

ℱ를 완전히 정의하려면 다음 세 분포가 필요하다:

1. 근사 사후 (q_\lambda(z\mid x))
2. 사전 (p(z;\theta))
3. 조건부 가능도 (p(x\mid z;\theta))

머신러닝·신경과학에서는 편의상 가우시안을 선택하는 경우가 많다. 그러나 잠재 변수의 표현 형태는 사전·근사 사후 선택에 크게 좌우된다. 아래에서는 포아송을 선택했을 때 자유 에너지에 나타나는 흥미로운 수학적 특성을 보여준다.

뇌는 이산적인 스파이크 카운트로 정보를 표현한다. 이를 반영해 Vafaii et al.(2024) 은 𝒫‑VAE(Poisson VAE)를 제안했으며, 기존 가우시안 VAE(𝒢‑VAE; Kingma & Welling, 2014)의 잠재 변수를 포아송으로 교체했다.

변분 파라미터

• 𝒫‑VAE: (\lambda\in\mathbb{R}^K_{\ge0})는 각 모델 뉴런의 발화율 벡터.
• 𝒢‑VAE: 평균 (\mu\in\mathbb{R}^K)와 분산 (\sigma^2\in\mathbb{R}^K_{\ge0})를 모두 필요로 하므로 (\lambda\equiv(\mu,\sigma^2)).

인코더 네트워크는 입력 (x)를 받아 (\lambda(x)=\text{enc}(x;\phi))를 출력한다. 디코더·인코더 파라미터 (\theta,\phi)는 공동으로 (\mathcal{F}(x;\theta,\phi))를 최소화한다(식 1).

잔차 파라미터화 (Residual Parameterization)

𝒫‑VAE는 잔차 이득 조절 방식을 채택한다. 인코더는 잔차 게인 (\delta\lambda(x)=\text{enc}(x;\phi)\in\mathbb{R}^K_{\ge0})를 출력하

이 글은 AI가 자동 번역 및 요약한 내용입니다.