신경망 시대의 뉴로모픽 엔지니어링: 대규모 언어 모델을 넘어서는 생물학적 영감

초록

본 논문은 대규모 언어 모델(LLM)의 급격한 성장으로 인한 연산·에너지 요구를 해결하기 위해, 기존의 MAC 중심 최적화 대신 생물학적 원리를 재조명한다. 인간 두뇌와 인공지능 시스템의 토큰‑레벨·시냅스‑레벨 효율을 비교하고, 메모리 용량·배치 처리·인‑시투 학습 등 현재 AI가 직면한 구조적 한계를 지적한다. 이후 저자는 저전력 메모리 통합, 비배치 인퍼런스, 아날로그‑디지털 혼합 연산, 그리고 지속적 학습 메커니즘 등 뉴로모픽 엔지니어링이 제공할 수 있는 구체적 연구 방향을 제시한다.

상세 분석

논문은 먼저 LLM이 요구하는 연산량과 에너지 소비를 인간 뇌와 직접 비교함으로써 “MAC만 최적화하면 충분하다”는 기존 산업적 관점을 비판한다. 토큰‑레벨 효율 분석에서는 NVIDIA H100 GPU가 100 W 수준의 전력을 소모하지만, 인간 뇌는 약 20 W만 사용한다는 사실을 지적한다. 그러나 단순 전력 대비 연산량만으로는 공정한 비교가 불가능하므로, 저자는 “단어당 에너지(J/word)”와 “시냅스당 연산(ops/W)” 두 가지 정량적 지표를 도입한다. 공개된 12개 LLM의 토큰당 에너지 측정 결과, 최신 GPU 기반 LLM은 인간보다 토큰당 에너지 소비가 낮으며, 이는 배치 처리와 고밀도 메모리 계층 구조 덕분이라고 설명한다.

시냅스‑레벨 효율에서는 인간 뇌가 3.5~35 TOPS/W(테라 연산/와트) 범위에 해당한다는 추정치를 제시하고, 현재 170개 AI 가속기 중 다수가 이 하한선 이하에 머물고 있음을 그래프로 보여준다. 4‑8비트 정밀도 연산을 활용한 최신 가속기는 이 한계에 근접하거나 초과하고 있지만, 여전히 메모리 비용과 배치 의존도가 높다.

핵심적인 메모리 제약은 논문의 중심 논점이다. LLM 실행 시 파라미터와 중간 결과를 저장하기 위해 수십 GB의 HBM이 필요하고, SRAM 기반 캐시가 차지하는 면적은 공정 축소에 한계가 있다. 메모리 대역폭과 이동 비용이 연산 효율을 좌우하며, 이는 “메모리 월”이라 불리는 병목 현상으로 이어진다. 저자는 systolic array와 같은 대안 아키텍처가 파라미터를 로컬 메모리에 고정시키고 데이터 이동을 최소화하려 하지만, 여전히 외부 DRAM 의존도가 존재함을 지적한다.

배치 처리와 레이턴시 트레이드오프도 상세히 논의된다. 배치를 크게 하면 토큰당 에너지 효율은 향상되지만, 사용자 응답 시간은 증가한다. 인간 뇌는 배치 없이도 저레벨 레이턴시와 지속적인 학습을 수행한다는 점에서, 비배치 인퍼런스와 실시간 학습 메커니즘이 뉴로모픽 설계의 중요한 목표가 된다.

마지막으로 저자는 세 가지 주요 연구 방향을 제시한다. 첫째, 밀도 높은 저전력 메모리(예: 비휘발성 저항 메모리, 스핀트로닉스 기반 메모리)와 연산 유닛을 3D 적층하여 메모리·연산 통합을 실현한다. 둘째, 아날로그‑디지털 혼합 연산을 통해 시냅스 수준의 곱셈을 물리적 전류 흐름으로 구현, 디지털 변환 오버헤드를 최소화한다. 셋째, 인‑시투 학습 및 지속적 적응을 위한 로컬 가중치 업데이트 메커니즘을 설계해 배치 의존성을 감소시키고, 환경 변화에 즉각 대응할 수 있는 AI 시스템을 만든다. 이러한 접근은 현재의 MAC‑중심 최적화와는 근본적으로 다른 패러다임을 제시하며, LLM 시대에 뉴로모픽 엔지니어링이 차지할 잠재적 역할을 강조한다.