초거대 모델의 초월적 효율성: 슈퍼포지션 연산 복잡도와 한계

초록

본 논문은 신경망이 하나의 뉴런보다 많은 특징을 동시에 계산하는 ‘슈퍼포지션’ 현상의 이론적 한계를 규명한다. 정보이론적 하한을 통해 m′개의 특징을 슈퍼포지션으로 계산하려면 최소 Ω(√(m′ log m′)) 개의 뉴런과 Ω(m′ log m′) 개의 파라미터가 필요함을 보인다. 반대로, 논문은 논리 연산(예: 쌍별 AND, 순열)들을 O(√m′ log m′) 뉴런, O(m′ log² m′) 파라미터로 구현하는 상한 알고리즘을 제시한다. 이 결과는 뉴런 수 n 에 대해 계산 가능한 특징 수가 O(n²/ log n) 으로 제한된다는 새로운 서브지수적 용량 상한을 제공한다.

상세 분석

이 연구는 ‘슈퍼포지션’이라는 개념을 두 가지 관점에서 명확히 구분한다. 첫 번째는 특징을 단순히 표현하는 수동적 인코딩이며, 두 번째는 입력 특징을 논리적으로 변환해 새로운 특징을 생성하는 능동적 연산이다. 저자는 후자를 중심으로 복잡도 이론을 적용해 두 가지 주요 결과를 도출한다.

먼저 하한 증명은 일반화된 신경망 모델을 정의하고, 파라미터의 기술 길이가 함수 공간을 얼마나 다양하게 만들 수 있는지를 Kolmogorov 복잡도와 정보 이론을 이용해 분석한다. 특히, 2‑AND 문제와 순열 문제를 대상으로, 정확한 계산 혹은 일정 오류 허용 하에서도 파라미터 기술 길이가 최소 Ω(m′ log m′) 비트를 필요로 함을 보인다. 파라미터당 상수 비트만을 사용할 경우, 이는 뉴런 수가 Ω(√(m′ log m′)) 보다 작을 수 없다는 직접적인 하한으로 이어진다. 이 하한은 입력과 출력 모두가 슈퍼포지션에 놓인 상황, 즉 특징 희소도 v = 2 (각 입력에 활성화된 비트가 두 개 이하) 를 가정한다.

상한 측면에서는 저자들이 실제 구현 가능한 네트워크 구조를 제시한다. 핵심 아이디어는 ‘특징 영향도(feature influence)’를 정의하고, 영향을 기준으로 AND 연산을 세 그룹으로 나눈 뒤 각각에 맞는 전용 채널을 할당하는 것이다. 낮은 영향도(≤ m′/4) 그룹은 다수의 슈퍼포지션 채널에 입력을 라우팅하고, 각 채널에서 AND 연산을 수행한다. 중간·높은 영향도 그룹은 보다 복잡한 매핑을 통해 파라미터 수를 최소화한다. 전체 설계는 O(1) 레이어 깊이와 O(1) 비트 평균 파라미터 설명 길이를 유지하면서, 뉴런 수 n = O(√m′ log m′), 파라미터 수 P = O(m′ log² m′) 를 달성한다.

이론적·실험적 함의를 살펴보면, 첫째, 뉴런 수 n 에 대해 계산 가능한 특징 수가 O(n²/ log n) 으로 제한된다는 서브지수적 용량 상한은 기존의 Johnson‑Lindenstrauss 기반 ‘패시브’ 표현(2^O(n) 특징)과 큰 격차를 만든다. 즉, 실제 연산을 수행하려면 표현 능력보다 훨씬 많은 리소스가 필요함을 의미한다. 둘째, 모델 압축(양자화, 프루닝, 지식 증류) 시 파라미터 수가 감소하면 반드시 연산 가능한 특징 수도 하한에 의해 제한되므로, 압축률에 대한 근본적인 한계가 존재한다. 셋째, 제시된 상한 알고리즘은 실제 훈련된 소형 네트워크에서도 유사한 구조가 자연스럽게 나타난다는 선행 연구와 일치한다(Adler et al., 2024). 이는 메커니즘 해석 연구에서 ‘특징 채널’이라는 개념이 실제 학습 과정에서 활용될 가능성을 시사한다.

마지막으로, 논문은 기존 연구와 차별화되는 점을 강조한다. Vaintrob 등(2023)의 k‑AND 단일 레이어 모델은 입력만 슈퍼포지션이고 출력은 단일 뉴런에 매핑했지만, 본 연구는 입력·출력 모두를 슈퍼포지션에 두어 보다 현실적인 상황을 모델링한다. 또한, 하한 증명에 VC‑dimension 기반 가정을 전혀 두지 않고 정보‑이론적 접근을 사용함으로써, 활성화 함수나 연결 구조에 독립적인 일반성을 확보했다. 이러한 점들은 향후 신경망 설계, 압축, 그리고 메커니즘 해석에 중요한 이론적 토대를 제공한다.