WINA: 가중치 기반 뉴런 활성화로 LLM 추론 가속

초록

WINA는 훈련 없이도 대형 언어 모델(LLM) 추론 시 희소 활성화를 가능하게 하는 프레임워크이다. 기존 방법이 은닉 상태의 절대값만을 기준으로 뉴런을 선택한다면, WINA는 은닉 상태 크기와 가중치 행렬의 열별 ℓ₂‑노름을 동시에 고려한다. 이를 통해 이론적으로 더 긴밀한 근사 오차 상한을 제공하고, 실험적으로 TEAL 등 최신 방법보다 동일 희소도에서 평균 2.94 %까지 높은 정확도를 달성한다.

상세 분석

WINA의 핵심 아이디어는 “활성화 강도 × 가중치 영향력”이라는 복합 점수를 사용해 상위 K개의 뉴런만을 남기는 것이다. 구체적으로 각 레이어 l의 입력 벡터 x와 가중치 행렬 W⁽ˡ⁾의 열별 ℓ₂‑노름 c를 계산한 뒤, 원소별 곱 x ⊙ c의 절대값을 기준으로 Top‑K 마스크 g를 만든다. 이는 기존의 단순 magnitude‑threshold 방식과 달리, 해당 입력이 다음 레이어에 미치는 영향을 정량화한다는 점에서 의미가 크다.

이론적 분석에서는 두 가지 주요 결과를 제시한다. 첫째, Lemma 3.1은 열이 서로 직교( WᵀW 가 대각 행렬)인 경우, 단일 선형 레이어에서 위의 선택 기준이 최소 ℓ₂ 오차를 보장한다는 최적성을 증명한다. 둘째, Theorem 3.2는 L‑layer 선형 네트워크에 대해 동일한 직교 가정 하에, 전체 출력 오차 E(x;G) 에 대한 상한 U(x;G) 를 구하고, 이 상한을 최소화하는 것이 각 레이어에서 위의 Top‑K 선택과 동일함을 보인다. 즉, WINA는 근사 오차 상한을 직접 최소화하는 알고리즘으로 해석될 수 있다.

실험 설계는 두 단계로 나뉜다. 첫 번째는 가중치 직교성을 강제한 합성 네트워크에서의 근사 오차 비교이다. 표 2에서 보여지듯, 25 %~65 % 희소도 전 범위에서 WINA는 CA‑TS/TEAL, R‑Sparse에 비해 평균 50 % 정도 낮은 ℓ₂ 오차를 기록한다. 두 번째는 실제 LLM(Llama‑2‑7B, Llama‑3‑8B, Mistral‑7B, Phi‑4‑14B)에서 다양한 벤치마크(commonsense, reasoning, math, code)와 여러 sparsity 레벨을 적용한 평가이다. 동일 sparsity에서 WINA는 평균 0.8 %~2.9 % 정도 정확도 향상을 보이며, 특히 70 % 이상 높은 희소도에서도 성능 저하가 최소화된다. 또한 4‑bit·8‑bit 양자화와 결합했을 때도 경쟁 메서드 대비 속도‑정밀도 트레이드오프가 우수함을 확인했다.

한편, 가정의 현실성에 대한 비판도 존재한다. 열 직교성은 실제 트랜스포머 가중치에 자연스럽게 존재하지 않으며, 논문에서는 사전 오프라인 변환을 통해 강제한다. 이 변환이 모델의 표현력을 얼마나 보존하는지는 추가 실증이 필요하다. 또한 Top‑K 선택이 고정된 K값에 의존하므로, 입력마다 동적으로 최적 sparsity를 찾는 메커니즘이 없다는 점도 한계로 지적될 수 있다. 그럼에도 불구하고, 훈련‑free라는 큰 장점과 이론적 근거가 결합된 WINA는 현재 LLM 추론 가속 분야에서 실용적인 베이스라인으로 자리매김할 가능성이 크다.