변형된 계산 밀도와 트랜스포머 LLM 분석

초록

본 논문은 트랜스포머 기반 대형 언어 모델(LLM)의 실제 연산량을 정량화하기 위해 ‘계산 밀도’ 추정기를 제안한다. 메커니즘 해석 기법인 Information Flow Route를 활용해 입력마다 필요한 서브그래프(트레이스)를 자동으로 추출하고, 전체 그래프 대비 트레이스 크기와 출력 분포 보존 정도(TV 거리)를 이용해 밀도를 측정한다. 13개 모델에 대한 실험 결과, 평균적으로는 높은 밀도(즉, 거의 전체 그래프가 사용)임을 보였으며, 입력 특성에 따라 밀도가 동적으로 변한다는 사실도 확인했다. 희귀 토큰 예측 시 밀도가 높아지고, 컨텍스트 길이가 늘어날수록 밀도가 감소하는 경향이 관찰되었다.

상세 분석

이 연구는 LLM의 연산이 실제로는 얼마나 ‘희소’한지에 대한 근본적인 질문에 메커니즘 해석 도구를 적용함으로써 새로운 접근법을 제시한다. 기존의 프루닝 연구는 모델 전체의 파라미터를 정적 혹은 동적으로 제거하는 데 초점을 맞추었지만, 본 논문은 ‘필요한 연산 경로’를 직접 측정한다는 점에서 차별화된다. 구체적으로, 트랜스포머를 토큰‑레벨의 그래프(V, E)로 모델링하고, 각 엣지의 L1 노름을 중요도 점수로 사용해 역방향 탐색을 수행한다. 이때 임계값 τ를 조절함으로써 트레이스 크기 s를 다양하게 설정하고, 각 s에 대해 전체 출력 분포와의 TV 거리 δ_TV를 계산한다. 밀도 ρ는 δ_TV(s) 곡선의 면적을 적분해 정의되며, ρ가 클수록 ‘밀집’한 연산이 필요함을 의미한다. 실험에서는 1B~13B 파라미터 규모의 13개 모델을 대상으로 ρ를 추정했으며, 대부분의 경우 ρ가 0.7 이상으로 높은 편이었다. 이는 기존에 가정되던 ‘대부분의 연산이 불필요하게 사용된다’는 주장과는 반대되는 결과다. 흥미롭게도, 동일 입력에 대해 서로 다른 모델이 유사한 밀도 분포를 보였으며, 이는 입력 자체가 연산 요구량을 결정한다는 강력한 증거로 해석된다. 추가 분석에서는 (1) 토큰의 빈도와 밀도 간의 양의 상관관계, (2) 컨텍스트 길이가 늘어날수록 밀도가 감소하는 현상, (3) 출력 엔트로피(불확실성)와 밀도가 높은 상관을 발견했다. 이러한 패턴은 ‘희귀하거나 불확실한 예측일수록 더 많은 연산 자원이 소모된다’는 직관과 일치한다. 마지막으로, 트레이스 자체를 완전히 제거했을 때 성능 급락을 확인함으로써 추출된 서브그래프가 실제로 모델 출력을 재현하는 데 필수적임을 입증했다. 전체적으로, 이 논문은 LLM의 연산 구조를 정량적으로 파악하고, 동적 연산량 조절 및 효율적인 프루닝 전략 개발에 중요한 기초 데이터를 제공한다.