주의 출력 투영을 재고한다 효율적인 트랜스포머를 위한 구조적 하다마드 변환

초록

본 논문은 멀티헤드 어텐션의 출력 투영을 고정된 파라미터 없이 구현 가능한 Walsh‑Hadamard Transform(WHT)와 대각선 스케일링·바이어스로 대체한다. 이를 통해 각 어텐션 블록당 약 25 %의 파라미터를 절감하면서도 정규 직교 변환으로 전 헤드 간 상호작용을 유지한다. 실험 결과, 동일 FLOP 예산에서 WHT 기반 모델이 더 빠른 학습 수렴과 낮은 검증 손실을 보이며, 모델·배치·시퀀스 길이가 커질수록 메모리 사용량과 처리량에서 이점이 확대된다.

상세 분석

이 연구는 트랜스포머의 핵심 구성 요소인 멀티헤드 어텐션(MHA)에서, 헤드별 출력들을 결합하는 dense (d\times d) 프로젝션이 파라미터와 연산량을 크게 차지한다는 점에 주목한다. 기존 방식은 (O(d^2)) 연산과 (d^2) 개의 학습 파라미터를 요구해 모델 규모가 커질수록 과잉 파라미터화(over‑parameterization) 문제가 심화된다. 저자들은 이를 해결하기 위해 고정된 Walsh‑Hadamard 행렬 (H)를 이용한 Fast Walsh‑Hadamard Transform(FWHT)을 도입한다. (H)는 (\pm1) 로 구성된 직교 행렬이며, (H^\top H = I) 를 만족해 입력의 (\ell_2) 노름을 보존한다. 따라서 헤드 간의 전역적인 혼합을 완전하게 수행하면서도 학습 가능한 가중치를 전혀 추가하지 않는다.

구조적 변환 뒤에는 차원별 스케일링 벡터 (\alpha)와 바이어스 (\beta)를 element‑wise ( \odot ) 연산으로 적용한다. 이는 (d) 차원의 대각선 행렬을 학습함으로써, 완전한 dense (W_O) 와 동일한 표현력을 유지하면서도 파라미터 수를 (d) 로 감소시킨다. 파라미터 절감 비율은 (\frac{d^2 - d}{4d^2}\approx 25%) 로, 모델 차원이 512 이상이면 오차가 무시할 수준이다.

연산 복잡도 측면에서, dense (W_O) 곱셈은 (O(d^2)) 플롭을 요구하지만, FWHT는 (O(d\log d)) 로 감소한다. 이는 특히 대규모 모델(예: (d=2048))에서 80배 정도의 FLOP 절감 효과를 보이며, 실제 GPU에서의 메모리 대역폭 및 캐시 효율을 크게 향상시킨다. 또한, 직교 변환 특성 덕분에 역전파 시에도 동일한 (O(d\log d)) 복잡도를 유지한다.

실험에서는 NanoGPT 기반의 디코더‑전용 트랜스포머를 다양한 규모(124M ~ 1.3B 파라미터)로 구현하고, 동일 학습 스케줄·하이퍼파라미터 하에서 WHT 변형과 기존 dense 변형을 비교했다. 결과는 다음과 같다. ① 검증 손실 대비 FLOP 곡선이 WHT 모델에서 더 가파르게 하강해, 동일 학습 비용에서 더 높은 수렴 품질을 달성한다. ② 파라미터 수가 5 ~ 7 % 감소함에도 불구하고, zero‑shot 언어 이해 벤치마크(PIQA, HellaSwag, ARC‑Easy, BLiMP)에서 성능 차이가 거의 없으며, 일부 경우 미세하게 우위를 점한다. ③ 프리필 단계와 디코딩 단계 모두에서 처리량이 5 ~ 7 % 향상되고, 피크 메모리 사용량이 감소해 같은 GPU에서 더 큰 배치를 실행할 수 있다.

이러한 결과는 “dense output projection은 과잉 파라미터화된 선택적 설계”라는 가설을 강력히 뒷받침한다. 직교성에 기반한 구조적 혼합은 모델이 각 헤드에 서로 보완적인 정보를 학습하도록 유도하고, 학습 초기 단계에서의 표현 다양성을 자연스럽게 촉진한다. 또한, 파라미터 절감이 메모리 바운드 환경에서 직접적인 비용 절감으로 이어지므로, 대규모 LLM 서비스나 제한된 하드웨어에서의 효율적인 배포에 실질적인 이점을 제공한다. 향후 연구는 WHT와 다른 구조적 변환(예: 고정된 DCT, FFT) 간의 비교, 그리고 비정형 토큰 길이·다중모달 입력에 대한 적용 가능성을 탐색할 여지를 남긴다.