스케일드 닷프로덕트 어텐션을 입력 표면 투영으로 재해석

초록

본 논문은 스케일드 닷프로덕트 어텐션(SDPA)을 입력 벡터들의 거리 기반 가우시안 가중치로 표현된 투영 연산으로 수학적으로 변형한다. 이를 통해 SDPA가 시간·맥락에 따라 변하는 저차원 표면 위에 입력을 투사함을 보이며, 기존 “쿼리·키·밸류” 해석과 차별화된 의미론적·신호처리적 해석을 제공한다. 실험에서는 변형된 구현이 약간의 속도 향상을 보였지만 정확도는 기존 SDPA에 비해 다소 낮았다.

상세 분석

본 연구는 SDPA의 핵심 연산 y = softmax(q kᵀ/√d) v 를 ‟거리‑가우시안” 형태로 재작성함으로써, 쿼리와 키 벡터 사이의 내적을 ‟유클리드 거리”로 대체한다. 레이어 정규화가 ‟‖q‖ = ‖k‖ = 1”을 보장함에 따라, q·kᵀ = 1 − ‖q − k‖²/2 로 변환되고, softmax는 ‟e^{−‖q−k‖²/(2σ²)}” 형태의 가우시안 확률밀도로 해석된다. 따라서 각 출력 y_i는 주변 키 벡터들의 가우시안 가중합으로, 입력 공간에 존재하는 저차원 표면(또는 매니폴드) 위로 투영되는 연산과 동일하다. 이 해석은 다음과 같은 중요한 시사점을 제공한다. 첫째, SDPA는 기존 신호처리에서 흔히 사용되는 FIR 필터와 유사하게 최근 입력들의 히스토리를 유지하며, 가중치는 거리 기반 가우시안 커널에 의해 결정된다. 둘째, σ 파라미터를 학습하거나 시간에 따라 가중치를 감쇠시키면 IIR 형태의 연산으로 확장 가능하므로, 장기 의존성을 더 효율적으로 모델링할 수 있다. 셋째, 다중 헤드 어텐션은 서로 다른 서브스페이스에 대한 독립적인 투영을 수행하고, 최종 선형 결합을 통해 풍부한 표현을 얻는다. 실험에서는 스페인어‑영어 번역 과제에 변형된 구현을 적용했으며, 학습 속도는 기존 SDPA 대비 약 25 % 가량 빨라졌지만 최종 정확도와 손실은 미세하게 낮았다. 이는 가우시안 가중치가 소프트맥스의 정규화 특성을 완전히 대체하지 못하고, 학습 초기에 더 큰 변동성을 야기할 수 있음을 시사한다. 또한, 변형된 형태는 파라미터가 거의 없으며(σ 제외) 학습 효율성에 큰 영향을 주지 않으므로, 실제 적용 시 이점은 제한적일 수 있다. 마지막으로, 논문은 연속시간 버전과 IIR 확장 가능성을 제시하지만, 계산 복잡도와 메모리 요구량이 급격히 증가할 위험을 경고한다. 전반적으로, SDPA를 투영 연산으로 재해석함으로써 신호처리·동적 시스템 이론과의 연결 고리를 제공하고, 새로운 변형 및 최적화 방향을 탐색할 수 있는 이론적 기반을 마련했다.