쿼리키 상호작용을 대비적 공분산으로 해석하기

초록

본 논문은 트랜스포머의 어텐션 헤드에서 쿼리와 키 사이의 상호작용을 ‘대비적 공분산(contrastive covariance)’ 기법으로 저차원, 인간이 해석 가능한 서브스페이스로 분해한다. 간단한 토이 모델과 실제 대형 언어 모델(Llama 3.1‑8B, Qwen 3‑4B)에서 잠재적인 의미 카테고리와 바인딩 특성을 찾아내고, 이러한 서브스페이스가 어텐션 점수에 어떻게 기여하는지를 정량화한다.

상세 분석

이 논문은 트랜스포머 어텐션 메커니즘을 “쿼리‑키(QK) 공간”이라는 이차원(쌍선형) 표현으로 재해석한다. 기존 연구는 어텐션 스코어가 단일 스칼라값으로 요약돼 토큰 간 상호작용을 파악하기 어렵다고 지적했지만, 저자는 Q와 K가 각각 d_head 차원의 벡터라면 QK 공간은 d_head × d_head 차원의 행렬이며, 여기에는 다양한 잠재 특성이 겹쳐 있을 수 있다고 가정한다. 핵심 아이디어는 특정 잠재 변수(예: z₁, z₂)가 쿼리와 키에 동시에 나타날 때와 나타나지 않을 때를 대비시켜 공분산 차이를 계산하는 것이다. 이를 위해 “양성(key⁺)”, “음성(key⁻)” 조건을 정의하고, 각각에 대해 E