포지셔널 인코딩 메커니즘 해부와 학습 편향

초록

이 논문은 트랜스포머의 위치 인코딩을 가산형과 곱셈형으로 구분하고 두 방식이 어텐션 로그잇에 미치는 구조적 차이를 토플릿 행렬 이론으로 분석한다 가산형은 위치 편향을 직접 더하고 곱셈형인 RoPE는 토플릿 커널을 하다드 곱으로 전체 콘텐츠 상호작용을 조절한다 실험을 위해 위치‑내용 결합이 필수인 합성 과제를 설계했으며 RoPE가 해당 과제에서 우수한 성능을 보임을 확인한다 또한 얕은 층에서 위치 정보를 단일 헤드에 집중시키는 “single‑head deposit pattern”이라는 학습 편향을 발견하고 이는 곱셈형 인코딩의 본질적 특성임을 증명한다

상세 분석

논문은 먼저 토큰 표현을 내용 성분과 위치 성분으로 분해하는 가정 하에 어텐션 점수 행렬을 네 개의 내적 항으로 전개한다 이때 가산형 위치 인코딩은 내용‑위치 교차 항을 제외하고 위치‑위치 내적 혹은 별도 바이어스 행렬 B 를 토플릿 형태로 추가한다 반면 RoPE와 같은 곱셈형은 모든 내적 항에 동일한 토플릿 커널 G_e 를 하다드 곱으로 결합한다 이 구조적 차이는 두 가지 중요한 효과를 만든다 첫째 가산형은 위치 정보가 제한된 부분에만 영향을 미치므로 내용과 위치의 결합이 약하고 학습 시 여러 헤드에 고르게 분산된다 둘째 곱셈형은 토플릿 커널이 콘텐츠 전체에 스칼라 가중치를 부여하므로 특정 거리에서 특정 내용이 강조되는 패턴을 쉽게 학습한다 이러한 강력한 결합 메커니즘이 바로 논문이 제시한 “single‑head deposit pattern”의 원인이다 얕은 층에서 하나의 헤드가 위치‑내용 상관을 거의 전담하게 되며 나머지 헤드는 순수 콘텐츠 처리에 집중한다 이 현상은 실험적으로 RoPE를 일부 헤드에만 적용하거나 절대 위치 인코딩을 혼합했을 때 사라지는 것으로 확인된다 또한 토플릿 행렬의 스펙트럼 특성을 이용해 거리 감쇠와 번역 불변성을 정량적으로 설명하고, 곱셈형이 학습 초기에 빠른 수렴을 보이지만 깊은 층에서는 일반화 격차가 발생할 수 있음을 이론적으로 제시한다 마지막으로 합성 과제에서 RoPE가 위치‑내용 의존성을 요구하는 문제에서 현저히 높은 정확도를 기록하고, 위치와 무관한 카운팅 과제에서는 가산형이 더 나은 결과를 보이는 점을 통해 두 인코딩 방식의 장단점을 실험적으로 뒷받침한다