스파이럴 RoPE: 2D 평면에서 회전 기반 위치 인코딩 확장

초록

본 논문은 기존 비전 트랜스포머에서 사용되는 축축(AXIAL) 2D RoPE가 가로·세로 축에만 위치 정보를 인코딩한다는 한계를 지적하고, 임베딩 채널을 여러 방향 그룹으로 나누어 각 방향에 투영된 좌표에 따라 회전시키는 “Spiral RoPE”를 제안한다. 동일한 연산 비용과 파라미터 수를 유지하면서도 8개의 방향(예시)으로 주파수 커버리지를 확장해, 이미지 분류, 세그멘테이션, 생성 등 다양한 비전 과제에서 일관된 성능 향상을 달성한다.

상세 분석

Spiral RoPE는 기존 Axial 2D RoPE가 “축 제한(axial constraint)”이라는 근본적인 구조적 한계를 가지고 있음을 수학적·시각적으로 입증한다. Axial 방식은 임베딩 차원을 절반씩 나누어 x‑좌표와 y‑좌표에 각각 독립적인 회전 행렬을 적용한다. 이때 회전 각도는 1D RoPE와 동일한 주파수 집합을 사용하지만, 두 차원에 동일하게 할당되므로 실제로는 (±θ_t,0)와 (0,±θ_t) 형태의 주파수 벡터만 활용된다. 결과적으로 2‑D 푸리에 도메인에서 주파수 지원이 좌·우·상·하 축에만 몰려 있어, 대각선·비축 방향의 상대 위치 변화를 감지하지 못한다. 논문은 이를 “축 전용 주파수 분포”라 명명하고, 실제 FFT‑iFFT 복원 실험에서 원형 구조가 축에 맞춰 왜곡되는 현상을 보여 한계를 명확히 한다.

Spiral RoPE는 이러한 문제를 해결하기 위해 K개의 균등한 방향 ϕ_k (k=0…K‑1, ϕ_k = k·π/K) 를 정의하고, 각 방향에 대한 단위 벡터 u_k = (cosϕ_k, sinϕ_k)를 사용한다. 패치 위치 p=(p_x,p_y)를 각 방향에 투영한 스칼라 t_k(p)=p·u_k를 회전 각도로 사용함으로써, “투영 기반 회전”을 수행한다. 임베딩 차원을 K 그룹으로 나누어 각 그룹에 d/K 차원을 할당하고, 동일한 주파수 풀(pool) θ_t (t=0…d/4‑1)를 인터리브 방식으로 각 방향에 배분한다. 구체적으로 인접한 두 주파수를 쌍으로 묶고, 서로 직교하는 방향 쌍(k, k+K/2) 에 동일한 쌍을 순환적으로 할당한다. 이렇게 하면 K가 증가해도 전체 주파수 다양성(d/4)은 유지되면서, 각 방향마다 고유한 주파수 조합이 제공된다. 시각화된 2‑D 주파수 평면에서는 K=8일 때 나선형(spiral) 형태로 주파수 벡터가 퍼져 있어, 기존 축 한계를 넘어서는 “다방향 커버리지”를 확인할 수 있다.

연산 복잡도 측면에서 Spiral RoPE는 회전 연산 자체가 기존 Axial RoPE와 동일하게 d/2개의 2×2 회전 행렬을 적용하므로, FLOPs와 메모리 사용량이 변하지 않는다. 또한 추가 파라미터가 전혀 없으며, 구현도 기존 RoPE 코드에 K와 ϕ_k만 추가하면 된다.

실험에서는 Vision Transformer‑Base/Large 모델에 Spiral RoPE를 적용해 ImageNet‑1K(1k) 분류에서 Top‑1 정확도가 각각 +0.7%와 +1.0% 향상되었으며, ADE20K 세그멘테이션에서 mIoU가 +2.2%/+1.2% 상승했다. Diffusion Transformer 기반 이미지 생성에서는 FID가 3.9~5.8점 감소했다. 특히 훈련 해상도보다 큰 해상도에서의 외삽 성능이 눈에 띄게 개선되었으며, 이는 다방향 위치 정보가 스케일 변동에 더 강인함을 의미한다. 정량적 개선 외에도, 쿼리‑토큰 기반 어텐션 시각화에서 Spiral RoPE는 객체 경계에 더 집중된, 축소된 활성화 패턴을 보여준다. 이는 모델이 “시각적 구조”를 보다 정확히 파악한다는 질적 증거다.

한계점으로는 K값 선택이 데이터와 모델 규모에 따라 민감할 수 있다는 점이다. 논문에서는 K=8을 기본으로 사용했지만, K가 지나치게 크면 각 그룹당 차원이 감소해 개별 주파수 해상도가 낮아질 위험이 있다. 또한, 현재는 2‑D 평면에만 적용되었으며, 3‑D 비디오나 멀티모달 시나리오에 대한 확장은 추가 연구가 필요하다.

전반적으로 Spiral RoPE는 “방향성 확장”이라는 간단하지만 강력한 아이디어를 통해, 기존 RoPE의 장점(상대 위치 인코딩, 길이 외삽)은 그대로 유지하면서 비전 트랜스포머의 공간 인식 능력을 크게 향상시킨다.