바닐라 그룹 등변 비전 트랜스포머: 간단하고 강력한 설계

초록

본 논문은 패치 임베딩, 셀프‑어텐션, 위치 인코딩, 다운/업 샘플링 등 비전 트랜스포머(ViT)의 핵심 모듈을 그룹 등변성(90도 회전·반사)으로 변환하는 간단한 프레임워크를 제안한다. 등변 CNN 기반 패치 임베딩과 등변 선형 레이어를 이용해 셀프‑어텐션과의 조화를 이루고, 그룹 차원에서 파라미터 공유와 특수 재배열 전략으로 위치 인코딩과 리샘플링을 설계한다. 이 구조는 기존 ViT와 Swin‑Transformer에 플러그인 형태로 적용 가능하며, 이론적 등변성 증명과 함께 다양한 비전 과제에서 성능·데이터 효율성을 향상시킨다.

상세 분석

이 논문은 비전 트랜스포머(ViT) 설계에 대칭(회전·반사) 선형성을 명시적으로 삽입함으로써, 기존의 데이터 증강 의존성을 근본적으로 감소시키려는 시도이다. 핵심 아이디어는 입력 이미지에 대해 그룹 G (예: C₄ 회전·반사) 의 모든 변환을 동시에 고려하는 “그룹 차원”을 도입하고, 이 차원을 따라 파라미터를 순환적으로 공유하는 것이다.

1️⃣ EQ‑Patch Embedding: 기존 2D Conv + stride s 로 패치를 토큰화하던 방식을, 등변 컨볼루션(그룹 컨볼루션)으로 대체한다. 입력 x 에 대해 각 변환 g∈G 에 대한 변환 π_g(x) 를 적용하고, 동일한 커널 ψ 으로 컨볼루션한 뒤, 결과를 그룹 차원 t (=|G|)에 쌓는다. 이렇게 하면 이미지가 g 에 의해 회전·반사될 때, 출력 텐서는 동일한 순환 이동만을 보이며, 예측 가능한 변환 관계가 유지된다.

2️⃣ EQ‑Self‑Attention: 토큰 z∈ℝ^{N×c×t} 에 대해, 각 그룹 슬라이스 z_g 에 별도의 선형 변환 W_q^g, W_k^g, W_v^g 을 적용한다. 논문은 이들을 “타일링”해 하나의 큰 행렬 W∈ℝ^{ct×ct} 로 만든 뒤, 전체 텐서 Z∈ℝ^{N×ct} 와 곱함으로써 파라미터를 순환 공유한다. 이렇게 하면 쿼리·키·밸류의 변환도 그룹 차원에서 순환적으로 이동하므로, 어텐션 매트릭스 A 는 입력 변환에 대해 동일하게 회전·반사된다. 다중 헤드 어텐션도 동일한 원리로 확장 가능하다.

3️⃣ Equivariant Positional Encoding: 절대 위치 인코딩은 각 위치 p 의 궤도 O(p) 내 모든 좌표가 동일한 임베딩을 갖도록 설계한다. 궤도 내 사전순 최소 원소 p_c 를 “정규 형태”로 정의하고, p_c 에 대한 임베딩을 공유함으로써 회전·반사에 대한 등변성을 보장한다. 상대 위치 인코딩(예: Swin‑Transformer의 윈도우 바이어스) 역시 그룹 차원에서 동일한 바이어스를 적용하도록 재구성한다.

4️⃣ Down/Up‑Sampling: Swin‑Transformer의 윈도우 기반 샘플링을 그룹‑시프트 연산과 결합한다. 다운샘플링 단계에서 각 그룹 슬라이스를 동일한 풀링/스트라이드 연산으로 처리하고, 이후 그룹 차원을 다시 정렬해 주면, 공간 해상도 변화와 동시에 그룹 변환이 일관되게 유지된다.

이론적 기여는 두 가지 주요 정리를 제시한다. 첫째, 각 모듈이 그룹 G 에 대해 등변성을 만족함을 증명하고, 둘째, 전체 네트워크가 모듈별 등변성의 합성으로 전체 등변성을 유지한다는 점이다. 또한, 파라미터 공유로 인해 모델 용량이 감소하면서도 일반화 오차가 이론적으로 감소한다는 분석을 제공한다.

실험에서는 ImageNet‑1K, CIFAR‑10/100, COCO, DIV2K 등 다양한 데이터셋에서 기본 ViT‑Base, ViT‑Large, Swin‑Tiny/Small/Base에 적용하였다. 동일한 학습 설정 하에 등변 버전은 Top‑1 정확도 0.51.2 % 상승, 데이터 양을 1/4 수준으로 줄였을 때도 기존 모델과 동등하거나 더 나은 성능을 보였다. 이미지 복원(슈퍼‑해상도)에서도 PSNR/SSIM이 평균 0.10.3 dB 향상되었다.

결과적으로, 이 프레임워크는 “플러그‑앤‑플레이” 방식으로 기존 ViT 계열에 쉽게 삽입 가능하며, 복잡한 구조 변형 없이도 그룹 등변성을 확보한다는 점에서 실용성이 높다.