SVDA 기반 해석 가능한 비전 트랜스포머

초록

본 논문은 기존 Vision Transformer(ViT)의 주의 메커니즘을 SVD‑Inspired Attention(SVDA)으로 교체하여, 주의 맵의 구조화·희소성·스펙트럴 해석 가능성을 향상시킨다. CIFAR‑10/100, FashionMNIST, ImageNet‑100 네 가지 벤치마크에서 정확도는 유지하면서, 제안된 여섯 가지 해석 지표를 통해 보다 직관적인 주의 패턴을 확인한다.

상세 분석

SVDA는 전통적인 점곱 기반 자기‑주의를 Q·K·V 행렬에 대한 소프트 정규화와 대각 스펙트럼 행렬 Σ를 도입함으로써 SVD 형태를 모방한다. Q와 K는 행별 ℓ2 정규화를 거쳐 방향 정보를 보존하고, Σ는 각 잠재 차원의 중요도를 학습한다. 이 구조는 (1) 방향성(angular alignment)과 (2) 스펙트럼 중요도( spectral entropy, effective rank) 를 명확히 분리함으로써, 주의 맵이 토큰 간 거리보다 차원별 기여도에 따라 가중되는 형태를 만든다.

논문은 SVDA를 ViT 파이프라인에 최소한의 변형만 적용한다. 패치 임베딩, 위치 인코딩, 레이어 정규화 등 기존 설계는 그대로 유지하면서, 각 어텐션 블록에서 점곱 대신 Q Σ Kᵀ 연산을 수행한다. 이를 위해 저비용 정규화 항(orthogonality regularization)과 스펙트럼 엔트로피 정규화가 추가되었으며, 파라미터 증가량은 0.04% 미만이다.

실험에서는 4‑layer·4‑head(패션MNIST, CIFAR‑10/100)와 8‑layer·2‑head(ImageNet‑100) 구성을 사용했으며, 학습 시간은 약 10‑20% 증가했지만 MACs는 오히려 감소했다. 이는 현재 GPU 최적화가 점곱 연산에 비해 비효율적이기 때문으로 해석된다.

주요 해석 지표는 다음과 같다.

1. Spectral Entropy & Effective Rank – Σ의 스펙트럼 분포가 얼마나 집중되는지 측정, SVDA는 낮은 엔트로피와 낮은 유효 차원을 보여 희소 스펙트럼을 형성한다.
2. Spectral Sparsity – Σ에서 거의 0에 가까운 값의 비율, 높은 희소성은 불필요한 차원을 자동 억제함을 의미한다.
3. Angular Alignment – 정규화된 Q와 K 사이 코사인 유사도, SVDA는 높은 정렬도를 유지해 방향 정보가 명확히 전달됨을 확인한다.
4. Selectivity Index – 토큰 간 주의 집중 정도, SVDA는 특정 토큰에 대한 집중도가 높아 시각적으로 의미 있는 패턴을 만든다.
5. Perturbation Robustness – 입력 노이즈에 대한 주의 맵 변동량, SVDA는 변동이 적어 안정적인 해석을 제공한다.

이러한 지표들은 학습 과정 전반에 걸쳐 로그되며, 층·헤드 별 동향을 시각화함으로써 모델 내부의 구조적 변화를 정량적으로 추적한다. 결과적으로 SVDA는 정확도 손실 없이 주의 맵을 “시각적으로 해석 가능”하고 “스펙트럴하게 정돈된” 형태로 변환한다는 점에서 기존 연구와 차별화된다. 또한, 스펙트럼 기반 정규화가 과적합을 완화하고, 작은 모델에서도 의미 있는 구조를 유지하도록 돕는다.