SVDA 기반 투명 딥 깊이 추정: 스펙트럼 구조와 해석 가능성

초록

본 논문은 Dense Prediction Transformer(DPT)에 SVD‑Inspired Attention(SVDA)를 도입해 단일 이미지 깊이 추정의 정확도는 유지하면서 주의 메커니즘을 스펙트럼적으로 구조화한다. 정규화된 쿼리·키와 학습 가능한 대각 스펙트럼 행렬 Σ를 결합한 SVDA는 방향성(정렬)과 스펙트럼 가중치를 분리해 해석 가능한 주의 맵을 생성한다. 저자는 엔트로피, 유효 랭크, 스파스성, 정렬도, 선택성, 강건성 등 6가지 스펙트럼 지표를 정의하고, KITTI·NYU‑v2에서 성능이 거의 동일함을 보이며, 학습 과정에서 스펙트럼 지표가 어떻게 변화하는지를 분석한다.

상세 분석

SVDA는 기존의 점곱 기반 어텐션을 다음과 같이 변형한다. 입력 토큰에 대해 행별 ℓ2 정규화를 수행한 뒤, 동일 차원의 학습 가능한 대각 행렬 Σ를 삽입해 Q·Σ·Kᵀ를 계산하고 softmax로 정규화한다(식 1). 이 설계는 SVD에서 영감을 받아 “방향성(쿼리·키의 내적) × 스펙트럼(각 차원의 중요도)”라는 두 축으로 어텐션을 분해한다. 결과적으로 Σ의 값이 크면 해당 차원이 어텐션에 크게 기여하고, 0에 가까우면 차원이 억제되어 스파스성을 유도한다.

구조적 장점은 크게 두 가지이다. 첫째, Σ가 명시적으로 존재함으로써 각 헤드·레이어에서 어떤 차원이 활성화되는지 직접 관찰할 수 있다. 이는 기존 Transformer에서 사후 분석에 의존하던 “주의 맵이 의미를 담고 있는가?”라는 의문을 해소한다. 둘째, Σ는 학습 과정에서 자동으로 조정되므로 별도의 정규화나 제약 없이도 모델이 스스로 차원 축소와 특성 선택을 수행한다.

논문은 6가지 스펙트럼 지표를 제안한다.

1. Spectral Entropy (Hₛ) – Σ의 정규화된 스펙트럼 분포 pᵢ에 대한 엔트로피로, 차원 사용의 균일성을 측정한다. 낮을수록 몇몇 차원이 지배함을 의미한다.
2. Effective Rank (rankₑₓₚ) – e^{Hₛ} 로 정의되며, 실제 사용되는 자유 차원의 수를 정량화한다.
3. Angular Alignment (cos θᵢⱼ) – 정규화된 Q와 K 사이의 코사인 유사도로, 토큰 간 의미적 정렬 정도를 나타낸다.
4. Selectivity Index (S) – 어텐션 행렬 A의 집중도를 측정하는 통계량으로, 1에 가까울수록 특정 토큰에 집중한다.
5. Spectral Sparsity (P(Σ)) – |{σᵢ | |σᵢ| < ε}|/dₖ 로 정의되어, 거의 0인 차원의 비율을 나타낸다.
6. Perturbation Robustness (ΔA) – 입력에 작은 노이즈 δ를 추가했을 때 어텐션 변화 ‖A(x) − A(x+δ)‖_F 로 측정, 모델의 안정성을 평가한다.

실험 결과는 두 가지 주요 메시지를 전달한다. 첫째, SVDA를 적용한 DPT는 KITTI와 NYU‑v2에서 AbsRel, RMSE 등 주요 지표에서 기존 DPT와 동등하거나 약간 개선된 성능을 보인다(예: KITTI에서 AbsRel 0.058→0.056). 이는 스펙트럼 구조가 성능을 저해하지 않음을 증명한다. 둘째, 학습 초기에 Spectral Entropy와 Effective Rank가 높은 상태에서 점차 감소하고, Spectral Sparsity가 증가한다. 이는 모델이 초기에는 다양한 차원을 활용하다가 훈련이 진행될수록 핵심 차원만 남겨 차원 축소와 효율성을 달성한다는 의미이다.

또한 레이어별 분석에서 얕은 레이어는 높은 정렬도와 낮은 선택성을 보이며, 깊은 레이어는 낮은 엔트로피·랭크와 높은 선택성을 나타낸다. 이는 초기 레이어가 전역적인 컨텍스트를 포착하고, 후반 레이어가 구체적인 깊이 정보를 집중적으로 전달한다는 기존 Transformer 해석과 일치한다. Perturbation Robustness 역시 깊은 레이어일수록 크게 향상돼, 최종 깊이 예측 단계에서 노이즈에 강인함을 확보한다는 점이 눈에 띈다.

계산 비용 측면에서는 ℓ2 정규화와 Σ 연산으로 인해 약 15 %의 런타임 증가가 보고되었지만, 파라미터 수는 0.01 % 수준으로 미미하고, MAC 수는 오히려 6.8 % 감소했다. 이는 스펙트럼 구조가 효율적인 연산 흐름을 제공함을 시사한다.

전반적으로 SVDA는 “어텐션이 무엇을 학습했는가”를 정량적 스펙트럼 지표로 드러내어, 안전·신뢰가 요구되는 로보틱스·자율주행 분야에서 모델 검증·디버깅에 유용한 도구가 된다.