비전 트랜스포머의 그래픽 인지 능력 평가

초록

본 연구는 비전 트랜스포머(ViT) 3종(vViT, CvT, Swin)을 인간과 CNN에 대비해 Cleveland‑McGill식 저수준 그래픽 인지 과제에 적용하였다. 실험 결과 ViT는 일반 이미지 인식에서는 우수하지만, 위치·길이·각도·면적 등 기본 시각 인코딩에 대한 인간과의 정렬이 제한적임을 확인하였다.

상세 분석

본 논문은 데이터 시각화 분야에서 인간 시각 인코딩의 정확도가 설계 원칙을 좌우한다는 전제 하에, 최신 비전 트랜스포머(ViT) 모델들의 저수준 그래픽 인지 능력을 체계적으로 검증하였다. 연구자는 세 가지 대표적인 ViT 아키텍처—vanilla ViT(vViT), Convolutional ViT(CvT), Shifted Window ViT(Swin)—를 선택했으며, 이는 토큰화 방식, 컨볼루션 통합, 계층적 윈도우 구조 등에서 서로 다른 설계 선택을 반영한다. 각 모델은 동일한 데이터셋(이미지넷 사전학습 후 시각 인코딩 전용 데이터로 파인튜닝)으로 학습되었고, 성능 평가는 인간 피험자(총 48명)와 기존 CNN(ResNet‑50, EfficientNet‑B3) 대비 수행되었다.

평가 과제는 Cleveland‑McGill이 제시한 9가지 기본 인코딩(공통축 위치, 비정렬 축 위치, 길이, 방향, 각도, 면적, 부피, 곡률, 색상 대비) 중 7가지를 선택해 시각적 프리즘을 이용한 정량적 판단 과제로 구성하였다. 각 과제마다 정답 오차(절대 오차, RMSE)와 반응 시간(RT)을 측정했으며, 인간 기준선은 평균 오차와 95% 신뢰구간으로 제시하였다.

실험 결과, ViT 계열은 전반적으로 위치와 길이 인코딩에서는 인간 수준에 근접했지만, 각도·면적·부피와 같은 비선형 변환을 요구하는 과제에서는 오차가 현저히 증가하였다. 특히 Swin Transformer는 윈도우 기반 지역 집중 특성 때문에 각도 판단에서 가장 큰 손실을 보였으며, CvT는 컨볼루션 레이어가 포함돼 있어 면적 인식에서 상대적으로 낮은 오차를 기록했다. 반면, CNN은 전통적인 지역 필터링 덕분에 각도·면적 과제에서 ViT보다 일관된 성능을 보였지만, 전체적인 정확도와 처리 속도 면에서는 ViT에 뒤처졌다.

또한, 인간 피험자와 비교했을 때 모든 모델이 반응 시간에서 인간보다 현저히 빠른 반면, 오차 분포는 인간과 달리 특정 인코딩에 편향되는 경향을 보였다. 이는 모델이 학습 데이터의 통계적 특성에 과도하게 의존하고, 인간이 활용하는 전역적·맥락적 주의 메커니즘을 충분히 모방하지 못함을 시사한다. 저자들은 이러한 차이가 시각화 자동화 시스템(예: 차트 자동 해석, 디자인 보조)에서 인간‑기계 협업 효율성을 저해할 수 있음을 강조한다.

결론적으로, ViT는 복잡한 전역 관계를 포착하는 데 강점을 가지지만, 인간 시각 인코딩의 계층적 정확도와는 아직 정렬되지 않았다. 향후 연구는 (1) 인간 주의 메커니즘을 모방한 어텐션 정규화, (2) 저수준 인코딩 전용 파인튜닝 데이터셋 구축, (3) 멀티모달(텍스트‑시각) 학습을 통한 인지 정합성 강화 등을 제안한다.