마스크드 오토인코더의 견고한 표현 학습

초록

본 논문은 MAE(마스크드 오토인코더)의 사전학습 및 미세조정 과정에서 형성되는 내부 표현이 클래스 구분에 강인하며, 블러와 주의 기반 가림과 같은 입력 변형에도 높은 안정성을 유지한다는 점을 밝혀낸다. 층별 토큰 임베딩 분석과 서브스페이스 기하학적 검증을 통해 깊어질수록 클래스별 서브스페이스가 점점 분리되는 현상을 확인하고, 두 가지 민감도 지표(방향 정렬도와 헤드별 활성 특징 보존)를 제안해 표현 견고성을 정량화한다.

상세 분석

본 연구는 MAE가 사전학습 단계에서 보이는 “클래스 인식” 특성을 정량적·정성적으로 파헤친다. 먼저 12계층으로 구성된 ViT‑Base 기반 MAE 인코더에서 각 층의 CLS 토큰, 개별 패치 토큰, 그리고 평균 패치 임베딩을 추출한다. t‑SNE 시각화는 초기 층에서는 클래스 간 구분이 흐릿하지만, 깊어질수록 동일 클래스 토큰이 하나의 클러스터를 형성하고, 서로 다른 클래스는 점차 멀어지는 모습을 보여준다. 이를 보완하기 위해 저자들은 각 클래스별 패치 임베딩 행렬에 SVD를 적용해 상위 k개의 특이벡터로 정의된 저차원 서브스페이스를 만든다. 이후 층간 주축 각(principal angle)을 계산하면, 초기 층에서는 서브스페이스 간 각도가 작아 겹쳐 있지만, 8번째 층 이후에는 각도가 급격히 증가해 서로 거의 직교에 가까워지는 것을 확인한다. 이는 MAE가 마스크된 입력만으로도 전역적인 클래스 구분 구조를 스스로 형성한다는 강력한 증거이다.

다음으로 미세조정된 MAE에 대해 블러와 주의 기반 가림(Attention‑guided occlusion) 두 종류의 변형을 적용한다. 블러는 커널 크기와 표준편차를 늘려 PSNR·SSIM이 감소하도록 설계했고, 가림은 attention rollout을 이용해 모델이 가장 중요하게 여기는 패치를 순차적으로 마스킹한다. 실험 결과, 변형 강도가 증가해도 Top‑1 정확도는 70% 이상을 유지하며, 특히 가림에 대해서는 기존 ViT 대비 5~7% 높은 안정성을 보였다.

표현 견고성을 정량화하기 위해 두 가지 지표를 도입했다. 첫 번째는 “방향 정렬도”(directional alignment)로, 깨끗한 입력과 변형 입력의 평균 패치 임베딩 사이 코사인 유사도를 측정한다. 대부분의 경우 0.9 이상으로 높은 정렬도를 기록했으며, 이는 변형이 임베딩의 방향을 크게 바꾸지 않음을 의미한다. 두 번째는 “헤드별 활성 특징 보존”(head‑wise active feature retention)이다. 각 어텐션 헤드의 value 행렬에서 활성화된 특징(절댓값이 큰 차원)을 추출하고, 변형 전후의 활성 특징 집합 교집합 비율을 계산한다. 결과는 초기 층보다 깊은 층에서 보존 비율이 80% 이상으로 유지돼, 깊은 층일수록 특징이 더욱 견고하게 유지된다는 점을 시사한다.

이러한 분석을 종합하면, MAE는 마스크 비율이 높음에도 불구하고 전역적인 구조를 학습하고, 사전학습에서 형성된 클래스‑구분 서브스페이스가 미세조정 시에도 변형에 강인한 특성을 유지한다는 결론에 도달한다. 이는 기존 ViT가 주로 레이블 기반 학습에 의존해 얻는 클래스 구분 능력과는 다른, 자체적인 “구조적 견고성”을 제공한다는 점에서 의미가 크다.