신경망 내부 기하학을 측정하는 SEIS: 변환 불변성과 동등성 점수

초록

SEIS는 층별 특징 텐서를 공간적으로 재구성하고 SVD‑CCA 기반 서브스페이스 분석을 통해 변환에 대한 equivariance와 invariance를 정량화한다. 합성 실험에서 알려진 변환을 정확히 복원하고, 실제 ResNet‑18에 적용해 초기 층은 높은 equivariance, 깊은 층은 높은 invariance를 보이며, 데이터 증강과 멀티태스크 학습이 두 특성을 동시에 강화한다는 결과를 제시한다.

상세 분석

본 논문은 신경망 내부 표현이 기하학적 변환에 어떻게 반응하는지를 정량화하기 위해 새로운 서브스페이스 기반 지표인 SEIS(Subspace‑based Equivariance and Invariance Scores)를 제안한다. 기존 방법들은 주로 출력 수준에서 변환에 대한 안정성을 측정하거나, 개별 뉴런·채널의 통계적 유사성을 평가했지만, 변환에 따른 내부 표현의 구조적 변화를 구분하지 못했다. SEIS는 먼저 각 층의 활성화 텐서 (Z\in\mathbb{R}^{b\times c\times h\times w})를 “공간을 특성으로, 배치·채널을 관측값으로” 재배열하여 (A\in\mathbb{R}^{d\times n}) (여기서 (d=h\cdot w), (n=b\cdot c)) 형태로 만든다. 이 변환은 공간 변환이 직접적인 행렬 퍼뮤테이션 혹은 보간 연산으로 작용한다는 가정에 기반한다.

고차원 노이즈를 억제하기 위해 SVD를 수행하고, 누적 분산 99 %를 설명하는 상위 (k)개의 좌측 특이벡터 (\tilde U)만을 남겨 서브스페이스 (\tilde A)를 만든 뒤, 원본과 변환된 서브스페이스 (\tilde A,\tilde A’)에 CCA를 적용한다. CCA는 각각의 정규화된 투영 벡터 ((w_i, v_i))와 그에 대응하는 정규화된 정규화된 변량 ((p_i, q_i))를 산출한다.

Equivariance Score (S_{\text{eq}})는 정규화된 정규화된 변량 간 코사인 유사도(또는 평균 정규화된 상관계수)로 정의되어, 변환 전후 정보가 선형 변환을 통해 보존되는 정도를 측정한다. Invariance Score (S_{\text{inv}})는 동일한 CCA 투영 벡터 간 코사인 유사도에 해당 정규화된 상관계수 (\rho_i)를 가중치로 곱해, 정보 보존이 확인된 차원에서 실제 공간적 정렬이 얼마나 유지되는지를 평가한다.

실험은 두 단계로 나뉜다. 첫 번째는 MNIST 단일 레이어에 인위적으로 적용한 변환(translation, scaling, rotation, composite affine)에서 정답이 알려진 두 시나리오(완전 불변, 순수 equivariance)를 재현해 SEIS가 각각 (S_{\text{eq}}\approx1, S_{\text{inv}}\approx1) 혹은 (S_{\text{eq}}>0.85, S_{\text{inv}}\ll1)을 정확히 반환함을 검증한다. 무작위 변환에 대해서는 두 점수가 모두 0에 가까워, 지표가 우연적 상관에 민감하지 않음을 보여준다.

두 번째는 CIFAR‑100에 ResNet‑18을 학습시킨 후, 동일 이미지와 랜덤 affine 변환 이미지에 대해 모든 층에서 SEIS를 측정한 결과이다. 학습 초기 10 epoch 내에 두 점수가 거의 수렴하고, 깊이에 따라 명확한 전이 패턴이 관찰된다. 초기 층은 (S_{\text{eq}}\approx0.9, S_{\text{inv}}\approx0.1)으로 높은 equivariance와 낮은 invariance를 보이며, 깊은 층으로 갈수록 (S_{\text{eq}})는 감소하고 (S_{\text{inv}})는 0.3 수준까지 상승한다. 이는 네트워크가 저수준에서 위치 정보를 보존하고, 고수준에서는 위치 무관한 추상 특성을 학습한다는 기존 이론을 실증한다.

또한 데이터 증강을 적용하면 깊은 층의 (S_{\text{inv}})가 크게 증가하면서도 (S_{\text{eq}})는 유지되는 것을 확인했다. 이는 증강이 불변성을 강화하지만, 기존의 선형 정보 손실 없이 equivariance를 보존한다는 의미다. 멀티태스크 학습(예: 이미지 분류 + 회전 예측)에서는 공유 인코더에서 두 점수가 모두 상승해, 서로 보완적인 목표가 내부 표현의 구조적 견고성을 동시에 향상시킨다는 흥미로운 현상을 보고한다. 마지막으로 디코더에 스킵 연결을 추가하면, 디코딩 과정에서 손실된 equivariance가 복구되는 것을 정량적으로 확인했다.

전반적으로 SEIS는 라벨이 필요 없고 변환 형태를 사전 정의할 필요가 없으며, 층별 서브스페이스를 직접 비교함으로써 “정보가 사라졌는가”와 “다른 기저로 재인코딩 되었는가”를 명확히 구분한다. 이는 기존 CCA/CKA 기반 유사도 측정이 제공하지 못했던 변환 안정성에 대한 미세한 해석을 가능하게 한다.