바리센터 정렬을 이용한 인스턴스 수준 신경표현 비교

초록

본 논문은 신경망 간 표현을 회전·순열 등 대칭 변환을 제거하고, 모든 모델을 하나의 보편적 임베딩 공간에 정렬하는 ‘바리센터 정렬’ 프레임워크를 제안한다. 이를 통해 개별 입력에 대한 모델 간 일치도를 측정하고, 시각·언어 모델, 인간 뇌 데이터에 적용해 공통·특이적 특성을 밝혀낸다. 또한, 단일 모달 모델들을 사후 정렬해 이미지‑텍스트 유사도를 인간 판단에 가깝게 재현함을 보인다.

상세 분석

바리센터 정렬은 각 모델이 동일한 자극 집합에 대해 생성한 표현을 점군으로 보고, 이 점군들이 서로 정규 직교 변환(회전·반사·순열)으로만 차이가 난다고 가정한다. 논문은 이러한 가정을 바탕으로 Procrustes 분석을 반복 적용해 모든 모델의 표현을 공통 템플릿(프루프레시 바리센터)으로 정렬한다. 핵심 알고리즘은 (1) 각 모델에 대해 현재 템플릿에 가장 가까운 직교 변환 T_i를 SVD 기반으로 구하고, (2) 변환된 표현 X_i·T_i를 평균해 새로운 템플릿을 업데이트하는 과정을 수렴할 때까지 반복한다. 이 과정은 프루프레시 평균을 최소화하는 로컬 최적해를 제공하며, 차원 불일치를 해결하기 위해 모든 모델을 최대 차원 d에 zero‑padding한다.

정렬 후에는 각 자극 j에 대해 모든 모델의 정렬된 표현 Y’_i(j)의 쌍별 코사인 유사도를 평균해 ‘인스턴스 수준 일관성 점수’ S_j를 정의한다. 이 점수는 주변 자극 집합에 의존하지 않으며, 모델 풀 전체에 걸쳐 동일한 기준으로 비교 가능하다. 실험에서는 시각 모델 풀(ResNet, ViT, ConvNeXt 등)과 언어 모델 풀(LLama, Qwen, OpenLLaMA 등)에 대해 교차‑모델 상관, RMS 오차, 스티뮬러스 검색 정확도 등을 측정했으며, 대부분의 경우 0.4 이상의 상관과 0.9에 가까운 Top‑10 검색 정확도를 기록했다. 이는 회전·순열 대칭을 제외하면 서로 다른 아키텍처·학습 목표·스케일에서도 표현이 높은 정렬 가능성을 보여준다.

특히, 서로 다른 모델 풀(예: CNN vs Transformer, supervised vs self‑supervised) 사이에서도 동일한 자극이 일관성 점수에서 높은 상관을 보였다. 이는 모델 간 차이가 특정 아키텍처에 국한되지 않고, 공통된 표현 축을 따라 변한다는 증거다. 반면, 무작위 초기화된 모델 풀에서는 일관성 점수가 훈련된 모델과 거의 상관이 없으며, 이는 학습 과정에서 형성되는 구조적 특성이 일관성 점수의 주요 원천임을 시사한다.

뇌 데이터에 적용한 결과, 인간 피험자별·피질 영역별 임베딩을 동일한 바리센터 공간에 정렬함으로써, 시각 피라미드 단계별로 자극별 일치도를 정량화할 수 있었다. 이는 기존 RSA·CKA와 달리 특정 이미지가 뇌 영역 간에 얼마나 일관된 표현을 유발하는지 직접적으로 측정할 수 있게 한다.

마지막으로, 순수 시각 모델과 순수 언어 모델을 각각 정렬한 뒤, 이미지와 텍스트의 정렬된 임베딩을 코사인 유사도로 비교하였다. 이 사후 정렬 방식은 CLIP과 같은 대조 학습 기반 멀티모달 모델에 근접한 이미지‑텍스트 유사도 점수를 제공했으며, 인간이 수행한 교차‑모달 판단과 높은 상관을 보였다. 이는 서로 독립적으로 학습된 단일 모달 표현에도 이미 충분한 기하학적 구조가 내재되어 있어, 사후 정렬만으로도 의미 있는 멀티모달 비교가 가능함을 의미한다.

전반적으로 이 논문은 대칭을 명시적으로 quotienting함으로써 ‘보편적 임베딩 공간’을 구축하고, 이를 통해 인스턴스 수준에서 모델 간 유사성을 정량화·시각화하는 새로운 방법론을 제시한다. 기존 집합 수준 메트릭이 놓친 미세한 차이를 드러내며, 모델 설계·학습·뇌 과학 등 다양한 분야에 적용 가능성을 열어준다.