기하학적 안정성과 표현의 놓친 축

초록

이 논문은 기존의 표현 유사도 분석이 놓치고 있는 “기하학적 안정성”이라는 새로운 차원을 제시한다. Shesha라는 프레임워크를 통해 내부 일관성을 측정하고, 2,463개의 모델·데이터 조합에서 안정성은 유사도와 거의 상관관계가 없으며, 압축·노이즈 등 다양한 변형에 대해 서로 다른 행동을 보인다. 안정성은 안전 모니터링, 선형 스티어링 가능성 예측, 전이 학습 선택 등에 실용적인 정보를 제공한다.

상세 분석

본 연구는 표현 분석에서 ‘무엇을 나타내는가’를 측정하는 유사도와는 별개로, ‘그 구조가 얼마나 견고하게 유지되는가’를 정량화하는 기하학적 안정성(Geometric Stability)을 정의한다. 기존 RSA, CKA, PWCCA 등은 외부 레퍼런스와의 정렬 정도만을 평가해, 주요 주성분에 의존하는 경향이 있다. 반면 Shesha는 동일 모델 내부에서 두 개의 RDM(Representational Dissimilarity Matrix)을 서로 다른 특성 집합 혹은 데이터 샘플 집합으로 나누어 만든 뒤, 이들 간의 상관을 측정한다. Feature‑Split Shesha는 특성 차원에서의 일관성을, Sample‑Split Shesha는 입력 변동에 대한 견고성을 평가한다.

실험은 언어(Vit, CLIP 등), 비전, 오디오, 비디오, 신경과학, 단백질, 분자 데이터 등 7개 도메인에 걸쳐 2,463개의 인코더 변형을 대상으로 진행되었다. 주요 결과는 다음과 같다.

1. 상관관계 부재: 전체 데이터에서 안정성(Shesha)과 유사도(CKA)의 스피어만 상관계수는 ρ≈−0.01이며, 95% CI가 ±0.06을 포함한다. 도메인별로도 |ρ|<0.30인 경우가 대부분이며, 단백질 도메인만 −0.36 정도의 약한 음의 상관이 나타났다. 이는 두 지표가 서로 독립적인 정보를 제공함을 의미한다.

2. 스펙트럼 민감도 차이: 주성분을 하나씩 제거하면서 측정한 결과, CKA는 첫 번째 주성분만 제거해도 0.4 이하로 급락하지만, Shesha는 20~30개의 주성분을 제거해야 비슷한 수준으로 감소한다. 즉, 유사도는 주성분에 과도하게 의존하는 반면, 안정성은 스펙트럼 꼬리까지 분포된 미세 구조를 포착한다.

3. 변형별 행동 양상: 무작위 프로젝션이나 특성 선택과 같은 거리 보존 변형에서는 두 지표가 높은 양의 상관(ρ≈0.9)을 보인다. 반면 PCA와 같은 차원 축소는 주성분을 보존하면서 미세 구조를 손실시키므로, 유사도는 유지되지만 안정성은 크게 감소해 음의 상관(ρ≈−0.47)을 만든다. 실제 모델들은 이 두 극단 사이의 ‘자연적’ 영역에 위치해, 서로 보완적인 정보를 제공한다.

4. 실용적 활용:

   • 안전 모니터링: Llama 모델군에서 Shesha는 CKA보다 평균 2배, 최악의 경우 5.23배 더 민감하게 구조적 드리프트를 감지한다. 이는 불필요한 경보를 줄이고 실제 기능 저하를 조기에 포착한다.
   • 선형 스티어링 예측: 감독된 Shesha 점수가 높은 모델은 선형 스티어링 벡터를 적용했을 때 성공 확률이 ρ=0.89~0.96으로 매우 높다. 반대로 안정성이 낮은 모델은 같은 조작에 의해 구조가 파괴된다.
   • 전이 학습 선택: 최신 비전 모델(DINOv2)은 전이 성능은 최고지만 Shesha 점수는 낮아, 전이 최적화가 기하학적 구조에 ‘세금’을 부과한다는 사실을 드러낸다.
   • 생물학적 데이터: CRISPR 스크리닝에서 Shesha는 유전자 교란 간 일관성을, 뇌 기록에서는 영역별 행동-신경 연계성을 예측한다.

5. 방법론적 견고성: 합성 데이터에서 신호‑대‑노이즈 비율을 조절한 실험, 다양한 메트릭(데비아스드 CKA, PWCCA, Procrustes)과의 비교, 그리고 선형 혼합효과 모델을 통한 베이스 모델 효과 통제 등으로 Shesha의 구성 타당도와 판별 타당도를 충분히 검증하였다.

결론적으로, 기하학적 안정성은 표현 분석에 ‘두 번째 축’으로서, 유사도만으로는 포착되지 않는 구조적 견고성을 드러낸다. 이는 모델 안전성, 제어 가능성, 전이 효율성, 그리고 생물학적 시스템 이해에 새로운 진단 도구로 활용될 수 있다.