표현 기하학으로 보는 OOD 견고성 진단

초록

본 논문은 학습된 모델의 인‑분포 임베딩을 이용해 클래스별 k‑최근접 이웃 그래프를 구성하고, 정규화 라플라시안의 로그‑행렬식(스펙트럼 복잡도)과 Ollivier‑Ricci 곡률을 측정한다. 낮은 스펙트럼 복잡도와 높은 평균 곡률이 OOD 정확도와 강한 양의 상관관계를 보이며, 이를 기반으로 라벨 없이도 체크포인트를 선택할 수 있음을 실증한다.

상세 분석

본 연구는 기존의 저차원 통계량(특징 정규화, 공분산 스펙트럼, CKA 등)이 고차원 임베딩의 복잡한 구조를 충분히 포착하지 못한다는 점에 착안한다. 저자는 각 클래스별로 상호 k‑NN 그래프를 구축하고, 두 가지 기하학적 불변량을 추출한다. 첫 번째는 정규화 라플라시안 L_sym의 비영(非零) 고유값 전체에 로그‑행렬식을 적용한 ‘torsion proxy’이다. 이는 Kirchhoff의 행렬‑트리 정리를 통해 그래프의 스패닝 트리 수와 직접 연결되며, 클래스 내부의 전역 연결성 및 사이클 복잡도를 정량화한다. 낮은 τ 값은 클래스 매니폴드가 더 단순하고, 불필요한 경로가 적으며, 따라서 입력 변동에 대한 표현의 안정성이 높다는 의미로 해석된다. 두 번째는 Ollivier‑Ricci 곡률 κ이다. 각 노드의 이웃 분포 µ_u 를 가중치에 비례하도록 정의하고, 인접 노드 쌍 (u,v) 사이의 Wasserstein‑1 거리와 그래프 거리 d(u,v)를 이용해 κ(u,v)=1−W₁(µ_u,µ_v)/d(u,v) 를 계산한다. 평균 κ̄는 클래스 전체에 걸쳐 평균화되며, 양의 값이 클수록 이웃 간 중첩이 강하고, 지역적 수축 현상이 뚜렷해져 근접 이웃 관계가 견고함을 나타낸다. 저자는 τ와 κ̄을 각각 z‑정규화한 뒤, GeoScore = z_τ − z_κ̄ 로 결합해 체크포인트 순위를 매긴다. 실험에서는 ResNet‑18과 ViT‑S/16을 CIFAR‑10 데이터셋으로 학습시킨 후, CIFAR‑10‑C, CIFAR‑10.1/2, Tiny‑ImageNet‑C 등 다양한 오염 및 도메인 이동 상황에서 OOD 정확도와의 Spearman 상관관계를 측정하였다. 결과는 τ가 낮고 κ̄가 높은 체크포인트가 일관되게 높은 OOD 정확도를 보였으며, 라벨이나 피처를 무작위로 섞는 등 구조를 파괴하는 제어 실험에서는 상관관계가 급격히 감소함을 확인했다. 또한, 무작위 등거리 투영(random projection)과 같은 등거리 변환에서는 신호가 유지되어, 제안된 지표가 실제 기하학적 구조를 반영한다는 점을 뒷받침한다. 이러한 발견은 고차원 임베딩의 전역·국부 구조를 동시에 고려함으로써, 라벨이 전혀 없는 상황에서도 모델의 견고성을 사전 평가할 수 있는 실용적인 프레임워크를 제공한다는 점에서 의미가 크다.