사용 가능한 정보를 통한 기능적·표현적 유사성 통합

초록

본 논문은 “사용 가능한 정보”(usable information) 개념을 기반으로 기능적 유사성과 표현적 유사성을 하나의 이론적 프레임워크로 연결한다. 스티칭(stitching) 성능을 조건부 상호정보와 연결하고, 스티칭이 비대칭임을 보이며 양방향 분석의 필요성을 강조한다. 또한 CKA, RSA, Procrustes 등 기존 표준 메트릭이 특정 예측 함수군 하에서 사용 가능한 정보의 추정치임을 증명한다. 마지막으로 표현적 유사성은 기능적 유사성의 충분조건이지만 필요조건은 아니며, 작업 복잡도에 따라 계층적 관계가 형성된다는 이론적·실험적 결과를 제시한다.

상세 분석

이 논문은 딥러닝 모델의 내부 표현을 비교하는 두 주요 관점, 즉 기능적 유사성(functional similarity)과 표현적 유사성(representational similarity)을 ‘사용 가능한 정보(usable information)’라는 통합 개념으로 재정의한다. 먼저, 사용 가능한 정보는 전통적인 상호정보(I(Y;Z))와 달리 예측 함수군 V의 제한을 반영한다. V‑conditional entropy H_V(Y|Z)와 H_V(Y|∅)를 최소 교차 엔트로피 손실로 정의하고, I_V(Z→Y)=H_V(Y|∅)−H_V(Y|Z)로 표현한다. 이때 V가 선형 모델이면 I_V는 선형적으로 활용 가능한 정보를, V가 복잡한 비선형 모델이면 더 풍부한 정보를 측정한다.

기능적 유사성은 두 표현 Z₁, Z₂가 동일한 downstream task Y에 대해 동일한 정보를 제공하는지를 마코프 블랭킷(Markov blanket) 조건 I(Z₂;Y|Z₁)=I(Z₁;Y|Z₂)=0으로 정의한다. 논문은 이 정의와 모델 스티칭(stitching) 사이의 등가성을 정리 3.5와 정리 3.6을 통해 증명한다. 특히, 최적의 예측기 q_φ₂가 주어졌을 때 Z₁이 Z₂에 완벽히 스티치될 수 있으면 Z₁은 Y에 대한 마코프 블랭킷이 되고, 반대 방향도 동일해야 양방향 기능적 유사성이 성립한다. 이는 스티칭이 본질적으로 비대칭이며, 양쪽 모두에서 좋은 스티처가 존재해야만 두 모델이 기능적으로 동등하다는 중요한 통찰을 제공한다.

표현적 유사성은 입력 X에 대한 마코프 블랭킷 조건 I(X;Z₂|Z₁)=I(X;Z₁|Z₂)=0으로 정의한다. 즉, 두 표현이 입력 정보를 완전히 동일하게 보존한다는 의미이다. 저자는 CKA, RSA, Procrustes와 같은 기존 메트릭이 각각 특정 V(예: 선형, 정규직교 변환, 커널 기반) 하에서 I_V를 추정하는 방법임을 보인다. 따라서 이러한 메트릭은 임의의 기하학적 거리 측정이 아니라, 예측 함수군에 의해 제한된 ‘사용 가능한 정보’를 측정한다는 새로운 해석을 제공한다.

가장 핵심적인 계층적 관계는 작업 복잡도와 유사성의 단조성이다. 정리 3.8은 복잡한 작업 Y에 대해 기능적 유사성이 성립하면, Y를 더 단순화한 Y′=g(Y)에 대해서도 유사성이 유지된다고 증명한다. 이를 통해 표현적 유사성(입력 재구성 작업)은 가장 높은 복잡도(최대 granularity)의 특수한 경우이며, 표현적 유사성이 있으면 모든 파생 작업에 대해 기능적 유사성이 보장된다는 corollary 3.10을 도출한다. 그러나 역은 성립하지 않는다; 기능적 유사성은 특정 작업에 필요한 정보만 보존하면 되므로, 입력의 일부 잡음이나 불필요한 변수는 제거될 수 있다.

실험적으로 저자는 다양한 CNN 및 트랜스포머 모델을 대상으로 스티칭 성능, CKA/ RSA 점수, 그리고 재구성 손실을 측정한다. 결과는 (1) 양방향 스티처가 존재할 때만 높은 기능적 유사성이 관찰되고, (2) 선형 예측기(V=linear) 하에서는 CKA와 스티칭 성능이 높은 상관관계를 보이며, (3) 비선형 예측기(V=deep NN)에서는 기존 메트릭이 포착하지 못하는 추가적인 사용 가능한 정보를 발견한다는 점을 보여준다.

이 논문은 기능적·표현적 유사성을 별개의 개념이 아니라, 예측 함수군의 용량에 따라 달라지는 연속적인 스펙트럼으로 바라볼 수 있음을 이론적으로 증명하고, 기존 메트릭을 사용 가능한 정보 관점에서 재해석함으로써 향후 모델 비교 및 지식 전이 연구에 중요한 이론적 토대를 제공한다.