결정 변수 상관을 이용한 작업 관련 표현 유사성 정량화

초록

본 연구는 시각 피질과 이미지 분류에 훈련된 딥러닝 모델의 의사결정 전략을 비교하기 위해 ‘결정 변수 상관(DVC)’이라는 새로운 지표를 제안한다. DVC는 각 이미지에 대한 내부 표현을 최적 선형 판독기로 변환한 뒤, 두 관찰자(뇌 혹은 모델)의 결정 변수 간 상관을 측정한다. 이를 통해 V4/IT 기록과 다양한 네트워크 모델을 비교한 결과, 모델 간 유사성은 원숭이 간 유사성과 비슷하지만, 모델‑뇌 간 유사성은 일관되게 낮으며, ImageNet 정확도가 높을수록 DVC는 감소한다는 역설적인 패턴을 발견했다. 또한, 적대적 훈련이나 대규모 데이터 사전학습이 작업‑관련 차원에서의 모델‑뇌 일치를 향상시키지는 못한다는 결론을 제시한다.

상세 분석

본 논문은 기존의 표현 유사성 측정 방법(RSA, CKA, CCA 등)이 과제와 무관한 차원을 포함해 전체 구조만을 비교한다는 한계를 지적하고, 실제 행동(분류)과 직접 연결된 차원을 평가할 필요성을 강조한다. 이를 위해 저자들은 신호 검출 이론을 확장한 ‘결정 변수 상관(DVC)’을 도입한다. 구체적으로, 각 이미지 쌍에 대해 LDA(선형 판별 분석)를 이용해 최적의 결정 축을 찾고, 고차원 신경·모델 표현을 해당 축에 투영해 연속적인 결정 변수(DV)를 추출한다. 두 관찰자의 DV를 이미지별로 정렬한 뒤 피어슨 상관을 계산하면, 동일 과제에 대한 ‘결정 전략’의 일관성을 정량화할 수 있다.

핵심적인 기술적 공헌은 다음과 같다. 첫째, DVC는 이진 분류에 국한되지 않고, N‑class 문제를 모든 클래스 쌍에 대해 순차적으로 적용함으로써 다중 클래스 상황에서도 활용 가능하게 만든다. 둘째, 고차원 표현의 불안정성을 완화하기 위해 PCA 기반 차원 축소 후 LDA를 적용하고, 측정 노이즈에 의한 상관 감소를 보정하기 위해 split‑half 교차‑상관 방식을 도입했다. 이는 ‘노이즈 보정된 상관(ρ_corrected)’을 계산해 실제 신호 간 유사성을 보다 정확히 추정한다는 점에서 통계적 타당성을 높인다.

실험 결과는 흥미로운 패턴을 보여준다. V4와 IT를 동시에 기록한 두 원숭이 사이의 DVC는 평균 0.57로 비교적 높아, 동일 과제에 대한 뇌 내부 표현이 이미지별로 일관됨을 시사한다. 반면, ImageNet‑1k에서 사전 학습된 43개의 최신 CNN 모델을 동일 이미지 집합에 적용했을 때, 모델‑뇌 간 DVC는 0.30 이하로 낮으며, 모델의 ImageNet 정확도가 높을수록 DVC는 오히려 감소한다. 이는 높은 분류 성능이 반드시 인간·영장류 시각 시스템과 동일한 작업‑관련 특징을 학습한다는 가정을 반증하지 못함을 의미한다.

또한, 적대적 훈련을 통해 견고성을 강화한 ‘robust models’는 모델‑모델 DVC는 크게 향상되지만, 모델‑뇌 DVC는 크게 변하지 않는다. 대규모 데이터셋(ImageNet‑21k, JFT‑300M)으로 사전 학습한 ‘data‑rich models’ 역시 모델‑뇌 DVC에 실질적 개선을 가져오지 못한다. 이는 현재 딥러닝 모델이 인간 시각 시스템이 활용하는 작업‑관련 차원을 포착하는 데 한계가 있음을 강조한다.

이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 모델‑뇌 비교에 있어 단순 정확도나 일반적인 표현 유사성 지표만으로는 충분하지 않으며, 과제 중심의 DVC와 같은 측정이 필요하다. 둘째, 모델 설계·학습 단계에서 인간 시각 시스템과의 작업‑관련 정렬을 목표로 하는 새로운 제약(예: 인간 행동 데이터와의 공동 최적화)이나 손실 함수를 도입해야 할 가능성을 제시한다.