해석 가능성을 위한 최적 표현 기반 선택: 뉴런 기반 vs 사전 학습 사전

초록

본 연구는 ResNet50과 VGG16의 층 활성화를 뉴런 축과 비음수 행렬분해(NMF) 기반 사전 학습 사전으로 변환하여, 인간이 시각적 패턴을 얼마나 일관되게 인식하고 일반화할 수 있는지를 대규모 온라인 심리물리 실험을 통해 비교한다. 사전 학습 사전이 특히 깊은 층에서 시각적 일관성이 높으며, 모델 간 비교에서도 뉴런 기반만으로는 드러나지 않는 차이를 드러낸다.

상세 분석

이 논문은 해석 가능성 연구에서 흔히 사용되는 “뉴런 중심” 접근법이 실제 모델 내부의 초중첩(superposition) 현상으로 인해 제한적일 수 있다는 가설을 검증한다. 초중첩이란 하나의 뉴런이 여러 독립적인 시각 패턴에 동시에 반응하는 현상으로, 이는 뉴런 축이 인간이 직관적으로 이해하기 쉬운 의미 단위와 일치하지 않을 가능성을 제기한다. 이를 보완하기 위해 저자들은 비음수 행렬분해(NMF)를 이용한 사전 학습 사전(CRAFT) 방식을 도입한다. NMF는 ReLU 활성화의 비음수 특성을 그대로 보존하면서, 각 사전 원소가 가능한 한 희소하고 단일 패턴에 대응하도록 학습한다.

기술적 측면에서 논문은 두 가지 핵심 지표를 제시한다. 첫째, ‘Gradient × Input’ 기반 중요도 측정 GI(x, v)로, 특정 입력 x가 모델 출력에 미치는 영향을 해당 축 v에 대한 기울기와 결합해 정량화한다. 둘째, ‘축 정렬(axis‑alignment)’ 점수 H(D)로, 사전 원소가 뉴런 축에 얼마나 근접한지를 𝓁₁/𝓁₂ 비율을 이용해 0~1 사이의 값으로 표현한다. 높은 H값은 사전 원소가 거의 한 뉴런에만 의존한다는 뜻이며, 낮은 값은 다수 뉴런에 걸쳐 분산된 복합 패턴을 의미한다.

심리물리 실험은 세 차례에 걸쳐 총 481명의 참여자를 모집, 16,835개의 응답을 수집했다. 실험 디자인은 기존 Borowski et al. (2021)의 프로토콜을 확장했으며, 각 실험에서 참가자는 ‘최대 활성화 이미지 집합’과 ‘최소 활성화 이미지 집합’ 중 어느 쪽이 주어진 쿼리 이미지와 시각적 패턴을 공유하는지 선택하도록 했다. 중요한 점은 실험 전후에 ‘시각적 일관성(visual coherence)’을 측정함으로써, 인간이 해당 축(뉴런 또는 사전 원소)의 의미를 얼마나 명확히 파악할 수 있는지를 정량화했다.

결과는 일관되게 사전 학습 사전이 뉴런 기반보다 높은 정확도와 빠른 반응 시간을 보였으며, 특히 깊은 층일수록 차이가 확대되었다. 또한, ResNet50은 VGG16에 비해 축 정렬 점수가 낮아 초중첩이 더 심각함을 나타냈고, 이는 뉴런 기반 평가에서는 두 모델 간 차이가 모호했지만 사전 기반 평가에서는 ResNet50이 더 해석 가능함을 드러냈다. 이러한 발견은 모델 비교 시 표현 기반 선택이 결과에 결정적인 영향을 미친다는 중요한 교훈을 제공한다.

논문의 한계로는 NMF 외의 다른 사전 학습 기법(예: 스파스 오토인코더, 변분 베이즈 방법)과의 비교가 부족하고, 이미지 외의 도메인(예: 영상, 의료 이미지)에서의 일반화 가능성을 아직 검증하지 않았다는 점을 들 수 있다. 향후 연구에서는 다양한 사전 학습 알고리즘을 포괄적으로 평가하고, 초중첩 현상을 정량화하는 새로운 메트릭을 개발함으로써 해석 가능성 평가의 표준화를 모색할 필요가 있다.