깊은 신경망을 풀어내는 새로운 시각: 의미적 풀백 방법

초록

Semantic Pullbacks(SP)는 동적 선형 연산의 adjoint인 풀백을 기반으로, 입력 주변의 기대값을 근사해 노이즈를 감소시키고 의미적으로 정렬된 설명을 제공한다. 소프트 풀백과 더블 풀백을 통해 ReLU·BatchNorm, Self‑Attention 등 다양한 레이어에서 안정적인 귀속도를 얻으며, ResNet‑50, VGG, PVT 등 최신 모델에서 기존 기법보다 높은 Faithfulness와 Perceptual Alignment를 기록한다.

상세 분석

본 논문은 기존의 그래디언트 기반 사후 설명 방법이 “입력‑출력 사이의 전체 미분”을 수행함으로써 게이트·정규화·어텐션 등 동적 연산의 파라미터 변화까지 포함시키는 점을 비판한다. 이러한 전역 미분은 실제 네트워크가 입력에 따라 선택하는 선형 경로를 왜곡해, 설명이 잡음에 취약하고 시각적으로 일관되지 않는다. 저자들은 이를 해결하기 위해 “동적 선형 연산” W(x)를 정의하고, 그 전치(Adjoint) W(x)ᵀ를 풀백이라 명명한다. 풀백은 입력‑출력 관계를 선형 부분만으로 표현하므로, 그래디언트와 달리 게이트·통계·어텐션의 미분 항을 배제한다.

그러나 단일 풀백 역시 특정 입력에 대한 순간적인 샘플에 불과해, 실제 피처가 데이터 분포 상에서 평균적으로 나타내는 방향을 완전히 포착하지 못한다. 이를 보완하기 위해 저자들은 지역 기대 풀백을 근사하는 두 가지 기법을 제안한다.

1. Soft Pullback (SfP) – ReLU·BatchNorm 등 경계가 급격한 레이어에 대해, 하드 게이트 1{z>0} 를 정규분포의 누적분포함수 Φ(z/σ) 또는 온도 τ 를 조절한 시그모이드 σ(z/τ) 로 부드럽게 만든다. 이렇게 하면 역전파 시 약하지만 일관된 신호가 전달돼, 약하게 활성화된 피처가 누적되어 의미 있는 설명이 된다.

2. Double Pullback (DP) – Self‑Attention 및 LayerNorm처럼 라우팅이 이미 부드러운 경우, 첫 번째 풀백을 한 번 수행한 뒤 그 결과를 입력에 더해 두 번째 풀백을 적용한다. 이는 어텐션 매트릭스가 목표 뉴런의 선호 방향으로 미세 조정되도록 하여, 배경 잡음이 감소하고 객체 영역에 집중된 히트맵을 만든다.

추가적으로 Pullback Ascent이라는 반복적 상승 절차를 도입해, 정규화된 소프트 풀백 벡터를 따라 몇 번의 작은 스텝을 수행한다. 이 과정은 ℓ∞ 제약 안에서 입력을 변형시켜, 최종적으로 “설명” 자체를 반사(perturbation) 형태로 출력한다.

실험에서는 Imagenette 데이터셋을 사용해 1000개의 검증 이미지에 대해 Infidelity(큰 변동에 대한 민감도)와 MaxSensitivity(작은 변동에 대한 안정성) 등 Quantus 기반 지표를 측정하였다. ResNet‑50, VGG11, Pyramid Vision Transformer(PVT) 세 모델 모두에서 SP는 기존 Gradient, Integrated Gradients, DeepLift, Guided‑GradCam 등과 비교해 Infidelity 점수가 평균 12‑18% 개선되었으며, 시각적 정렬도(Perceptual Alignment)와 클래스‑조건부 특이성에서도 우수함을 보였다. 특히 PVT와 같은 어텐션 기반 모델에서 DP가 큰 효과를 발휘해, 배경 노이즈를 크게 억제하고 대상 객체를 정확히 강조하였다.

이론적 측면에서는 풀백이 동적 선형 연산의 adjoint라는 수학적 정의에 기반해, 기존 방법이 갖는 “전역 미분”의 불필요한 복잡성을 제거한다는 점을 강조한다. 또한, 소프트 풀백의 온도 τ 파라미터와 기대값 근사의 정당성을 통계적 가정(가우시안 근사)으로 설명함으로써, 방법론에 대한 설득력을 높인다.

한계점으로는 (1) 온도 τ 와 α(두 배 풀백 가중치) 등 하이퍼파라미터 선택이 데이터·모델에 따라 민감할 수 있다는 점, (2) 현재는 이미지 도메인에 초점을 맞추었으며, 텍스트·음성 등 다른 모달리티에 대한 검증이 부족하다는 점을 들 수 있다. 향후 연구에서는 자동화된 파라미터 튜닝, 다중 모달리티 확장, 그리고 풀백 기반의 네트워크 구조 진단(프루닝·재구성) 등으로 확장 가능성이 제시된다.