CNN 필터를 GAN으로 매개화하여 학습된 불변성 시각화

초록

훈련된 합성곱 신경망(CNN)의 각 층 필터를 생성적 적대 신경망(GAN)의 잠재공간으로 매핑한다. GAN‑InfoGAN 구조를 이용해 필터 다양성을 유지하고, 생성된 필터가 만든 활성값을 실제 필터와 구분하도록 학습한다. 이후 잠재벡터를 변화시켜 얻은 필터로 입력 이미지를 재구성함으로써, CNN이 학습 과정에서 얻게 된 고차원·비선형 불변 변환을 이미지 공간에서 시각화한다. MNIST 실험에서 깊은 층은 복잡한 형태 변형, 얕은 층은 밝기·굵기 변화 등 저수준 변형을 포착함을 보였다.

상세 분석

이 논문은 “CNN이 학습한 불변성(invariance)을 어떻게 추출하고 파라미터화할 수 있는가?”라는 근본적인 질문에 답하고자 한다. 기존의 그룹 이론 기반 접근법은 주로 선형·아핀 변환(회전, 이동 등)에 국한돼 실제 데이터가 갖는 복잡한 비선형 변환을 포착하기 어렵다. 저자들은 이를 해결하기 위해 두 단계의 핵심 아이디어를 제시한다. 첫째, 훈련된 CNN의 특정 층(예: 4번째 컨볼루션 층)의 필터 집합을 직접 GAN의 목표 분포로 삼는 대신, 필터가 입력 이미지에 미치는 활성값을 GAN의 판별자(D)에게 제공한다. 즉, 실제 필터와 GAN이 생성한 가짜 필터를 각각 적용한 후의 중간 활성맵을 구분하도록 학습함으로써, 필터 자체가 아닌 필터가 만든 출력 특성을 기준으로 GAN을 훈련한다. 이는 필터 수가 적어 GAN이 과적합하는 문제를 회피한다. 둘째, InfoGAN 구조를 도입해 잠재코드 z와 생성된 필터 사이에 상호 정보를 최대화한다. 판별자와 별도로 Q 네트워크가 z를 복원하도록 학습함으로써, 생성기가 매번 동일한 필터를 만들지 못하게 하고, 잠재공간을 통해 연속적·다양한 필터 변형을 얻는다.

학습 과정은 세 네트워크(G, D, Q)를 동시에 최적화한다. G는 잠재벡터 z→필터 G(z) 를 출력하고, D는 실제 활성값 CNN⁽ˡ⁾(I)와 가짜 활성값 Conv(CNN⁽ˡ⁻¹⁾(I), G(z)) 를 구분한다. Q는 가짜 활성값으로부터 z를 예측한다. 손실은 전통적인 GAN 손실에 InfoGAN의 상호정보 하한 L_I 를 가중치 λ 와 함께 더한 형태이며, 최적화는 RMSprop 등 표준 SGD 변형으로 수행한다.

불변성 시각화는 학습된 G를 이용해 임의의 z를 선택하고, 해당 필터로 입력 x 의 활성 프로파일 a(x|z)를 계산한다. 이후 z 의 두 차원을 작은 구간