모델 투사로 구현하는 피드포워드와 컨볼루션 네트워크 간 상속 메커니즘

초록

본 논문은 텐서‑값 활성화를 이용한 통합 노드 형식화를 제시하고, 일반화된 피드포워드 네트워크(GFFN)가 일반화된 컨볼루션 네트워크(GCNN)의 엄격한 부분집합임을 증명한다. 이를 바탕으로 CNN의 각 입력 채널별 필터를 고정하고, (출력 채널, 입력 채널) 쌍마다 하나의 스칼라 게이트 γ를 학습하는 ‘모델 투사’ 방식을 제안한다. 투사된 CNN은 GFFN 형태를 갖게 되어, 채널별 가중치 하나만을 사용하는 전통적인 FFN 기법을 그대로 물려받을 수 있다. 실험 결과, ImageNet‑사전학습 백본들을 다양한 다운스트림 이미지 분류 데이터셋에 적용했을 때, 모델 투사는 파라미터 효율적인 전이 학습 베이스라인으로서 뛰어난 성능과 안정성을 보였다.

상세 분석

논문은 먼저 피드포워드 네트워크와 컨볼루션 네트워크를 동일한 수준에서 비교하기 위해 텐서‑값 입력을 허용하는 일반화된 노드 정의를 도입한다. GFFN 노드는 입력 텐서들의 가중합을 수행하고, GCNN 노드는 각 입력 채널에 대해 별도의 컨볼루션 연산을 수행한 뒤 채널을 합산한다. 이 정의에 따라 커널 크기가 1×1인 GCNN은 정확히 GFFN과 동등함을 보이며, 따라서 GFFN은 GCNN의 엄격한 부분집합이라는 정리를 증명한다(정리 3.5). 이 결과는 “GCNN에 적용 가능한 모든 이론·기법은 자동으로 GFFN에도 적용 가능”이라는 귀결을 낳는다(코롤러리 3.6).

하지만 역방향, 즉 CNN이 FFN의 특수한 기법을 물려받는 것은 일반적으로 불가능하다. 이를 해결하기 위해 저자들은 ‘모델 투사(Model Projection)’를 제안한다. 투사 과정은 두 단계로 이루어진다. 첫째, 사전학습된 CNN의 각 입력 채널별 필터를 완전히 고정한다. 둘째, (출력 채널 j, 입력 채널 k) 쌍마다 스칼라 파라미터 γ_{jk}를 도입해 해당 채널의 기여도를 재조정한다. 이때 편향은 여전히 학습 가능하도록 유지한다. 수식적으로는
\