상속 네트워크: 교사 모델을 효율적으로 물려받는 비대칭 저랭크 구조

초록

InherNet은 교사 네트워크의 가중치를 비대칭 저랭크 분해하고 SVD 기반 초기화를 통해 지식과 구조를 직접 물려받는 방법이다. 저랭크 “down”·“up” 층과 다중 전문가 헤드(gating) 구조를 결합해 파라미터는 크게 줄이면서도 교사의 표현력을 유지한다. 이론적으로 수렴 속도가 향상되고, 파라미터 효율성(PE, EPR)도 증명된다. 실험에서는 동일 파라미터 규모의 기존 학생 네트워크보다 전반적인 성능이 우수함을 확인하였다.

상세 분석

InherNet은 기존 Knowledge Distillation(KD)에서 학생 네트워크가 교사 모델의 지식을 간접적으로 흡수하는 한계를 극복하고자, 교사 모델 자체를 저랭크 형태로 재구성해 “상속”하는 새로운 패러다임을 제시한다. 핵심 아이디어는 교사 가중치 W 에 대해 Singular Value Decomposition(SVD)을 수행하고, 상위 r 개의 특이값과 특이벡터만을 남겨 U_r · Σ_r · V_rᵀ 라는 저랭크 근사 W_r 을 만든 뒤, 이를 두 개의 연속적인 저랭크 레이어(‘down’ U_r Σ_r 와 ‘up’ Σ_r V_rᵀ)로 치환한다. 이 과정은 Eckart‑Young‑Mirsky 정리를 기반으로 최적의 r‑rank 근사를 제공하므로, 원래 모델의 주요 표현력을 크게 손실하지 않는다.

구조적 측면에서 InherNet은 단순히 저랭크 분해만 하는 것이 아니라, Mixture‑of‑Experts(MoE)에서 영감을 얻은 비대칭 전문가‑헤드 구조를 도입한다. 입력 X 에 대해 H 개의 전문가 헤드가 각각 W_up^h · W_down 연산을 수행하고, gating 네트워크 G(X) 가 softmax를 통해 각 헤드에 가중치를 할당한다. 이 설계는 (1) 하나의 “down” 프로젝션을 공유함으로써 파라미터 중복을 최소화하고, (2) 여러 “up” 헤드를 통해 네트워크 폭을 효과적으로 확장해 깊이‑폭 균형을 맞춘다. 또한, 각 헤드가 독립적으로 학습되면서 입력에 따라 특화된 기능을 발휘하도록 gradient가 자동으로 라우팅된다.

이론적 분석에서는 세 가지 주요 보장을 제공한다. 첫째, SVD 기반 초기화가 U_r, V_r 을 직교 행렬로 만들기 때문에, 초기 조건에서의 Lipschitz 상수 L 이 조건수 κ 에 비례해 감소(L′≈L/κ)한다. 이는 초기 학습 단계에서 그래디언트 폭을 줄이고, 수렴 속도를 가속화한다. 둘째, 비대칭 구조와 gating 메커니즘을 포함한 파라미터화가 gradient를 헤드와 gating 네트워크로 자연스럽게 분해함을 Lemma 2.2가 증명한다. 셋째, Assumption 2.1‑2.3(리프시츠 연속성, bounded variance, bounded representation) 하에 감소 학습률 스케줄을 적용하면, InherNet은 O(1/√T) 수렴률을 달성한다는 Theorem 2.4가 제시된다. 이는 일반 비볼록 최적화와 동일한 수준이면서, 실제 실험에서 관찰된 빠른 초기 수렴을 이론적으로 설명한다.

파라미터 효율성 측면에서는 Definition 2.1‑2.3을 통해 표현력‑파라미터 비율(EPR)을 정량화한다. Theorem 2.5는 단일 레이어에 대해 원래 파라미터 mn 에 비해 InherNet이 H·r·(m+n)+H·(r+1) 개의 파라미터만을 사용함을 보여, 압축 비율 ρ≈(mn)/(H·r·(m+n)) 을 얻는다. 여기서 r 은 저랭크 차원, H 는 전문가 헤드 수이며, 적절히 선택하면 원래 레이어의 표현력을 거의 유지하면서 파라미터를 수십 배까지 감소시킬 수 있다.

실험에서는 이미지 분류(CIFAR‑10/100, ImageNet), 자연어 처리(GLUE), 그리고 멀티모달(ViLT, CLIP 기반) 작업을 대상으로 InherNet과 동일 파라미터 규모의 기존 학생 네트워크(ResNet‑18, MobileNet‑V2, BERT‑base 등)를 비교하였다. 전반적으로 InherNet은 Top‑1 정확도·F1·BLEU 등에서 1‑3%p의 절대적 향상을 보였으며, 특히 저랭크 차원 r 을 0.2‑0.4 × 원본 차원으로 줄였을 때도 성능 저하가 미미했다. 또한, 학습 초기 10% 에폭 동안의 손실 감소 속도가 학생 네트워크보다 두 배 이상 빨랐으며, 이는 앞서 제시한 SVD 초기화와 gating 메커니즘의 시너지 효과로 해석된다.

한계점으로는 (1) 저랭크 차원 r 과 헤드 수 H 의 하이퍼파라미터 선택이 데이터·모델에 따라 민감하게 작용한다는 점, (2) 매우 깊은 네트워크에서는 “down” 프로젝션이 병목이 될 가능성이 있다는 점, (3) 현재 구현이 Conv와 Linear 레이어에 국한되어 Transformer‑style attention 구조에 대한 직접 적용은 추가 연구가 필요하다는 점을 언급한다. 그럼에도 불구하고 InherNet은 KD와 PEFT(LoRA 등)의 장점을 결합한 새로운 모델 압축 패러다임으로, 교사 모델의 구조와 지식을 손실 없이 물려받아 경량화된 고성능 모델을 만들 수 있음을 입증한다.