양측 대조 기반 지식 증류: 샘플·클래스 정렬을 통한 확장형 KD

초록

BicKD는 교사와 학생 모델의 로짓을 샘플 수준과 클래스 수준에서 동시에 대조하여 정렬하고, 서로 다른 클래스 간의 직교성을 강화하는 새로운 손실 함수를 도입한다. 코사인 거리 기반의 직교성 증폭과 KL·L1 정렬 손실을 결합해 확률 공간의 기하 구조를 규제함으로써 기존 KD 방법보다 일관된 성능 향상을 달성한다.

상세 분석

본 논문은 기존 로그 기반 지식 증류(KD)의 근본적인 한계, 즉 샘플별 확률 정렬만 수행하고 클래스 간 구조적 관계를 무시한다는 점을 지적한다. 이를 보완하기 위해 저자들은 “양측 대조(Bilateral Contrast)”라는 개념을 도입한다. 양측 대조는 두 축으로 구성된다. 첫 번째 축은 샘플‑wise 대조로, 동일 샘플에 대해 교사와 학생의 로짓을 KL‑다이버전스로 정렬하고, 서로 다른 레이블을 가진 샘플 쌍에 대해서는 코사인 거리 D(u,v)=1‑cos(u,v) 를 최대화하여 직교성을 강화한다. 이때 직교성 증폭 손실 Lₛₒₐ = −(1/|Δ|)∑{(i,j)∈Δ} D(S_i, T_j) 로 정의된다. 두 번째 축은 클래스‑wise 대조로, 각 배치에서 교사의 클래스 k 열과 학생의 클래스 j 열을 비교한다. 서로 다른 클래스(j≠k) 사이의 코사인 거리를 최대화하는 L{coa}=−(1/C(C−1))∑{j≠k} D(S:,j, T_:,k) 와, 동일 클래스에 대해서는 L1 거리 기반 정렬 L_{ca}= (1/C)∑j ||S:,j−T_:,j||₁ 를 사용한다. 이렇게 두 방향의 정렬·직교성 손실을 합친 총 손실 L_{BicKD}=α·L_{CE}+β·L_{KL}+γ·(L_{soa}+L_{coa})+δ·(L_{KL}+L_{ca}) 로 최적화한다.

핵심 아이디어는 확률 공간의 기하 구조를 교사가 가지고 있는 직교성 패턴에 맞추어 학생이 학습하도록 유도하는 것이다. 교사의 로짓은 일반적으로 저엔트로피·극단적인 원-핫 형태에 가까우며, 이는 클래스 간 방향이 거의 직교함을 의미한다. 코사인 거리를 이용해 이러한 직교성을 명시적으로 강화함으로써, 학생 모델은 클래스 간 경계가 명확한 확률 벡터를 학습하게 된다. 또한, 샘플‑wise와 클래스‑wise 대조를 동시에 적용함으로써 샘플 수준의 정확도와 클래스 수준의 구조적 일관성을 동시에 확보한다.

실험에서는 CIFAR‑10/100, ImageNet 등 다양한 데이터셋과 ResNet, MobileNet, ViT 등 여러 아키텍처에 적용했으며, 기존 KD, DIST, RLD, WKD‑L 등 최신 방법들을 앞섰다. 특히, 비표준 상황(노이즈 라벨, 데이터 부족)에서도 안정적인 성능 향상을 보였다. Ablation study는 각 손실 구성 요소가 독립적으로 기여함을 확인했으며, 코사인 거리 대신 유클리드 거리를 사용할 경우 직교성 강화 효과가 급감함을 보고했다.

이 접근법의 장점은 추가 메모리 요구가 거의 없고, 로짓 차원에서 직접 대조하기 때문에 연산 비용이 낮다는 점이다. 반면, 클래스 수가 매우 큰 경우(예: 수천 클래스) 코사인 거리 기반 전체 열 간 대조가 O(C²) 비용을 초래할 수 있어, 샘플링 기반 근사나 블록 대조가 필요할 가능성이 있다. 또한, 온도 파라미터 τ와 손실 가중치(α,β,γ,δ)의 민감도가 실험에 따라 달라질 수 있어, 하이퍼파라미터 튜닝이 요구된다. 전반적으로 BicKD는 샘플‑wise와 클래스‑wise 정보를 동시에 활용함으로써 확률 공간의 구조적 정규화를 달성하는 혁신적인 KD 프레임워크라 할 수 있다.