강인한 지식 증류 REDistill으로 효율과 견고성 균형

초록

REDistill은 기존 KL 기반 지식 증류의 한계를 극복하기 위해 강인 통계의 파워 다이버전스 손실을 도입한다. λ = 2/3의 파라미터를 사용해 교사의 불확실하거나 과신된 소프트 타깃을 자동으로 가중치를 낮추면서도 로그잇 간의 관계는 유지한다. CIFAR‑100과 ImageNet‑1k에서 다양한 교사‑학생 조합에 대해 별도 하이퍼파라미터 튜닝 없이 일관된 정확도 향상을 보이며, 계산 비용은 기존 KD와 거의 동일하다.

상세 분석

본 논문은 지식 증류(KD)에서 교사 모델의 소프트 타깃이 반드시 신뢰할 수 없다는 현실적 문제를 통계적 강인성 이론으로 접근한다. 기존 KD는 KL 발산을 최소화하는데, KL은 로그 함수의 급격한 증가 특성 때문에 교사 출력이 노이즈나 오버컨피던스일 경우 손실이 과도하게 커져 학생 모델이 잘못된 신호에 과도하게 적응한다. 이를 해결하기 위해 저자들은 파워 다이버전스(power divergence)라는 KL의 일반화된 형태를 도입한다. 파워 다이버전스는 λ 파라미터에 따라 로그 함수를 (1‑λ)‑로그(γ‑logarithm)로 부드럽게 변형함으로써 큰 likelihood ratio에 대한 민감도를 조절한다. λ > 0이면 개별 샘플의 영향력이 1/(1+λ)·qθ 로 감소해, 이상치(노이즈 교사 출력)의 영향이 자연스럽게 억제된다.

논문은 영향 함수(influence function) 분석을 통해 λ = 2/3이 효율성과 강인성 사이의 최적 균형점임을 이론적으로 증명하고, 실험적으로도 이 값을 고정하여 모든 실험에 적용한다. 손실식은 기존의 교차 엔트로피(ground‑truth)와 결합된 형태이며, 교사 로그잇을 타깃/비타깃으로 분리해 각각 파워 다이버전스로 처리한다. 온도 스케일링이 필요한 경우, 파워 다이버전스에 τ² 스케일을 곱해 그래디언트 크기 감소 문제를 완화한다.

실험에서는 CIFAR‑100과 ImageNet‑1k에서 14가지 교사‑학생 조합을 대상으로, 기존 KD, DKD, LSKD, RLD 등 최신 방법들과 비교하였다. 결과는 REDistill이 대부분의 경우 0.3~1.0% 정도의 Top‑1 정확도 향상을 제공함을 보여준다. 특히 모델‑특정 하이퍼파라미터 튜닝이 전혀 필요 없으며, 추가 연산 비용도 미미해 실용성이 높다.

이러한 접근은 KD를 강인 통계와 연결함으로써, 교사의 불완전성을 정량적으로 다루는 최초의 시도이며, 향후 다중 교사, 비정형 데이터, 혹은 라벨 노이즈가 심한 상황에서도 확장 가능성을 시사한다.