분리 보존 지식 증류 기법으로 경량 OOD 추론기 구현

초록

본 논문은 자원이 제한된 임베디드 시스템을 위해, 분리 특성을 유지하면서 모델 크기를 줄인 ‘분리 증류 인코더(DDE)’ 프레임워크를 제안합니다. 교사 모델의 지식을 학생 모델로 증류하는 과정을 제약 최적화 문제로 공식화하고, Rademacher 복잡도 이론을 통해 분리 특성 유지에 대한 이론적 보장을 제공합니다. CARLA 데이터셋 실험을 통해 성능을 입증했습니다.

상세 분석

본 논문의 핵심 기술적 기여는 ‘분리 특성’을 보존하는 모델 경량화 프레임워크인 DDE의 제안에 있습니다. 기존 지식 증류는 모델 압축에 효과적이지만, 해석 가능한 OOD 추론에 필수적인 잠재 공간의 분리 특성(한 차원이 하나의 생성 요인에 주로 반응함)을 유지한다는 보장이 없었습니다. DDE는 이 문제를 ‘적응성’과 ‘고립성’이라는 두 가지 분리 제약 조건을 도입한 제약 최적화 문제로 해결합니다. 적응성 제약은 특정 생성 요인 변화에 대한 정보가 교사 모델에서 학생 모델의 대표 차원으로 전달되도록 보장하며, 고립성 제약은 해당 변화가 비대표 차원에는 영향을 미치지 않도록 격리합니다.

또한, 논문의 중요한 이론적 공헌은 비볼록 신경망으로 볼록 학습 과제를 수행할 때 발생하는 ‘매개변수화 간극’과 훈련 데이터만으로 인한 ‘경험적 간극’을 분석하고, Rademacher 복잡도를 활용하여 정의된 손실 함수의 기대값에 대한 이론적 상한을 제공한다는 점입니다. 이는 제안된 최적화 문제의 해가 갖는 일반화 성능에 대한 수학적 보장을 의미합니다. 실험적으로는 배치 정규화 층을 제거하고 합성곱 연산에 정규화를 통합하는 방식으로 모델 크기를 줄였으며, NVIDIA Jetson Nano에서의 배포를 통해 실용성을 입증했습니다. 이 접근법은 완전 지도 학습이 아닌 ‘짝 맞춤’ 약한 지도 학습을 사용하며, OOD 샘플에 대한 사전 정보 없이도 작동한다는 점에서 실용적 가치가 높습니다.