자동 트렁케이션으로 데이터 증류 효율 극대화

초록

본 논문은 데이터 증류에서 내부 루프 최적화를 위해 무작위 트렁케이션 대신 학습 단계별 그래디언트 특성을 이용해 트렁케이션 위치와 윈도우 크기를 자동으로 조정하는 AT‑BPTT 프레임워크를 제안한다. 단계‑인식 확률 선택, 그래디언트 변동 기반 가변 윈도우, 저‑랭크 헤시안 근사 세 가지 핵심 모듈을 결합해 메모리·시간 효율을 크게 개선하면서 CIFAR‑10/100, Tiny‑ImageNet, ImageNet‑1K에서 평균 6.16%의 정확도 향상을 달성한다.

상세 분석

AT‑BPTT는 기존 RaT‑BPTT가 전체 학습 과정에 동일한 확률로 트렁케이션 구간을 선택하는 한계를 극복한다. 저자는 먼저 DNN이 초기 단계에서는 단순 패턴을, 후기 단계에서는 복잡한 패턴을 학습한다는 사실을 실험적으로 검증하고, 이에 따라 “preliminary”(초기)와 “post”(후기) 타임스텝을 구분한다. 실험 결과, 초기 단계에서 preliminary 타임스텝을 트렁케이션하면 평균 2.9% 정확도 상승, 후기 단계에서 post 타임스텝을 선택하면 1.8% 상승한다. 중간 단계는 트렁케이션 위치에 크게 민감하지 않다.

이러한 관찰을 바탕으로 동적 트렁케이션 위치를 정의한다. 각 타임스텝 t의 그래디언트 크기 ‖∇θ Lt‖₂를 소프트맥스 형태로 정규화해 확률 P_trunc(t)를 구하고, 온도 파라미터 τ를 통해 탐색-수렴 균형을 조절한다. 초기 단계에서는 P_trunc(t) 비례로 선택, 중간 단계는 균등 무작위, 후기 단계는 1‑P_trunc(t) 비례로 선택하도록 설계했다.

다음으로 윈도우 크기 조절 메커니즘을 도입한다. 그래디언트 변동량 |‖∇θ Lt‖₂‑‖∇θ Lt‑1‖₂| 를 동일하게 정규화해 가중치 η(t)를 얻고, 이를 원래 윈도우 W에 선형 변환하여 W*(t)=W‑d+2d·η(t) (범위