동적 확률 모델 기반 신경망 구조 최적화에서 모델 복잡도 제어

본 논문은 구조 파라미터를 확률적으로 모델링하고, 가중치와 구조 분포 파라미터를 동시에 최적화하는 동적 구조 최적화 프레임워크에 모델 복잡도 제어를 위한 페널티 항을 도입한다. 이 페널티는 활성화된 유닛·연결 수에 비례하도록 설계되며, 자연 그라디언트를 이용해 효율적으로 업데이트한다. 실험은 완전 연결 신경망의 유닛 선택과 DenseNet의 연결 선택에 적용했으며, 페널티 강도에 따라 모델 크기를 크게 줄이면서도 정확도 손실을 최소화함을 보였다…

저자: Shota Saito, Shinichi Shirakawa