깊이 감독 신경망

본 논문은 심층 신경망, 특히 컨볼루션 신경망(CNN)의 학습 과정에서 발생하는 두 가지 주요 문제—은닉층 특징의 불투명성·판별력 부족과 그래디언트 폭발·소실 현상—에 주목한다. 기존 방법들은 주로 전체 네트워크를 하나의 손실 함수에 의해 최적화하거나, 층별 사전학습(pre‑training)으로 초기화를 수행한다. 그러나 이러한 접근은 은닉층이 최종 출력 손실에만 간접적으로 영향을 받아, 초기 층의 특징이 충분히 유용하지 않을 수 있다. 또한, 역전파 과정에서 깊은 네트워크는 그래디언트가 급격히 감소하거나 증가해 학습이 비효율적이 된다. 이를 해결하기 위해 저자들은 “깊이 감독 신경망(Deeply‑Supervised Nets, DSN)”이라는 새로운 프레임워크를 제안한다. 핵심 아이디어는 각 은닉층에 별도의 라벨 기반 손실을 부착해, 해당 층 자체가 직접적인 분류 작업을 수행하도록 하는 것이다. 구체적으로, 각 은닉층 m(1≤m≤M‑1)의 출력 특징 맵 Z(m)에 선형 분류기 w(m) (예: L2‑SVM)를 연결하고, 이 분류기의 제곱 힌지 손실 ℓ(W,w(m))을 정의한다. 전체 손실 함수는 최종 출력 손실 L(W,w_out)와 은닉층 손실들의 가중합으로 구성된다. F(W)=‖w_out‖²+L(W,w_out)+∑_{m=1}^{M‑1}α_m