Sparseout 딥 네트워크 희소성 제어

초록

Sparseout은 Dropout을 일반화한 확률적 정규화 기법으로, 활성화의 Lₙ(q) 노름 페널티를 적용해 원하는 수준의 희소성을 직접 제어한다. 이론적으로는 일반화 선형 모델에서 L_q 패널티와 동등함을 증명하고, q=2일 때는 기존 Dropout과 동일함을 보인다. 실험에서는 MNIST 자동인코더, CIFAR‑10/100 이미지 분류, 그리고 언어 모델링 과제에 적용해, q<2일 때는 희소성이 증가하고 q>2일 때는 활성화가 밀집해 성능이 향상되는 현상을 확인하였다. 계산 비용은 Dropout 수준이며, 기존 cuDNN 기반 구현에 그대로 적용 가능하다.

상세 분석

Sparseout은 활성화 a_l에 대해 â_l,i = a_l,i ± |a_l,i|^{q/2}·(r_i−1)·p^{-1} 형태의 마스크 연산을 수행한다. 여기서 r_i는 Bernoulli(p) 샘플이며, q는 L_q 노름을 정의하는 하이퍼파라미터이다. q<2이면 L_q 공간이 희소성을 촉진하고, q>2이면 밀집성을 유도한다는 수학적 성질을 이용해 네트워크의 표현을 자유롭게 조절한다. 논문은 이 연산이 일반화 선형 모델의 설계 행렬에 적용된 경우, 변분(variance) 항이 (1−p)/p·|X_{ij}|^{q}·β_j^2 로 나타나며, 이는 결국 ‖ΓX‖_q^q 형태의 정규화 항으로 귀결된다. 따라서 Sparseout은 손실 함수에 L_q 패널티를 암묵적으로 추가하는 효과를 가진다.

또한, 비음수 활성화 함수(ReLU 등)를 가정하면 q=2일 때 â_l,i = r_i·a_l,i 가 되어 기존 Dropout과 완전히 동일함을 정리한다. 이는 Sparseout이 Dropout의 특성을 보존하면서도 q 값을 조정해 희소성/밀집성을 연속적으로 탐색할 수 있음을 의미한다.

실험에서는 MNIST 자동인코더에 Sparseout을 적용해 Hoyer’s sparsity measure를 추적하였다. q를 1.0에서 4.0까지 변화시켰을 때, q가 2 이하일 때는 측정값이 0.6에 가까워져 활성화가 매우 희소해지고, q가 3.0 이상이면 값이 0.2 수준으로 감소해 활성화가 균등하게 분포함을 확인했다. 이는 이론적 기대와 일치한다.

계산 효율성 측면에서, Sparseout은 마스크 연산과 절댓값·거듭제곱만 추가되므로 GPU에서의 병렬 처리에 큰 부담을 주지 않는다. 표 1에 제시된 실험 결과에서 자동인코더(512·512) 기준으로 Dropout이 5.3 s/epoch, Sparseout이 5.8 s/epoch, 반면 Bridgeout은 31.6 s/epoch으로 차이가 크게 나타난다. 즉, 기존 딥러닝 파이프라인에 거의 비용 없이 삽입 가능하다.

이미지 분류 실험에서는 Wide Residual Network(WRN‑28‑10)에 Sparseout을 적용하였다. CIFAR‑10/100에서 q=2.5일 때 테스트 오류가 각각 3.63 %와 19.07 %로, 동일 구조의 Dropout(4.59 %/21.66 %)보다 유의미하게 낮았다. q<2인 경우는 학습 초기에 오버피팅이 발생해 정확도가 급격히 감소하였다. 이는 이미지 인식 과제에서 보다 밀집된 특징 표현이 일반화에 유리함을 시사한다.

반면 언어 모델링(LSTM 기반)에서는 고차원 희소 입력이 일반적이므로 q<2가 오히려 성능 향상을 가져올 가능성이 제시된다. 논문 본문에 구체적인 수치가 제시되지 않았지만, 저자들은 “희소성이 언어 모델링에 유리”라는 결론을 도출하였다. 이는 텍스트 데이터의 토큰-레벨 희소성 특성과 일치한다.

전체적으로 Sparseout은 (1) Dropout과 동일한 구현 난이도, (2) q 파라미터를 통한 희소성/밀집성 연속 제어, (3) L_q 정규화와의 이론적 연결, (4) 다양한 네트워크 구조와 태스크에 적용 가능한 범용성이라는 장점을 제공한다. 특히, 기존 정규화 기법이 희소성을 강제하거나 억제하는 데 한계가 있었던 점을 보완하면서도 계산 비용을 최소화한다는 점에서 실무 적용 가치가 높다.