드롭아웃의 놀라운 특성 및 깊은 신경망에서의 영향

이 논문은 최근 딥러닝에서 널리 사용되는 드롭아웃 기법을 수학적으로 정밀 분석한다. 연구자는 ReLU 활성화와 제곱 손실을 갖는 완전 연결 신경망을 모델로 삼아, 드롭아웃이 기존 L2 정규화(가중치 감쇠)와 어떻게 다른지 네 가지 주요 특성을 통해 밝힌다. 첫 번째 특성은 입력 피처 스케일에 대한 무관성이다. 입력 벡터 x에 대각선 행렬 A를 곱해 스케일을 바꾸어도, 적절히 가중치를 변환한 네트워크 W′가 존재하여 J_D(W′)=J_D(W)와 R(W′)=R(W)를 만족한다. 따라서 입력을 표준화하거나 단위 변환을 해도 드롭아웃 최적화 결과는 변하지 않는다. 이는 가중치 감쇠가 입력 스케일에 민감한 것과 대조된다. 두 번째 특성은 층별 스케일 변환 불변성이다. 각 층에 상수 c_i를 곱하고, 마지막 출력 가중치를 역곱하면 전체 출력이 동일해진다. 특히 ∏_{i=1}^d c_i = 1이면, 모든 드롭아웃 패턴에 대해 D(W′,x,R)=D(W,x,R)이며, 따라서 J_D와 위험, 페널티가 모두 동일하다. 이 결과는 드롭아웃이 “스케일 고정점”이 없고, 같은 위험을 갖는 무수히 많은 파라미터 집합이 존재함을 의미한다. 세 번째 특성은 깊이에 따른 페널티 성장이다. 논문은 깊이 d인 네트워크에서 드롭아웃 페널티가 O(c^d) 형태로 지수적으로 증가한다는 정리를 제시한다. 반면 L2 페널티는 가중치 제곱합이므로 O(d) 수준이다. 따라서 깊은 네트워크일수록 드롭아웃은 구조적 복잡도에 대해 훨씬 강력한 억제 효과를 제공한다. 이는 드롭아웃이 깊은 모델의 과적합을 방지하는 메커니즘을 설명한다. 네 번째 특성은 드롭아웃 페널티가 음수가 될 수 있다는 점이다. 저자는 2‑입력, 2‑층 네트워크 예시에서 모든 가중치를 -1로 설정하고, 입력 (1,−1), 목표값 8을 사용했을 때, 드롭아웃 기준 J_D가 위험보다 54만큼 낮아져 페널티가 -54가 된다. 이는 드롭아웃이 노드가 끊어지는 변동성을 이용해 평균적으로 더 좋은 예측을 만들 수 있음을 보여준다. 또한 페널티는 라벨에 의존하고, 드롭아웃 확률 p에 대해 단조적이지 않다. 즉, p를 증가시킨다고 반드시 정규화 효과가 강해지는 것이 아니다. 논문은 이 외에도 드롭아웃이 음의 가중치를 학습할 수 있다는 실험적 증거를 제시한다. 특히 출력이 입력의 양의 합이어야 하는 상황에서도, 드롭아웃은 음의 가중치를 사용해 공동 적응을 일으킬 수 있다. 이는 기존 “드롭아웃은 공동 적응을 억제한다”는 직관에 반하는 결과이다. 전체적으로 저자는 드롭아웃을 단순히 노드를 무작위로 끄는 기법이 아니라, 스케일 불변성, 깊이 의존적 페널티, 라벨 의존적 변동성 활용 등 복합적인 정규화 메커니즘을 가진 고유한 학습 편향(inductive bias)으로 해석한다. 이러한 이론적 통찰은 드롭아웃이 왜 다양한 분야에서 성공적인지, 그리고 앞으로 어떤 방향으로 개선될 수 있는지에 대한 중요한 기반을 제공한다.