연속형 드롭아웃: 뇌의 연속적 발화 패턴을 모방한 새로운 정규화 기법

본 논문은 딥러닝에서 과적합을 방지하고 피처 디텍터의 공동 적응을 억제하는 기법인 드롭아웃을 인간 뇌의 연속적인 뉴런 발화 패턴에 기반해 확장한다. 기존 이진 드롭아웃은 뉴런을 0 또는 1로 이산적으로 마스킹하지만, 뇌에서는 강한 시냅스와 약한 시냅스가 연속적인 활성 강도로 존재한다는 신경생물학적 증거가 있다. 이를 반영해 저자들은 “연속형 드롭아웃(Continuous Dropout)”을 제안한다. 연속형 드롭아웃은 두 가지 확률 분포를 사용한다. 첫 번째는 0과 1 사이의 균등분포 U(0,1)이며, 두 번째는 평균 0.5와 분산 σ²를 갖는 정규분포 N(0.5,σ²)이다. 두 경우 모두 기대값이 0.5이므로 기존 이진 드롭아웃(p=0.5)과 평균 출력이 동일하게 유지된다. 논문은 이 두 분포를 “Uniform Dropout”과 “Gaussian Dropout”이라 명명한다. **정적 분석**에서는 단일 선형 층을 대상으로 출력 S_i = Σ_j w_ij I_j에 마스크를 곱한 형태를 전개한다. 이진 드롭아웃에서는 마스크가 Bernoulli(p)이며, Uniform와 Gaussian 드롭아웃에서는 각각 u_j~U(0,1)와 g_j~N(0.5,σ²)이다. 기대값은 모두 0.5 Σ_j w_ij I_j이지만, 분산과 공분산은 차이를 보인다. 이진 드롭아웃의 출력 분산은 Σ_j w_ij² I_j²·p·(1-p)=¼ Σ_j w_ij² I_j²이며, 공분산도 동일한 계수를 가진다. Uniform 드롭아웃은 분산이 1/12 Σ_j w_ij² I_j², 공분산도 1/12 Σ_j w_ij w_lj I_j² 로 감소한다. Gaussian 드롭아웃은 분산이 σ² Σ_j w_ij² I_j², 공분산도 σ² Σ_j w_ij w_lj I_j² 로 σ²에 비례한다. 따라서 Uniform 드롭아웃은 가장 낮은 공분산을 제공해 피처 디텍터 간 독립성을 높이며, Gaussian 드롭아웃은 σ²를 조절해 다양성과 독립성 사이의 균형을 맞출 수 있다. 비선형(sigmoid) 유닛에 대해서는 중앙극한정리를 이용해 총 입력 S가 정규분포를 따른다고 가정하고, 기대 출력 E