병렬 디더와 드롭아웃을 활용한 딥러닝 정규화

초록

본 논문은 배치 평균을 사용하지 않는 확률적 경사 하강법(SGD) 환경에서 기존의 드롭아웃과 디더가 효과를 잃는 문제를 지적하고, 이를 보완하기 위한 병렬 정규화 기법을 제안한다. 제안된 방법은 여러 개의 독립적인 미니배치를 동시에 처리하면서 각각에 디더와 드롭아웃을 적용하고, 결과를 평균해 최종 업데이트를 수행한다. 실험 결과, 병렬 정규화는 배치 기반 SGD보다 높은 일반화 성능을 보이며, 디더와 드롭아웃이 상호 보완적으로 작용함을 확인한다.

상세 분석

논문은 딥러닝 모델의 과적합을 방지하기 위한 정규화 기법으로 널리 사용되는 드롭아웃과 최근 제안된 디더가 배치 평균을 전제로 할 때만 효과적이라는 점을 실험적으로 입증한다. 배치 평균이 없는 순수 SGD 상황에서는 두 기법 모두 신호의 평균이 왜곡되어 학습이 불안정해지고, 결국 성능 저하로 이어진다. 이를 해결하기 위해 저자들은 ‘병렬 정규화(parallel regularisation)’라는 새로운 프레임워크를 고안한다. 핵심 아이디어는 동일한 입력 데이터를 여러 개의 복제된 미니배치에 대해 독립적으로 전파시킨 뒤, 각 복제본에 디더(고주파 잡음)와 드롭아웃(노드 무작위 삭제)을 동시에 적용한다. 그런 다음 각 복제본에서 얻은 그래디언트를 평균하여 파라미터 업데이트에 사용한다. 이 과정은 배치 평균을 인위적으로 재구성하면서도 각 복제본이 서로 다른 정규화 효과를 제공하도록 설계되었다. 실험에서는 MNIST와 CIFAR‑10 같은 표준 이미지 분류 데이터셋을 사용해, 기존 배치‑SGD 기반 드롭아웃·디더 조합보다 병렬 정규화가 1~2% 정도 높은 정확도를 달성함을 보여준다. 특히 디더와 드롭아웃을 동시에 적용했을 때 시너지 효과가 나타나, 각각 단독 적용보다 더 큰 일반화 이득을 얻는다. 또한, 병렬 정규화는 배치 크기에 민감하지 않아 작은 배치 혹은 배치가 없는 상황에서도 안정적인 학습이 가능함을 입증한다. 이로써 배치 평균에 의존하던 기존 정규화 기법의 한계를 넘어, 실시간 스트리밍 데이터나 메모리 제약이 있는 환경에서도 효과적인 정규화를 제공할 수 있다.