신경망의 재학습 문제와 드롭아웃·활성함수 선택에 관한 실증 연구

본 논문은 “Catastrophic Forgetting”(재학습 문제)이 현대 딥러닝 모델, 특히 Gradient‑Based 신경망에서 얼마나 심각하게 나타나는지를 정량적으로 조사한다. 연구자는 먼저 기존 문헌에서 재학습 현상이 2006년 이후 딥러닝 붐 속에서 충분히 다루어지지 않았음을 지적하고, 이를 보완하기 위해 세 가지 과제 관계(동일 과제·입력 포맷 변형, 유사 과제, 비유사 과제)를 정의하였다. 각 과제 쌍에 대해 두 단계 학습을 수행한다: 먼저 ‘구 과제’를 충분히 학습시킨 뒤, 동일한 네트워크를 ‘신 과제’에 재학습한다. 이때 구 과제에 대한 성능 유지와 신 과제에 대한 적응 사이의 트레이드오프를 시각화하기 위해 가능성 프론티어 곡선을 사용한다. 실험 설정은 다음과 같다. 네트워크는 두 개의 은닉층과 소프트맥스 출력층으로 구성되며, 활성함수는 로지스틱 시그모이드, ReLU, Hard‑LwTA, Maxout 네 가지를 적용한다. 학습 알고리즘은 표준 SGD와 드롭아웃을 적용한 SGD 두 가지이며, 드롭아웃에서는 은닉 유닛 드롭 확률을 0.5, 입력 유닛 드롭 확률을 0.2로 고정한다. 하이퍼파라미터는 무작위 탐색(random search) 방식을 채택해 각 조건당 25개의 설정을 시도한다. 탐색 대상에는 각 레이어의 최대 노름 제약, 가중치·바이어스 초기화 방식, 레이어 크기, 학습률·모멘텀 스케줄 등이 포함된다. 실험 결과는 크게 두 가지 주요 결론을 도출한다. 첫째, 드롭아웃을 적용한 학습이 모든 과제 관계와 활성함수 조합에서 가장 좋은 트레이드오프를 제공한다. 드롭아웃을 사용할 경우 최적 네트워크 규모가 평균 56 % 증가했으며, 이는 파라미터 용량이 커짐에 따라 재학습 시 기존 지식을 보존하는 능력이 향상된다는 가설을 뒷받침한다. 그러나 비유사 과제 쌍에서는 오히려 네트워크 규모가 감소하는 현상이 관찰돼, 단순히 ‘용량 증가’만이 원인이 아니라 드롭아웃이 학습 과정에서 파라미터를 보다 균등하게 활용하도록 하는 정규화 효과가 작용한다는 점을 시사한다. 둘째, 활성함수의 성능 순위는 과제 관계에 따라 크게 달라진다. 동일 과제(입력 포맷 변형)에서는 ReLU가 가장 낮은 망각률과 높은 적응률을 보였으며, 유사 과제에서는 Hard‑LwTA가 상대적으로 우수했다. Maxout은 드롭아웃과 결합될 때만 프론티어 상에 자주 등장했으며, 드롭아웃 없이 사용할 경우 일관된 우위를 확보하지 못했다. 따라서 ‘최적의 활성함수’는 존재하지 않으며, 특정 과제 조합과 학습 알고리즘에 맞춰 교차 검증을 수행해야 함을 강조한다. 연구는 또한 하이퍼파라미터 탐색을 무작위 방식으로 제한함으로써 실험 비용을 절감했지만, 이는 최적 설정을 놓칠 가능성을 내포한다는 점을 인정한다. 또한 실험에 사용된 데이터는 MNIST의 입력 순열 변형에 국한돼, 자연어 처리나 이미지 인식 등 복잡한 도메인에 대한 일반화는 추가 연구가 필요하다. 결론적으로, 이 논문은 현대 신경망에서도 재학습 문제가 여전히 존재함을 확인하고, 드롭아웃이 망각 완화에 가장 효과적인 방법임을 실증하였다. 동시에 활성함수 선택이 과제 간 유사도에 민감하게 반응한다는 사실을 밝혀, 실제 적용 시에는 활성함수와 드롭아웃 사용 여부를 모두 교차 검증하는 것이 바람직함을 제안한다.