학습 가능한 활성화 함수로 딥 뉴럴 네트워크 성능 향상

초록

본 논문은 각 뉴런마다 독립적으로 학습되는 조각선형(Adaptive Piecewise‑Linear, APL) 활성화 함수를 제안한다. APL은 기본 ReLU에 추가적인 S개의 힌지 함수와 가중치 aₛ, bₛ를 도입해 기울기와 전이를 조절한다. 이 파라미터들을 역전파로 동시에 최적화함으로써, 기존 고정형 ReLU·Maxout 대비 파라미터 효율성을 유지하면서도 비선형 표현력을 크게 확대한다. CIFAR‑10/100, 고에너지 물리학의 Higgs 데이터셋에서 기존 최고 성능을 넘어서는 결과를 얻었다.

상세 분석

본 연구는 딥러닝에서 비선형 활성화 함수가 학습 역학과 모델 표현력에 미치는 영향을 재조명한다. 제안된 Adaptive Piecewise‑Linear (APL) 유닛은 기본적인 max(0, x) 형태에 S개의 부정 힌지(max(0, −x + bₛ))를 가중치 aₛ와 함께 더한다. 수식적으로 h_i(x)=max(0,x)+∑{s=1}^S a{s,i}·max(0,−x+b_{s,i})이며, aₛ와 bₛ는 각 뉴런마다 독립적으로 학습된다. 이 구조는 입력이 큰 양수 영역에서는 선형 기울기 1을 유지하고, 큰 음수 영역에서는 기울기 α와 절편 −c를 갖는 선형 형태로 수렴한다는 특성을 가진다.

이론적으로 저자들은 모든 연속적인 조각선형 함수 g(x)가 충분히 큰 S와 적절한 aₛ, bₛ를 통해 표현될 수 있음을 정리 1로 증명한다. 조건 1은 충분히 큰 x에 대해 g(x)=x, 조건 2는 충분히 작은 x에 대해 기울기가 일정(α)임을 요구한다. 이는 딥 네트워크에서 선형 변환 w·g(x)+z와 결합될 때 실제 제한이 사라짐을 의미한다.

비교 분석에서는 Maxout과 Network‑in‑Network(NIN)와의 파라미터 효율성을 강조한다. Maxout은 K개의 선형 함수를 입력으로 받아 최대값을 출력하므로 표현력은 높지만, 동일한 APL을 구현하려면 O(SK)배 이상의 파라미터가 필요한다. NIN은 각 패치에 완전 연결 MLP를 적용해 복잡한 변환을 가능하게 하지만, 역시 파라미터가 크게 늘어나며 APL이 제공하는 미세한 비선형 조정 기능을 대체하지 못한다. 따라서 APL은 적은 추가 파라미터(2SM)만으로도 개별 뉴런 수준에서 다양한 비선형 형태를 학습할 수 있다.

실험에서는 Caffe 프레임워크를 이용해 CIFAR‑10/100과 Higgs 데이터셋에 적용하였다. CIFAR‑10에서는 3개의 합성곱 층(96, 128, 256 필터)과 2개의 풀링 층, 2개의 2048‑유닛 완전 연결층을 사용했으며, APL의 복잡도 파라미터 S를 5로 설정했다. 결과는 ReLU 기반 베이스라인 대비 오류율이 12.61%→11.38%(≈1.2%p)로 개선되었고, NIN 구조와 결합했을 때는 7.51%까지 낮아져 기존 최고 기록을 넘어섰다. CIFAR‑100에서도 S=2로 설정해 30.83% 오류율을 달성, 역시 기존 최고 성능을 초과하였다.

고에너지 물리학의 Higgs→ττ 데이터에서는 8‑층 DNN에 APL(S=2)을 적용해 AUC 0.804, 발견 유의미성 3.41σ를 기록했으며, 이는 ReLU 기반 단일 모델 및 5‑모델 앙상블보다 우수했다.

추가 실험에서는 S값 변화와 활성화 함수 고정 여부를 조사했다. S=1에서 활성화를 학습하지 않으면 12.55% 오류율(베이스라인과 동일)인 반면, 학습시키면 11.59%로 개선된다. S를 2, 5, 10으로 늘리면 약간의 변동은 있으나 최적은 S=5에서 나타난다.

시각화 결과는 학습된 APL이 Leaky‑ReLU와 유사한 형태를 보이면서도 음수 영역에서 다양한 기울기와 전이를 형성함을 보여준다. 이는 고정된 비선형보다 데이터에 맞춰 비선형성을 조정함으로써 학습 효율과 일반화 성능이 동시에 향상될 수 있음을 시사한다.

전반적으로 APL은 파라미터 효율성, 구현 용이성, 그리고 다양한 비선형 표현력 측면에서 기존 활성화 함수 설계에 대한 강력한 대안이며, 특히 대규모 데이터와 복잡한 물리학 문제에 적용했을 때 실질적인 성능 향상을 입증한다.