협동형 GSO와 가중치 감쇠를 활용한 신경망 최적화

초록

본 논문은 그룹 탐색 최적화기(GSO)의 협동형 변형인 CGSO‑Hk‑WD와 CGSO‑Sk‑WD를 제안한다. 두 알고리즘은 다중 그룹을 나누어 협력하게 함으로써 탐색 효율을 높이고, 가중치 감쇠(Weight Decay) 기법을 결합해 과적합을 방지한다. 실험 결과, 암, 당뇨, 대장균, 유리 데이터셋 등 네 가지 벤치마크 분류 문제에서 기존 GSO보다 높은 정확도와 일반화 성능을 달성하였다.

상세 분석

본 연구는 GSO(Group Search Optimizer)의 구조적 한계를 극복하기 위해 ‘divide‑and‑conquer’ 패러다임을 적용한 협동형 메커니즘을 도입하였다. 기존 GSO는 하나의 탐색 그룹이 전체 탐색 공간을 담당하는데, 이는 고차원 문제에서 지역 최적에 빠질 위험이 크다. 저자들은 전체 개체군을 여러 서브 그룹으로 분할하고, 각 그룹이 독립적으로 탐색하면서도 일정 주기마다 정보를 교환하도록 설계하였다. 두 가지 협동 방식인 CGSO‑Hk‑WD와 CGSO‑Sk‑WD는 각각 ‘하드’와 ‘소프트’ 협력 전략을 의미한다. 하드 협력은 각 그룹이 최적 후보를 공유하고, 공유된 후보를 기반으로 전체 탐색 방향을 재조정한다. 반면 소프트 협력은 후보 정보를 확률적으로 전파하여 탐색 다양성을 유지한다. 이러한 차별화된 협력 메커니즘은 탐색 초기에 광범위한 탐색을 보장하고, 후반부에는 수렴 속도를 가속화한다.

또한, 가중치 감쇠(Weight Decay, WD) 전략을 신경망 학습에 통합하였다. WD는 손실 함수에 L2 정규화 항을 추가함으로써 가중치 크기를 억제하고, 모델 복잡도를 낮춰 과적합을 방지한다. 저자들은 GSO 기반 최적화 과정에서 각 후보 해의 가중치를 업데이트할 때 WD 항을 함께 고려하도록 알고리즘을 수정하였다. 이는 탐색 단계에서 일반화 성능이 높은 파라미터 집합을 우선적으로 탐색하게 만든다.

실험 설계는 네 개의 공개 데이터셋( Breast Cancer, Pima Indians Diabetes, Ecoli, Glass )에 대해 10‑fold 교차 검증을 수행하였다. 성능 평가지표는 정확도, 정밀도, 재현율, F1‑score 및 수렴 횟수이다. 결과는 CGSO‑Hk‑WD와 CGSO‑Sk‑WD가 기존 GSO 대비 평균 3‑5% 수준의 정확도 향상을 보였으며, 특히 복잡도가 높은 Ecoli와 Glass 데이터셋에서 과적합 현상이 현저히 감소한 것을 확인하였다. 또한, 하드 협력 방식이 수렴 속도에서는 우수했지만, 소프트 협력 방식이 탐색 다양성 측면에서 더 안정적인 결과를 제공하였다.

이러한 결과는 협동형 GSO가 다중 그룹 간 정보 교환을 통해 탐색 효율을 크게 향상시킬 수 있음을 시사한다. 특히, WD와의 결합은 최적화 과정에서 일반화 능력을 동시에 고려하는 효과적인 방법임을 보여준다. 향후 연구에서는 동적 그룹 크기 조정, 적응형 협력 비율 및 다른 정규화 기법과의 결합을 통해 더욱 복잡한 딥러닝 구조에도 적용 가능성을 탐색할 여지가 있다.