베타 기반 신경망을 위한 계층적 학습 알고리즘

초록

본 논문은 베타 기저함수 신경망(BBFNN)의 구조와 파라미터를 효율적으로 설계하기 위해 두 단계 학습 프레임워크를 제안한다. 상위 단계에서는 유전 알고리즘을 이용해 은닉층 뉴런 수와 초기 위치를 탐색하고, 하위 단계에서는 경사 하강법을 통해 각 뉴런의 폭, 중심, 베타 형태 파라미터를 미세 조정한다. 제안된 HLABBFNN을 비선형 함수 근사 실험에 적용한 결과, 기존 단일 레벨 학습 방법에 비해 수렴 속도와 근사 정확도가 현저히 향상됨을 확인하였다.

상세 분석

제안된 계층적 학습 알고리즘(HLABBFNN)은 베타 기저함수 신경망(BBFNN)의 구조적·파라미터적 최적화를 동시에 수행한다는 점에서 기존 연구와 차별화된다. 상위 레벨에서 유전 알고리즘(GA)을 적용함으로써 전역 탐색 능력을 확보하고, 은닉 뉴런의 개수, 초기 중심값, 폭 범위 등을 이산적인 탐색 공간에서 효율적으로 탐색한다. GA의 염색체 설계는 각 뉴런을 하나의 유전자로 표현하고, 교차·돌연변이 연산을 통해 다양한 네트워크 토폴로지를 생성한다. 이 과정에서 적합도 함수는 훈련 데이터에 대한 평균 제곱 오차(MSE)를 기반으로 하여, 모델 복잡도와 과적합을 방지하기 위해 정규화 항을 포함한다.

하위 레벨에서는 선택된 구조에 대해 연속적인 파라미터 최적화를 수행한다. 베타 기저함수는 폭(α), 중심(c), 형태 파라미터(p, q) 네 개의 실수 파라미터로 정의되며, 이들 파라미터는 미분 가능성이 확보된 형태로 설계된다. 논문은 각 파라미터에 대한 편미분식을 유도하고, 이를 기반으로 전통적인 경사 하강법 또는 변형된 모멘텀 기법을 적용한다. 특히, 형태 파라미터(p, q)는 양수 제한을 만족하도록 로그 변환 후 업데이트함으로써 수치적 안정성을 확보한다.

실험에서는 1차원 및 다차원 비선형 함수(예: sin x, exp(−x²), 다변량 다항식)를 근사 대상으로 선택하였다. 비교 대상은 전통적인 BBFNN 학습(단일 레벨 GA 또는 단일 레벨 경사법)과 표준 RBF 신경망이다. 결과는 HLABBFNN이 동일한 학습 횟수에서 MSE를 30 % 이상 감소시키고, 수렴 이터레이션 수를 절반 수준으로 단축함을 보여준다. 또한, 네트워크 복잡도(은닉 뉴런 수)가 최소화되어 메모리·연산 효율성에서도 장점을 가진다.

이러한 결과는 전역 탐색과 지역 미세 조정의 조합이 비선형 함수 근사와 같은 고차원 최적화 문제에서 강력한 시너지 효과를 발휘한다는 점을 시사한다. 다만, GA의 파라미터(인구 크기, 교차·돌연변이 확률)와 경사법의 학습률 선택이 전체 성능에 민감하게 작용하므로, 실제 적용 시 사전 튜닝이 필요하다. 향후 연구에서는 적응형 학습률, 다중 목표 최적화, 그리고 실시간 온라인 학습으로 확장하는 방안을 모색할 수 있다.