제약 기반 극한 학습기 분류 성능 향상 연구

초록

본 논문은 기존 ELM의 무작위 은닉층 가중치 선택이 일반화에 많은 은닉 뉴런을 필요로 하는 문제를 해결하고자, 샘플 분포를 이용한 제약 벡터 공간에서 은닉 뉴런을 무작위로 선택하는 ‘제약 극한 학습기(CELM)’를 제안한다. 실험 결과 CELM이 전통적인 ELM, SVM 및 기타 최신 방법보다 높은 정확도와 유사한 학습 속도를 보임을 확인하였다.

상세 분석

Extreme Learning Machine(ELM)은 입력‑은닉‑출력 3계층 구조에서 은닉층 가중치를 완전히 무작위로 초기화하고, 출력 가중치를 최소제곱 해법으로 한 번에 계산함으로써 학습 시간을 극단적으로 단축한다. 이러한 장점에도 불구하고, 무작위 가중치가 데이터의 구조를 반영하지 못해 일반화 성능을 확보하려면 수천 개에 달하는 은닉 뉴런이 필요하다. 이는 테스트 단계에서 연산량과 메모리 요구가 급증해 실시간 응용에 제약을 만든다.

본 논문은 이러한 한계를 극복하기 위해 ‘제약 극한 학습기(CELM)’라는 새로운 프레임워크를 도입한다. 핵심 아이디어는 은닉층 가중치를 완전 무작위가 아닌, 원본 샘플 벡터 혹은 그 선형 결합으로 구성된 제한된 벡터 공간에서 무작위로 추출한다는 것이다. 구체적으로 저자는 (1) 원본 데이터의 평균·분산을 고려한 정규화 벡터, (2) 클래스별 평균(프로토타입) 벡터, (3) 클래스 내 주요 방향을 나타내는 주성분(Principal Component) 벡터 등을 후보 집합으로 만든다. 이후 이 후보 집합에서 균등 확률로 은닉 가중치를 선택하고, 선택된 가중치에 대해 활성화 함수를 적용해 은닉 출력 행렬을 구성한다. 출력 가중치는 기존 ELM과 동일하게 정규화 최소제곱 해법으로 구한다.

제약을 도입함으로써 얻어지는 이점은 두 가지이다. 첫째, 은닉 뉴런이 데이터의 주요 구조를 직접 반영하므로 적은 수의 뉴런으로도 충분한 표현력을 확보한다. 둘째, 무작위 선택 과정이 유지되기 때문에 학습 속도는 거의 변하지 않는다. 저자는 실험을 통해 은닉 뉴런 수를 5002000 사이로 제한했을 때도 CELM이 전통적인 ELM보다 25% 높은 정확도를 기록했으며, SVM 및 최신 딥러닝 기반 분류기와 비교해 비슷하거나 더 나은 성능을 보였다고 보고한다.

또한, 제약 벡터의 종류에 따른 성능 차이를 분석하였다. 클래스 평균 기반 제약은 클래스 간 경계가 명확한 데이터셋에서 가장 큰 이득을 제공했으며, 주성분 기반 제약은 고차원 저밀도 데이터에서 잡음에 강한 특성을 보였다. 이러한 결과는 제약 선택이 데이터 특성에 맞게 조정될 수 있음을 시사한다.

한계점으로는 제약 벡터를 생성하기 위한 사전 계산 비용이 존재한다는 점과, 매우 복잡한 비선형 경계를 갖는 데이터에서는 여전히 많은 은닉 뉴런이 필요할 수 있다는 점을 들었다. 향후 연구에서는 제약 벡터를 동적으로 업데이트하거나, 제약 선택을 강화학습으로 최적화하는 방안을 제시한다.